CN102124745A - 用于将二维图像信号转换为三维图像信号的装置及方法 - Google Patents

Abstract

公开了一种用于将二维图像信号转换为三维立体图像信号并输出转换后的三维立体图像信号的装置及方法。根据本发明的实施例的转换图像信号的方法，首先获取关于当前帧的运动信息，所述当前帧为二维输入图像信号；然后，使用所述运动信息确定所述当前帧的运动类型。作为确定结果，如果所述当前帧的运动类型为水平运动帧，确定所述当前帧是否为场景切换帧。如果所述当前帧为水平运动帧，且不为场景切换帧，使用当前图像和延迟图像生成三维输出图像信号。如果所述当前帧不为水平运动帧，或，如果所述当前帧为水平运动帧，且为场景切换帧，将深度图应用于当前图像，生成三维输出图像信号。在这种情况下，使用水平边界和根据垂直位置的深度感差异获取所述深度图，以实现立体图像。

Description

用于将二维图像信号转换为三维图像信号的装置及方法

技术领域

本发明涉及一种用于转换图像信号的装置，并且更具体地，涉及一种将二维图像信号转换为三维图像信号的装置及方法。

背景技术

近来，由于三维(3D)立体图像引起了更多关注，各种各样的立体图像捕获装置及显示装置正处于发展中。可以通过使用左右摄像机对捕获立体图像信号来获取用于显示立体图像的立体图像信号。这种方法适于显示自然的立体图像，但需要使用两个摄像机来捕获图像。此外，当对捕获到的左侧图像和右侧图像进行拍摄或编码时将会出现问题，需要解决左侧图像和右侧图像的不同帧率。

还可以通过将使用一个摄像机获取的二维图像信号转换为三维图像信号来获取立体图像信号。根据该方法，获取的二维图像(原始图像)经过预置的信号处理过程生成三维图像，即：左侧图像和右侧图像。因此，在对通过使用左、右摄像机获取的立体图像信号进行处理时该方法不会出现问题。然而，由于使用一个图像形成了两个图像，该方法不适于显示自然且稳定的立体图像。因此，对于二维图像信号向三维图像信号的转换，使用转换后的三维图像信号来显示更自然且稳定的立体图像是非常重要的一点。

可以通过改进的时间差分(MTD)法将二维图像信号转换为三维图像信号。在MTD方法中，可以使用选自多个先前帧的图像中的任意图像作为当前图像的一对帧，该当前图像的一对帧即为二维图像信号。被选择作为当前图像的一对帧的先前图像也被称为延迟图像。基于运动速度和方向来选择一帧图像作为延迟图像并确定该延迟图像是左侧图像还是右侧图像。然而，该方法中，必须从先前帧中选择一帧作为延迟图像。因此，并未充分考虑包含于一帧中的区域的各种特性，例如，远近感差异、运动方位和/或运动速度差异或亮度及颜色差异。因此，该方法不适于显示自然且稳定的立体图像。

发明内容

(一)要解决的技术问题

本发明提供一种用于将二维图像信号转换为三维图像信号的装置及方法，该装置及方法能够显示自然且稳定的立体图像。

(二)技术方案

根据本发明的实施例的用于将二维图像信号转换为三维图像信号的方法包括：获取关于当前帧的运动信息，所述当前帧为二维输入图像信号；使用所述运动信息确定所述当前帧的运动类型；以及，当所述当前帧不为水平运动帧时，将所述当前帧的深度图应用于当前图像，以生成三维输出图像信号，其中，使用所述当前帧的水平边界生成所述深度图。

根据当前实施例的一个方面，当所述当前帧为水平运动帧且为场景切换帧时，将所述当前帧的深度图应用于当前图像，以生成三维输出图像信号。当所述当前帧为水平运动帧且不为场景切换帧时，使用当前图像和延迟图像生成三维输出图像信号。

根据当前实施例的另一个方面，为应用所述深度图，检测所述当前帧的水平边界，然后，每当在沿垂直方向相对于所述当前帧移动的过程中遇到所检测到的水平边界，循序增加深度值，由此生成所述深度图。在这种情况下，在生成所述深度图之前，所述方法还可以包括：对所述深度值使用水平平均滤波器。

根据本发明的另一实施例的用于将二维图像信号转换为三维图像信号的方法包括：获取关于当前帧的运动信息，所述当前帧为二维输入图像信号；使用所述运动信息确定所述当前帧的运动类型；以及，当所述当前帧为水平运动帧时，确定所述当前帧是否为场景切换帧；并且，如果所述当前帧为水平运动帧且不为场景切换帧，使用当前图像和延迟图像生成三维输出图像信号；并且，如果所述当前帧不为水平运动帧，或，所述前帧为水平运动帧且为场景切换帧，将深度图应用于当前图像，以生成三维输出图像信号。

根据本发明的另一实施例的用于将二维图像信号转换为三维图像信号的方法包括：检测当前帧的水平边界，所述当前帧为二维输入图像信号；通过在沿垂直方向相对于所述当前帧移动的过程中遇到所述水平边界时增加深度值来生成深度图；以及，将所述深度图应用于当前图像，以生成三维输出图像信号。

根据本发明的实施例的用于将二维图像信号转换为三维图像信号的装置包括：运动信息计算单元，用于获取关于当前帧的运动信息，所述当前帧为二维输入图像信号；运动类型确定单元，用于使用所述运动信息确定所述当前帧的运动类型；以及，三维图像生成单元，用于当所述当前帧不为水平运动帧时，将所述当前帧的深度图应用于当前图像，以生成三维输出图像信号，其中，所述三维图像生成单元使用所述当前帧的水平边界生成所述深度图。

(三)有益效果

根据本发明的用于将二维图像信号转换为三维图像信号的装置及方法适于显示自然且稳定的立体图像。

附图说明

图1为示出了根据本发明的实施例的将二维图像信号转换为三维图像信号的转换过程的流程图；

图2为示出了使用完全搜索时搜索点的位置方差的实施例的示意图；

图3示出了用于解释如何确定应用于本发明的实施例的公式2中的与误差相关的阈值的参考帧的图像；

图4为示出了中值滤波器的应用过程的实例的示意图；

图5为用于解释当飞机从左侧移动到右侧且作为背景的山固定时，基于罗斯(Ross)效应将二维图像转换为三维图像的方法的示意图；

图6为示出了摄像机固定且物体移动时，块单元中运动矢量的实施例的示意图；

图7为示出了物体固定且摄像机移动时，块单元中运动矢量的实施例的示意图；

图8为示出了如何使用延迟图像和当前图像确定左侧图像和右侧图像的一个实例的示意图；

图9为详细示出了图1中操作S50的操作过程的流程图；

图10显示了用于解释与垂直位置相关的深度感的图像；

图11为示出了索贝尔(Sobel)掩码的示意图；

图12显示了应用了图11中的索贝尔掩码的图像；

图13为显示了将图11中的索贝尔掩码应用于图12中的图像所获得的结果的示意图；

图14为示出了使用检测到的边界形成深度图的操作的示意图；

图15为通过图14中的操作形成的深度图的示意图；

图16为示出了使用深度图的方差(Variance)应用方法和遮蔽(occlusion)区域处理方法的示意图；

图17为用于解释当运动类型发生方差时的处理过程的方框图；

图18为显示了水平运动帧的运动矢量的示意图；

图19为显示了使用延迟图像和当前图像生成立体图像的转换结果的示意图，该转换结果通过将如上所述的本发明的实施例应用于图18中的运动矢量获得；

图20为显示了非水平运动帧的深度图的示意图；

图21显示了应用了图20中的深度图的、根据本发明的一个实施例的立体图；

图22为示出了根据本发明的实施例的将二维图像信号转换为三维图像信号的装置的结构框图。

具体实施方式

下文中，将结合附图详细描述本发明的实施例。本实施例仅用于解释本发明的技术方案。因此，本发明的技术方案不应被解释为由当前实施例限定。当前实施例使用的元素还可以使用不同的名称。如果具有不同名称的元素在结构和功能方面与当前实施例中使用的相应的元素类似或相同，这些具有不同名称的元素也应该被视为等同于当前实施例使用的相应的元素。类似地，当采用附图中所示出的当前实施例的改进的实施例时，如果该改进的实施例在结构和功能方面与当前实施例类似或相同，则这两个实施例应该被视为相同。

图1是示出了根据本发明的实施例的将二维(2D)图像信号转换为三维(3D)图像信号的转换过程的流程图。

参照图1，首先，使用二维图像信号计算当前帧的运动信息(S10)。执行上述获取运动信息的过程以获取能够用于确定当前帧的运动类型的材料。该过程包括：用于通过运动评估(ME)获取运动矢量(MV)的运动搜索过程，以及，用于所述获取的MV的后置(post)过程。

运动搜索

可以通过多种方式实施所述通过ME获取MV的运动搜索。例如，所述运动搜索可以为：仅在参考帧的预置区域中执行的局部搜索，或，在所述参考帧的全部区域中执行的完全搜索。由于搜索范围狭窄，局部搜索所需要的搜索时间较短。另一方面，完全搜索需要的搜索时间较局部搜索长，但能够使运动搜索更精确。根据本发明的实施例的一方面，使用完全搜索。尽管如此，本发明的实施例并不限于完全搜索。当使用完全搜索时，能够通过精确的运动搜索准确地确定图像的运动类型，而且，最终能够改善显示图像的三维效果。

图2是示出了在一个像素单元中使用完全搜索时，搜索点的位置方差的实施例的示意图。参照图2，在参考帧中沿逆时针方向以(-1，-1)，(0，-1)，(1，-1)，(1，0)，(1，1)，(0，1)，(-1，1)，(-1，0)…的顺序循序改变搜索点的同时，检测所选择的参考块和当前块之间的误差。此处，搜索点的坐标为当前块位置与参考块位置之间的差距，即：位移(dx，dy)。在运动搜索过程中，选择在位移方差的过程中具有最小误差的搜索点，并且将被选择的搜索点的位移确定为当前块的MV(MVx，MVy)。

可以使用公式1测量每一位移(dx，dy)的误差。公式1中，n和m分别表示块的水平和垂直长度，F(i，j)和G(i，j)分别表示当前块和参考块在(i，j)处的像素值。

【公式1】

$\mathrm{Error}(\mathrm{dx},\mathrm{dy})=\underset{i=-n/2}{\overset{n/2}{\mathrm{\Σ}}}\underset{j=-m/2}{\overset{m/2}{\mathrm{\Σ}}}|F(i,j)-G(\mathrm{dx}+i,\mathrm{dy}+j)|$

MV的后置过程

尽管如此，当将具有最小误差的位移确定为MV时，所确定的MV也不总是可靠的。这是因为较大的最小误差或相邻块的较大的MV差异可能表明ME不精确。因此，本实施例还使用两个后置过程来增强MV的可靠性。尽管使用两个后置过程是可取的，但根据实施例，可能只需要使用这些后置过程中的一个。

用于增强MV的可靠性的第一后置过程包括：将误差值大于预置阈值的MV从所有通过运动搜索由运动信息中获取的MV中移除。该第一后置过程可以由公式2表示。公式2中，error表示MV的误差值，Threshold value表示用于确定MV是否有价值的阈值。根据公式2，当特定MV的误差值大于该阈值时，假设ME是不精确的，并且在随后的过程中，例如，确定运动类型的操作可以仅使用具有与该阈值相等或小于该阈值的误差值的MV。

【公式2】

f(error＞Threshold value)MV_x＝0，MV_y＝0

用于确定关于误差的阈值的方法不限于此。例如，考虑到当前帧的多种运动类型：在存在场景切换的情况下，在存在大运动的情况下，以及在存在小运动的情况下。然后，在考虑上述各种情况的平均误差值的情况下确定该阈值。当前实施例中，基于8×8块，将公式2的阈值设为250。下面将详细描述该阈值的这种设置的原因。

图3示出了参考帧的图像，用于解释如何确定应用于本实施例的公式2中的与误差相关的阈值。图3中，上方的帧具有场景切换，中间的帧几乎不运动，下方的帧具有较大的运动。参照图3，对于前一帧与下一帧之间不存在任何关系的图像来说，例如，具有场景切换的图像，平均误差值为1848；对于前一帧与下一帧之间存在较大关联的图像来说，例如，几乎没有运动的图像，平均误差值为比较小的53；对于前一帧与下一帧之间关联较小的图像来说，例如，尽管具有较大运动，但不存在场景切换的图像，平均误差值为300。因此，本实施例中，将存在场景切换的情况、存在大运动的情况以及存在小运动的情况下的平均误差值考虑在内，将阈值设置为250。尽管如此，该阈值为示例性的。

用于增强通过运动搜索获取的MV的可靠性的第二后置过程为修正错误的MV。一般来说，除物体的边缘之外，运动是连续的。然而，当通过ME获取MV时，可能存在与相邻块的MV大不相同的错误的MV。错误的MV可能相对于相邻块的MV不连续。

当前实施例中，在确定运动类型的过程中修正这类错误的MV。修正方法可以使用，例如，平均值或中间值。尽管如此，修正方法并不限于这些方法。对于使用平均值的修正方法，将当前块和所述当前块的多个相邻块的MV的平均值设为所述当前块的MV。另一方面，对于使用中间值的修正方法，将由当前块和所述当前块的多个相邻块的MV中选出的一个中间值设为所述当前块的MV。

根据本实施例的一方面，可以通过，例如，中值滤波器(MedianFilter)，来实现上述使用中间值的修正方法。可以对预置数目的相邻块的MV的水平方向分量和垂直方向分量中的每一个应用中值滤波器。图4是示出了中值滤波器的应用过程的实例的示意图。参照图4，当多个输入值3，6，4，8和9通过中值滤波器时，输出的是其中间值，即：6。

例如，假设五个相邻块的MV分别为(3，5)，(6，2)，(4，2)，(8，4)和(9，3)。在这种情况下，当前块的MV是(4，2)。尽管如此，如果对这五个块的MV的水平方向分量和垂直方向分量中的每一个应用中值滤波器，输出值应为(6，3)。因此，当根据本发明实施例执行应用中值滤波器的后置程序时，当前块的MV从(4，2)变为(6，3)。

如上所述，在该过程中，首先在预置尺寸的块单元中通过运动搜索获取MV，然后，对所获取的MV执行预置的后置程序，由此增强MV的可靠性。

参照图1，使用S10中获取的MV，即：已经经过后置程序(S20)处理过的MV确定当前帧的运动类型。执行这一过程是为了确定当前帧是否为水平运动帧。可以使用多种方法确定当前帧是否为水平运动帧。例如，可以通过参照当前帧的MV的方式识别水平运动来确定当前帧是否为水平运动帧，即：通过使用MV的水平方向分量的统计信息。

当前实施例使用否定法确定当前帧是否为水平运动帧。根据否定法，根据预置标准确定当前帧是否为其他类型帧，然后，如果当前帧不是其他类型帧，则确定当前帧为水平运动帧。例如，根据本实施例的一个方面，首先确定当前帧是否为“静止帧”、“高速运动帧”或“垂直运动帧”，如果当前帧并非上述任何一种类型的帧，则确定当前帧为水平运动帧。尽管如此，上述否定法为示例性的。根据本发明的另一实施例，设置有用于确定水平运动帧的预置标准(例如，MV的水平分量大于0，但位于使得当前帧不为高速运动帧的值域内，并且MV的垂直分量为0，或位于一个非常小的值域内)，仅当该预置标准得到满足时，才确定当前帧为水平运动帧。

下面将详细描述确定当前帧是否为“静止帧”、“高速运动帧”或“垂直运动帧”的实施例。

<确定当前帧是否为静止帧>

静止帧是指，与参考帧中的物体相比，其中物体不移动的图像。对于静止帧，摄像机和物体二者都不运动，MV也具有零值或非常小的值。其也可以称作冻结帧。因此，当具有MV水平分量(MVx)和MV垂直分量(MVy)为零或很小的MV的块与一帧之中所有块的比例很高时，可以确定当前帧为静止帧。例如，当具有MV水平分量(MVx)和MV垂直分量(MVy)的MV的块与所有块的比例为50％或更高时，可以确定当前帧为静止帧。尽管如此，所述确定方法也是示例性的。如果当前帧为静止帧，将只使用当前帧的图像而不使用延迟图像来生成立体图像，这将在下文中进行介绍。

<确定当前帧是否为高速运动帧>

高速运动帧是指，与参考帧中的物体相比，图像中的物体以非常快的速度移动。对于高速运动帧，物体与摄像机相对高速运动，并且MV的值较大。因此，即使当前帧被确定为高速运动帧，MV仍可以被使用。例如，参照具有大于预定值(使用MV的绝对值或水平分量作为预定值)的MV的块占所有块的比例，可以确定当前帧是否为高速运动帧。用于确定当前帧是否为高速运动帧的MV的大小或上述比例的标准可以改变，并且可以使用不同样品的统计数据来准确地确定。

在高速运动帧中，物体每单位时间的移动距离很大。例如，当物体沿水平方向快速移动，并且延迟图像作为当前帧的配对图像时，水平方差因高速而非常大，使得难于合成左侧和右侧图像。因此，当前实施例中，对于高速运动图像，将当前帧而非延迟图像作为当前帧的配对图像。

<确定当前帧是否为垂直运动帧>

垂直运动帧是指，与参考帧中的物体相比，图像中的物体沿垂直方向运动。对于垂直运动帧，物体和摄像机具有沿垂直方向的相对运动，并且MV的垂直分量的值等于或大于预定值。根据当前实施例，垂直运动帧还指，除垂直方向之外，图像中的物体还沿水平方向运动，即：沿对角线方向。一般来说，当左侧和右侧图像存在垂直方差时，难于合成左侧和右侧图像。即使合成了左侧和右侧图像，也难以显示具有三维效果的自然的立体图像。此外，可以使用MV，尤其是具有垂直分量(MVy)块的比例大于预定值的MV，来确定当前帧是否为垂直运动帧。在当前实施例中，与高速运动帧相同的是，使用当前帧作为当前帧的配对图像。

如上所述，根据本实施例的一方面，首先确定当前帧是否为静止帧、高速运动帧或垂直运动帧。若当前帧为选自静止帧、高速运动帧和垂直运动帧中的任意一种帧，执行操作S50，以仅使用当前图像生成立体图像。另一方面，若当前帧并非选自上述静止帧、高速运动帧和垂直运动帧中的任意一种帧，确定当前帧为垂直运动帧。在这种垂直运动图像的情况下，使用先前图像作为当前帧的配对图像。执行操作S30来完成这一过程。

参照图1，如果当前帧被确定为水平运动帧，则确定当前帧是否为场景切换帧(S30)。场景切换帧是指，与作为参考帧的先前图像相比，该帧发生了场景切换。下面将详细描述在已经确定当前帧为水平运动帧后，确定当前帧是否为场景切换帧的原因。

如上所述，根据当前实施例，若当前帧为水平运动帧，使用延迟图像作为当前图像的配对图像。尽管如此，如果在当前帧和作为延迟图像的前一帧之间存在场景切换，即使当前帧被确定为水平运动图像，也不能使用该延迟图像。这是因为，如果在发生场景切换的情况下使用延迟图像，在显示立体图像时，不同的场景图像可能会重叠。因此，如果当前帧被确定为水平运动帧，需要对场景切换进行检测。

可以通过多种方法对场景切换进行检测。例如，可以通过比较当前帧和参考帧的统计特征或使用当前帧与参考帧的像素值差异来检测是否发生了场景切换。尽管如此，在本实施例中，场景切换的检测方法不限于此。下文中，作为可以应用于本实施例的场景切换检测方法的一个实施例，将描述一种使用亮度直方图的方法。这种使用亮度直方图的方法很有效，因为其可以简单地实施，并且计算量很小。此外，即使在运动场景的情况下，帧的亮度等级也不会发生较大的改变。因此，该方法不会受到物体或摄像机运动的影响。

使用亮度直方图的方法的理论基础在于，当发生场景切换时，将会出现较大的亮度改变。即：当场景未发生切换时，各帧的颜色分布和亮度分布将会彼此相似。而场景发生切换时，各帧将具有不同的颜色分布和亮度分布。因此，如公式3所示，根据该使用亮度直方图的方法，当连续帧的亮度直方图的差异大于预置阈值时，确定当前帧为场景切换帧。

【公式3】

$D_i=\underset{j=0}{\overset{255}{\mathrm{\&Sigma;}}}|H_{i-1}\left(j\right)-H_t\left(j\right)|>T$

其中，Hi(j)表示第i副图像处的等级为j的亮度直方图，H代表亮度直方图的等级数，T是用于检测是否出现了场景切换的阈值，且其值不限。例如，可以使用没有发生场景切换的相邻图像来设置T。

参照图1，如果当前帧为水平运动帧，且不为场景切换帧，则使用当前图像和延迟图像生成三维图像(S40)。另一方面，如果当前帧为选自静止帧、高速运动帧和垂直运动帧中的任意一种帧，或，如果当前帧为水平运动帧，且为场景切换帧，则使用当前帧的深度图生成三维图像，该三维图像即为左侧图像和右侧图像(S50)。下面将详细描述上述情况中的每一种。

使用延迟图像生成三维图像(S40)

在操作S40中，如果当前帧为水平运动帧，且不为场景切换帧，则使用延迟帧生成当前帧的配对图像，并且生成三维图像，该三维图像即为左侧图像和右侧图像。如上所述，使用延迟图像将具有水平运动的二维图像转换为三维图像是基于归属于精神物理学理论的罗斯(Ross)现象。根据罗斯现象，由双眼检测到的图像之间的时间延迟被视为造成三维效果的重要因素。

图5是用于解释当飞机从左侧移动到右侧且作为背景的山固定时，基于Ross效应将二维图像转换为三维图像的方法的示意图。参照图5，左眼和右眼观察到作为背景的山和飞机，在这种情况下，由于左侧图像和右侧图像的差异，物体出现方差。飞机具有负方差，并且由此被观察到从屏幕突出。因此，飞机在屏幕之前被聚焦。然而，左眼和右眼对背景的聚焦在屏幕上，因此，其方差为0。

如上所述，当使用延迟图像作为当前图像的配对图像时，需要使用当前图像和延迟图像来确定左侧图像和右侧图像。可以鉴于，例如，运动物体和运动物体的运动方向来确定左侧图像和右侧图像。如果错误地确定了运动物体或运动方向，并且由此变更了左侧图像和右侧图像，将无法获得正确的立体图像。

确定运动物体是指确定运动物体是摄像机还是物体。可以通过MV分析来确定运动物体。图6是示出了摄像机固定且物体移动时，块单元中MV的实施例的示意图，图7是示出了物体固定且摄像机移动时，块单元中MV的实施例的示意图。参照图6和7，当摄像机移动时，整个屏幕发生运动，由此，整个图像中也出现了MV。另一方面，当物体移动时，仅在该运动物体存在的区域中出现MV。因此，对于确定运动物体，当具有MV的块的数量大于预置阈值时，确定摄像机发生移动；另一方面，当具有MV的块的数量等于或小于预置阈值时，确定物体发生移动。

在以如上所述的方式确定运动物体时，通过MV分析来确定运动方向。可以根据下述规则确定运动方向。

在运动物体为摄像机的情况下，如果MV，特别是MV的水平分量MVx具有正值，则确定摄像机朝向右侧移动；另一方法，如果MV具有负值，则确定摄像机朝向左侧移动。在运动物体为物体的情况下，可以获得相反的结果。也就是说，如果MV具有正值，则确定物体朝向左侧移动；但如果MV具有负值，则确定物体朝向右侧移动。

在确定摄像机的运动方向或物体的运动方向后，参照所确定的运动方向，从当前图像和延迟图像中选择右侧图像和左侧图像。确定方法如表1所示。

表1

类型	方向(MV)	左侧图像	右侧图像
				物体	左(+)	延迟图像	原始图像
物体	右(-)	原始图像	延迟图像
				摄像机	左(+)	原始图像	延迟图像
摄像机	右(-)	延迟图像	原始图像

图8是示出了如何使用延迟图像和当前图像确定左侧图像和右侧图像的一个实例的示意图。参照图8，飞机从左侧移动到右侧，并且山固定。此外，摄像机固定。与图5中示出的相同的是，飞机定位于山前方。在这种情况下，当使用当前图像作为左侧图像并使用延迟图像作为右侧图像来生成立体图像时，飞机被施加了负方差，由此，飞机被观察到从屏幕突出；而山没有被施加方差，被观察到固定在屏幕上。尽管如此，如果没有正确地确定运动方向并变更了左侧图像和右侧图像，则山将被观察到定位于飞机前方，尽管实际上飞机定位于山前方。

使用深度图生成三维图像(S50)

在操作S50中，如果当前帧不为水平运动帧，且不为选自静止帧、高速运动帧和垂直运动帧中的任意一种帧，或，如果当前帧为水平运动帧，且为场景切换帧，仅使用当前图像生成三维图像，而不使用延迟图像。特别地，根据本发明的实施例，形成当前图像的深度图，然后使用该深度图生成左侧图像和右侧图像。图9是详细示出了这一过程(操作S50)的流程图。

参照图9，根据本发明的实施例，形成深度图的第一个过程为：确定当前图像的水平边界(S51)。一般来说，对于二维图像，在物体上造成三维效果的因素包括：远近感、基于各物体相互位置的物体屏蔽效应、物体间的相对大小、基于图像中垂直位置的深度感、光影效应、移动速度差等。在这些因素中，当前实施例使用了基于图像中垂直位置的深度感。参照图10，能够很容易地识别出基于图像中垂直位置的深度感。由图10可以看出，定位于较低的垂直位置处的部分靠近摄像机，而定位于较高的垂直位置处的部分相对地远离摄像机。

尽管如此，如果仅使用图像的垂直位置来获取深度信息，则生成的图像看起来可能是倾斜的，并且可能不能在各物体之间形成深度感。本发明的一个实施例使用边界信息，特别是各物体间的水平边界信息来补偿这一现象。这是因为各物体间必然存在边界，仅当边界处出现方差差异时，才能够形成物体之间的不同深度感。此外，当前施例还使用基于垂直位置的深度感。

根据本发明的实施例，计算水平边界的方法不限。例如，水平边界可能是一个点，在该点处，沿垂直方向设置的相邻像素的值发生显著改变。边界检测掩码可能为索贝尔(Sobel)掩码或普利维特(Prewitt)掩码。图11为示出了索贝尔掩码的示意图，当将该索贝尔掩码用于检测图12中图像的边界时，可以获得图13所示的结果。

参照图9，使用获取的边界信息生成深度图。根据生成该深度图的方法，当沿垂直方向由上部移动到下部时，如果遇到水平边界，则深度值增加。当使用该方法生成深度图时，定位于较低的垂直位置处的物体能够具有相对靠近于摄像机的深度感，而定位于较高的垂直位置处的物体能够具有相对远离摄像机的深度感。

尽管如此，如果无论何时遇到水平边界都增加深度值，对于微小误差的灵敏度将会非常高，深度图将包含很多噪声。为解决这一问题，在当前实施例中，可以在生成深度图之前或之后消除噪声。

当还未生成深度图时，是否增加深度值取决于检测到的水平边界的相邻部分，即：检测到的沿水平方向设置的水平边界线的两个方向上的相邻部分。例如，当遇到水平边界，但并未在检测到的沿水平方向设置的水平边界的两个方向上的相邻部分检测到任何边界，则将已检测到的水平边界确定为噪声。尽管如此，如果在检测到的沿水平方向设置的水平边界线的两个方向上的相邻部分中的任意一个中检测到相同的边界，将已检测到的水平边界确定为边界而非噪声，从而增加深度值。当已经生成深度图后，使用水平平均滤波器移除噪声。

图14中示出了使用检测到的边界生成深度图的过程，生成的深度图如图15所示。参照图14，深度值关于沿垂直方向检测到的边界循序增加，并且通过参照沿水平方向的相邻像素的信息来移除噪声。生成的深度图如图15所示。

参照图9，使用生成的深度图生成左侧图像和右侧图像(S53)。在本发明的实施例中，将生成的深度图应用于当前图像，则可以重新生成左侧图像和右侧图像。尽管如此，本实施例并不限于此。例如，根据本发明的另一实施例，将当前图像确定为左侧图像和右侧图像中的任意一个图像，然后使用生成的深度图生成另一个图像。

在使用当前图像生成左侧图像和右侧图像的当前实施例中，将由深度图获取的方差值部分地应用于当前图像，以生成左侧图像和右侧图像。例如，如果最大方差为17个像素，则应用深度图，使得左侧图像具有8个像素的最大方差，并且使得右侧图像具有8个像素的最大方差。

当使用应用了深度图的当前帧生成左侧图像和右侧图像时，可能需要对遮蔽区域进行适当处理，以生成逼真的立体图像。一般来说，当应用于沿水平方向设置的连续像素的方差彼此不同时，会形成遮蔽区域。在本发明的实施例中，当沿水平方向的相邻像素具有不同的方差时，使用较小的方差对像素间具有不同方差的区域进行内插。

图16为示出了方差应用方法和遮蔽区域处理方法的示意图。参照图16，关于平均方差，如果生成右侧图像，具有较小方差的像素朝向右侧移动，具有较大方差的像素朝向左侧移动。另一方面，如果生成左侧图像，具有较小方差的像素朝向左侧移动，具有较大方差的像素朝向右侧移动。此外，如果遮蔽区域出现在具有相对较小的方差的第一像素-像素1和具有相对较大的方差的第二像素-像素2之间时，使用具有较小方差的像素2的方差对遮蔽区域进行内插。

尽管如此，如上所述，在将深度图的方差应用于当前图像以生成左侧和右侧图像的情况下，如果运动类型发生改变，由于所应用的方差的巨大差异，可能出现不稳定的屏幕改变。特别地，在当前帧的先前帧为水平运动帧、使用延迟图像和当前图像生成立体图像、当前帧不为水平运动帧且将深度图应用于当前帧的情况下，或，在将深度图应用于当前帧以生成左侧和右侧图像的情况下，以及，对于当前帧的下一帧，使用延迟图像和当前图像获取左侧图像和右侧图像的情况下，生成的立体图像很有可能不稳定。

因此，根据本发明的实施例，为了防止形成这种不稳定的立体图像，在应用深度图时，需要参照当前帧的先前帧和下一帧的运动类型。一般来说，所参照的先前帧的数量(例如，10)可以比所参照的下一帧的数量(例如，1-6)大。这是因为，对于先前帧来说，内存的使用是不受限制的，而对于下一帧来说，由于需要将其存储于本过程应用程序的内存中，内存的使用是受限制的。尽管如此，本实施例为示例性的，并且当内存的使用不受限时，所参照的先前帧的数量可以小于或等于所参考的下一帧的数量。在此，参照运动类型的意思是：当使用操作S50生成立体图像时，在确定选择先前帧还是下一帧来作为操作S40或S50使用的帧之后，再应用深度图。

下面将参照图17详细描述运动类型发生改变时的过程。图17中，位于各块上的参考数字代表帧数，每一块中的D代表相应的帧不为水平运动帧(下文中称为“第一帧”)，每一块中的H代表相应的帧为水平运动帧(下文中称为“第二帧”)。为了描述的方便，假设不存在场景切换点。此外，图17中，每一块下方的参考数字代表可用的最大方差。

参照图17，当运动类型发生从第一帧到第二帧的改变时，应用于第一帧的最大方差逐渐减小。另一方面，当运动类型发生从第二帧到第一帧的改变时，应用的方差逐渐增加。如上所述，当运动类型发生改变时，应用的最大方差逐渐改变，这可以防止由应用的方差之间的较大的差异造成的不稳定的屏幕改变。

本发明的实例

下文中，将参照已在上文中描述的本发明的实施例对一个实例进行详细说明。

图18示出了水平运动帧的MV，图19示出了应用上面所描述过的本发明的实施例使用延迟图像和当前图像生成立体图像的转换结果，图20是非水平运动帧的深度图的示意图，图21示出了根据本发明的实施例应用了图20中的深度图的立体图。参照图20可以看出，正方差应用于图像的上部，由此图像的上部被观察到是向内凹的；而负方差应用于图像的下部，由此图像的下部被观察到是向外突的。参照图21可以看出，根据物体的位置将不同的方差应用于各物体。

图22是示出根据本发明的实施例的将二维图像信号转换为三维图像信号的装置100的结构框图。图22中的结构框图用于实现图1中所示的流程，并且图1中示出的每个转换流程都可以由图22中示出的单个单元来执行。尽管如此，当前实施例是示例性的，并且可以在两个或更多个单元中执行图1中的任一流程，或，图1中的两个或多个流程可以由一个单元执行。

参照图22，用于将二维图像信号转换为三维图像信号的装置100包括：运动信息计算单元110，运动类型确定单元120，场景切换确定单元130，第一三维图像生成单元140，以及第二三维图像生成单元150.该运动信息计算单元110对输入二维图像信号的当前帧进行完全搜索，以搜索MV，并在搜索到的MV上执行诸如公式1和公式2的后置程序。该运动类型确定单元120确定当前帧为水平运动帧或其他类型的运动帧，即：静止帧、高速运动帧或垂直运动帧。当该确定单元120已经确定当前帧为水平运动帧时，该场景切换确定单元130确定当前帧是否为场景切换帧。当该场景切换确定单元130确定当前帧不为场景切换帧时，将信号施加于第一三维图像生成单元140。但当该场景切换确定单元130确定当前帧为场景切换帧时，将信号施加于第二三维图像生成单元150。

该第一三维图像生成单元140使用延迟图像和当前图像生成立体图像。另一方面，该第二三维图像生成单元150仅使用当前图像，特别地，生成当前图像的深度图，并使用该深度图生成立体图像。当该第二三维图像生成单元150生成深度图后，根据本发明的实施例，首先检测水平边界，然后，只要在沿垂直方向相对于所述当前帧移动的过程中遇到所述检测到的水平边界，增加深度值。此外，如果当前帧的前一帧或下一帧为第一三维图像生成单元140生成立体图像的水平运动帧，则使用的最大方差可以逐渐增加或减少。

尽管已经参照其示例性实施例具体地示出并且描述了本发明，本领域技术人员应该能够理解到，在不脱离本发明的精神和范围的情况下，可以对其形式和细节进行各种改变，本发明的范围应由所附权利要求书限定。

工业实用性

本发明能够在大范围的应用中使用，包括：移动设备，诸如手机；图像处理设备或处理器以及计算机程序，该图像处理设备或处理器包括用于将二维图像信号转换为三维图像信号的元件，或，该计算机程序使用用于将二维图像信号转换为三维图像信号的算法。

Claims (15)

1.一种用于将二维图像信号转换为三维图像信号的方法，所述方法包括：

获取关于当前帧的运动信息，所述当前帧为二维输入图像信号；

使用所述运动信息确定所述当前帧的运动类型；以及，

当所述当前帧不为水平运动帧时，将所述当前帧的深度图应用于当前图像，以生成三维输出图像信号，

其中，使用所述当前帧的水平边界生成所述深度图。

2.如权利要求1所述的方法，其中，当所述当前帧为水平运动帧且为场景切换帧时，将所述当前帧的深度图应用于所述当前图像，以生成三维输出图像信号。

3.如权利要求1所述的方法，其中，当所述当前帧为水平运动帧且不为场景切换帧时，使用所述当前图像和延迟图像生成三维输出图像信号。

4.如权利要求1所述的方法，其中，为应用所述深度图，

检测所述当前帧的水平边界，然后，每当在沿垂直方向相对于所述当前帧移动的过程中遇到所检测到的水平边界时，循序增加深度值，由此生成所述深度图。

5.如权利要求4所述的方法，在生成所述深度图之前，还包括：

对所述深度值应用水平平均滤波器。

6.一种用于将二维图像信号转换为三维图像信号的方法，所述方法包括：

获取关于当前帧的运动信息，所述当前帧为二维输入图像信号；

使用所述运动信息确定所述当前帧的运动类型；以及，

当所述当前帧为水平运动帧时，确定所述当前帧是否为场景切换帧；并且，

如果所述当前帧为水平运动帧且不为场景切换帧，使用当前图像和延迟图像生成三维输出图像信号；并且，

如果所述当前帧不为水平运动帧，或，所述当前帧为水平运动帧且为场景切换帧，将深度图应用于当前图像，以生成三维输出图像信号。

7.如权利要求6所述的方法，其中，使用所述当前帧的水平边界生成所述深度图。

8.如权利要求6所述的方法，其中，为应用所述深度图，

检测所述当前帧的水平边界，然后，每当在沿垂直方向相对于所述当前帧移动的过程中遇到所检测到的水平边界时，循序增加深度值，由此生成所述深度图。

9.如权利要求6所述的方法，其中，所述获取运动信息包括：

在预定大小的块单元中，使用参考帧获取所述当前帧的运动矢量；

测量所述当前帧和所述参考帧之间与所述运动矢量相关的误差，以便选择具有等于或小于预定阈值的误差的运动矢量；以及，

对所选择的运动矢量的垂直方向分量和水平方向分量中的每一个应用中值滤波器。

10.如权利要求6所述的方法，其中，当所述当前帧不为选自静止帧、高速运动帧和垂直运动帧中的任意一种帧时，确定所述当前帧为水平运动帧。

11.一种用于将二维图像信号转换为三维图像信号的方法，所述方法包括：

检测当前帧中的水平边界，所述当前帧为二维输入图像信号；

通过在沿垂直方向相对于所述当前帧移动的过程中遇到所述水平边界时增加深度值，来生成深度图；以及，

将所述深度图应用于当前图像，以生成三维输出图像信号。

12.如权利要求11所述的方法，还包括对所检测到的水平边界应用水平平均滤波器。

13.如权利要求11所述的方法，其中，所述生成三维输出图像信号包括：划分所述深度图的方差，并且将所划分的方差应用于所述当前图像，以生成左侧图像和右侧图像。

14.如权利要求13所述的方法，其中，使用小于其他方差的方差对当沿水平方向设置的连续像素的方差彼此不同时形成于所述左侧图像或右侧图像中的遮蔽区域进行内插。

15.一种用于将二维图像信号转换为三维图像信号的装置，所述装置包括：

运动信息计算单元，用于获取关于当前帧的运动信息，所述当前帧为二维输入图像信号；

运动类型确定单元，用于使用所述运动信息确定所述当前帧的运动类型；以及，

三维图像生成单元，用于当所述当前帧不为水平运动帧时，将所述当前帧的深度图应用于当前图像，以生成三维输出图像信号；

其中，所述三维图像生成单元使用所述当前帧的水平边界生成所述深度图。

Images