CN105323577B - 多视图图像显示设备及其视差估计方法 - Google Patents

Abstract

提供一种多视图图像显示设备及其视差估计方法。一种在多视图图像显示设备中估计视差的方法包括：基于与图像帧相应的分辨率，对图像帧执行图像缩放；根据与图像帧相应的分辨率，确定针对缩放后的图像帧的匹配块的搜索范围和精确度之中的至少一个；通过使用匹配块的搜索范围和精确度之中的所述至少一个来估计图像帧的视差。

Description

多视图图像显示设备及其视差估计方法

本申请要求于2014年7月10日提交到韩国知识产权局的第10-2014-0086685号韩国专利申请的优先权，其中，所述专利申请的公开通过引用其全部合并于此。

技术领域

与示例性实施例一致的设备和方法涉及一种多视图图像显示设备及其视差估计方法，更具体地，涉及一种使用动态代价容积(cost volume)采样的多视图图像显示设备及其视差估计方法。

背景技术

随着电子技术的发展，已经开发了各种类型的电子设备。具体来说，近年来已快速开发出通常被用作家用电器的诸如电视(TV)的显示设备。

在高性能显示设备的情况下，各种类型的内容被显示在所述显示设备上。具体来说，近年来已开发出能够显示三维(3D)内容的立体显示系统。

除了3D TV之外，立体显示设备可以以各种类型的显示设备(诸如，监视器、便携式电话、个人数字助理(PDA)、个人计算机(PC)、机顶盒PC、平板PC、电子相框或自助服务终端(kiosk))来实现。此外，除了被用在执行3D成像的各种领域(诸如，科学领域、医学领域、设计领域、教育领域、广告领域和/或电脑游戏领域)之外，3D显示技术还可被用在家用电器中。

立体显示系统通常可包括能够在不需要眼镜的情况下显示3D图像的自动立体(autostereoscopic)系统和能够在需要眼镜的情况下显示3D图像的立体系统。

虽然立体系统可提供令人满意的3D效果，但对于观看者而言戴眼镜观看3D图像可能不便。另一方面，自动立体系统可在不需要眼镜的情况下显示3D图像，因此，对开发自动立体系统的研究已在持续进行中。

在自动立体3D显示中需要多视图图像。然而，当输入图像是立体图像时需要图像转换。立体图像是通过使用左眼图像和右眼图像呈现的3D图像(或3D视频图像)，并且通过立体成像设备来捕捉。左眼图像与右眼图像之间的视差估计在执行图像转换的处理中很重要。

在具有宽视差宽度的立体图像中，在执行视差估计的处理中搜索范围是重要因素。与之相反，在具有窄视差宽度的立体图像中，在执行视差估计的处理中精确度是重要因素。搜索范围越宽并且/或者采样间隔越窄，视差估计算法的复杂度越高。视差估计算法通常使用代价容积。代价容积是立体图像的视差与X坐标值和Y坐标值的函数。

在现有技术的恒定容积采样中，搜索范围和精确度是固定的。为了扩大搜索范围和/或提高精确度，算法复杂度需要增加。因此，在预设代价容积大小(也就是说，预设算法复杂度)的条件下，无法提供更宽的搜索范围和/或更高的精确度。

发明内容

一个或更多个示例性实施例提供一种能够在维持相同代价容积大小的同时通过动态代价容积采样来扩大搜索范围和/或提高精确度的视差估计方法和多视图图像显示设备。

根据示例性实施例的一方面，提供一种在多视图图像显示设备中估计视差的方法，所述方法包括：基于与图像帧相应的分辨率，对图像帧执行图像缩放；根据与图像帧相应的分辨率，确定针对缩放后的图像帧的匹配块的搜索范围和精确度之中的至少一个；通过使用匹配块的搜索范围和精确度之中的所述至少一个来估计图像帧的视差。

对图像帧执行图像缩放的步骤可包括：响应于图像帧是输入图像帧之中的第一图像帧，将与图像帧相应的分辨率确定为最低分辨率；响应于图像帧不是第一图像帧，通过分析先前图像帧的视差来确定与图像帧相应的分辨率。

确定分辨率的步骤可包括：通过使用视差直方图来分析先前图像帧的视差；根据分析结果，基于与先前图像帧相应的分辨率来确定与图像帧相应的分辨率。

所述方法还可包括：确定屏幕是否将被转换，其中，执行图像缩放的步骤包括：响应于确定屏幕将被转换，将与图像帧相应的分辨率确定为最低分辨率。

执行图像缩放的步骤可包括：通过使用同形图像采样方法和变形图像采样方法之中的至少一种方法来执行图像缩放。

确定匹配块的搜索范围和精确度之中的至少一个的步骤可包括：通过使用代价容积的大小来确定匹配块的搜索范围和精确度之中的所述至少一个。

估计图像帧的视差的步骤可包括：测量参考块与搜索的匹配块之间的相关值；基于参考块的位置与具有最高相关值的匹配块的位置之间的差来估计视差。

根据另一示例性实施例的一方面，提供一种多视图图像显示设备，包括：图像缩放器，被配置为基于与图像帧相应的分辨率，对图像帧执行图像缩放；确定器，被配置为根据与图像帧相应的分辨率，确定针对缩放后的图像帧的匹配块的搜索范围和精确度之中的至少一个；视差估计器，被配置为通过使用匹配块的搜索范围和精确度之中的所述至少一个来估计图像帧的视差。

图像缩放器可响应于图像帧是输入图像帧之中的第一图像帧，将与图像帧相应的分辨率确定为最低分辨率，以及响应于图像帧不是第一图像帧，通过分析先前图像帧的视差来确定与图像帧相应的分辨率。

图像缩放器可通过使用视差直方图来分析先前图像帧的视差，并根据分析结果，基于与先前图像帧相应的分辨率来确定与图像帧相应的分辨率。

多视图图像显示设备还可包括：屏幕转换确定器，被配置为确定屏幕是否将被转换，其中，图像缩放器被配置为响应于确定屏幕将被转换，将与图像帧相应的分辨率确定为最低分辨率。

图像缩放器可通过使用同形图像采样方法和变形图像采样方法之中的至少一种方法来执行图像缩放。

确定器可通过使用代价容积的大小来确定匹配块的搜索范围和精确度之中的所述至少一个。

视差估计器可测量参考块与搜索的匹配块之间的相关值，并基于参考块的位置与具有最高相关值的匹配块的位置之间的差来估计视差。

根据另一示例性实施例的一方面，提供一种显示设备，包括：显示器；控制器，被配置为控制显示器基于输入图像帧的视差和深度信息来显示多视图图像，其中，控制器被配置为控制输入图像帧的分辨率，并通过基于控制的输入图像帧的分辨率搜索匹配块来估计视差。

控制器可包括图像缩放器，其中，图像缩放器被配置为对输入图像帧执行图像缩放以具有由控制器确定的分辨率。

控制器可分析先前图像帧的视差，并根据分析结果来控制输入图像帧的分辨率。

当根据分析结果确定匹配块的搜索范围需要扩大时，控制器可控制当前图像帧的分辨率从先前图像帧的分辨率降低，而当根据分析结果确定匹配块的精确度需要提高时，控制器可控制当前图像帧的分辨率从先前图像帧的分辨率提高。

控制器可在估计视差的处理中维持恒定的代价容积大小。

根据示例性实施例的一方面，提供一种存储有包括当由计算机运行时执行以上方法的指令的程序的非暂时性计算机可读记录介质。

示例性实施例的其它方面和优点将在具体实施方式中被阐述，从具体实施方式将是明显的，或者可通过对示例性实施例进行实践而得知。

附图说明

通过参照附图对特定示例性实施例的描述，以上和/或其它方面将变得更清楚，其中：

图1是示出根据示例性实施例的多视图图像显示设备的配置的示意框图；

图2是示出根据示例性实施例的多视图图像显示设备的配置的详细框图；

图3是用于解释恒定代价容积采样方法的示图；

图4A至图4C是用于解释动态代价容积采样方法的示图；

图5是用于解释同形(isomorphic)图像采样方法的示图；

图6是用于解释变形(anamorphic)图像采样方法的示图；

图7A和图7B是用于解释根据示例性实施例的使用视差直方图改变分辨率的处理的示图；

图8和图9是示出根据示例性实施例的视差估计方法的流程图。

具体实施方式

在下文中，将参照附图更详细地描述示例性实施例。

在以下描述中，当相同标号在不同附图中被描绘时，所述相同标号用于相同元件。提供在描述中限定的事物(诸如，详细结构和元件)以帮助全面理解示例性实施例。因此，清楚的是，可在没有那些具体限定的事物的情况下实现示例性实施例。此外，因为现有技术中公知的功能或元件会用不必要的细节模糊示例性实施例，所以将不对它们进行详细地描述。

图1是示出根据示例性实施例的多视图图像显示设备的配置的示意框图。

参照图1，多视图图像显示设备100包括图像缩放器110、确定器120和视差估计器130。以上描述的元件中的某些元件或所有元件可被包括在控制多视图图像显示设备的全部操作的控制器(未示出)中。例如，控制器可以是处理器。可通过硬件、软件或者是硬件与软件的组合来实现以上元件中的某些元件或所有元件。

多视图图像显示设备100可以以各种类型的显示设备(诸如，例如，电视(TV)、监视器、个人计算机(PC)、自助服务终端(kiosk)、平板PC、电子相框或便携式电话)来实现。

图像缩放器110确定与图像帧相应的分辨率，并基于确定的分辨率对图像帧执行图像缩放。由于根据采样后的图像的分辨率来确定用于视差估计的搜索范围和/或精确度，所以需要基于与期望的搜索范围和/或精确度相应的分辨率来执行图像缩放。

确定器120针对由图像缩放器110根据确定的分辨率进行缩放的图像帧来确定匹配块的搜索范围和精确度。也就是说，由图像缩放器110和确定器120执行动态代价容积采样。在不改变预设代价容积大小的情况下，响应于使用了低分辨率图像，搜索范围可被扩展，而响应于使用了高分辨率图像，精确度可被提高。

视差估计器130使用由确定器120确定的匹配块的搜索范围和精确度来估计图像帧的视差。可通过各种方法来估计视差。例如，可基于搜索范围和精确度来确定匹配块，可测量参考块与匹配块之间的相关值，并可基于具有最高相关值的匹配块与参考块之间的位置差来确定视差。

通过使用上述多视图图像显示设备100，用户可在不增加算法复杂度的情况下根据需要扩大匹配块的搜索范围和/或提高匹配块的精确度，并可估计用于自动立体3D显示的视差。

图2是示出根据示例性实施例的多视图图像显示设备100的配置的详细框图。

参照图2，多视图图像显示设备100包括图像缩放器110、确定器120、视差估计器130、屏幕转换确定器140、渲染器150和显示器160。

图像输入单元(未示出)接收图像。具体来说，图像输入单元可从各种外部设备(诸如，外部存储介质、广播站或web服务器)接收图像。在示例性实施例中，将对接收立体图像并估计用于转换到多视图图像的视差的方法进行描述。立体图像是通过使用左眼图像和右眼图像呈现的3D视频图像并通过立体成像设备来捕捉。立体成像设备可包括两个镜头并产生3D图像。多视图图像表示通过对由一个或更多个成像设备(例如，相机)捕捉的图像进行几何校正和空间合成向用户提供沿各方向的各视点的3D图像(或3D视频图像)。

此外，图像输入单元可接收3D图像的深度信息。3D图像的深度被表示为分配给3D图像的每个像素的像素值。例如，8比特的深度值可与灰度值0至255相应。例如，黑色(或低灰度值)表示距观看者较远的位置，而白色(或高灰度值)表示距观看者较近的位置。

深度信息是指示3D图像的深度的信息，并且与构成3D图像的左眼图像与右眼图像之间的双目视差的程度相应。用户感受到的3D效果的程度根据深度信息而改变。响应于3D图像的深度增大，双目视差变大并且3D效果增加。响应于3D图像的深度减小，双目视差减小并且3D效果降低。深度信息可通过仅使用图像的2D特征(诸如，立体匹配)的被动方法和/或使用设备(诸如，深度相机)的主动方法而被获取。深度信息可具有深度图的形式。

深度图表示包括根据图像的区域的多条深度信息的表。区域可被划分为像素单元，并可被定义为比像素单元更大的预设区域。根据示例性实施例，深度图可被配置为通过使用灰度值0至255之间的灰度值127(或128)作为焦平面的参考值，将小于127(或128)的像素值作为负(-)值，并且将等于或大于127(或128)的像素值作为正(+)值。可在0与255之间任意选择焦平面的参考值。在深度图中，负(-)值表示凹处，正(+)值表示凸处。

立体匹配方法搜索左眼图像与右眼图像之间的匹配点，并使用匹配点之间的视差来计算深度信息。为此，可使用各种立体匹配技术(例如，图像校正技术)。图像校正技术搜索右眼图像(或左眼图像)的确定与左眼图像(或右眼图像)的参考块相关的匹配块，并检测右眼图像中与左眼图像的参考块具有最高相关值的匹配块的位置。此时，在x轴(或水平轴)上左眼图像的匹配点与右眼图像的匹配点之间的距离差被称作视差。

图像缩放器110确定与图像帧相应的分辨率，并根据确定的分辨率对图像帧执行图像缩放。稍后将对在图像缩放中使用的图像采样方法和分辨率确定方法进行描述。

确定器120确定针对缩放后的图像帧的匹配块的搜索范围和精确度。在示例性实施例中，确定器120通过使用预设大小的代价容积大小来确定匹配块的搜索范围和精确度。

由于在现有技术中使用恒定代价容积采样方法，因此响应于代价容积大小被确定，视差搜索范围和精确度被确定为具有固定值。然而，根据示例性实施例，以上问题可被避免，这将在下面被详细地描述。

图3是示出在恒定代价容积采样方法中响应于代价容积大小为五的搜索范围和精确度的示图。

参照图3，左眼图像和右眼图像中的一个图像可被定义为参考图像。例如，响应于参考块被形成在左眼图像中，可在右眼图像中搜索匹配块。另一方面，响应于参考块被形成在右眼图像中，可在左眼图像中形成匹配块。例如，由于代价容积大小为五，因此形成了与2×2的参考块相应的五个匹配块。所述五个匹配块包括块1-2、块2-3、块3-4、块4-5以及块5-6。搜索范围是从块1到块6。在现有技术中，当代价容积大小没有改变时，确定的搜索范围和/或精确度不会改变。

根据示例性实施例，匹配块的搜索范围和/或精确度可通过使用动态代价容积采样方法而非恒定代价容积采样方法来根据图像帧的分辨率而改变。搜索范围和精确度具有如下取舍关系：响应于搜索范围扩大，精确度降低，响应于搜索范围变窄，精确度提高。也就是说，通过动态代价容积采样，即使响应于代价容积大小为预设大小，搜索范围也可通过降低精确度而被增加，反之亦然。

因此，当搜索范围需要扩大时，可对低分辨率图像帧执行图像缩放，并且搜索范围可如图4A中所示被扩大。参照图4A，搜索范围包括图像410的全部部分。也就是说，图像410的五个匹配块包括块1、块2、块3、块4和块5。代价容积大小还是五，然而，由于匹配块的大小为1×1，因此匹配块块1至块5具有更大的搜索范围。然而，由于匹配块具有更大的搜索范围，因此匹配块具有更低的精确程度。

在需要中等搜索范围和中等精确程度的情况下，如图4B中所示，可对具有中等分辨率的图像帧执行图像缩放。搜索范围和精确度可实质上与通过图3的恒定代价容积采样方法获得的搜索范围和精确度相同。然而，这仅为示例，在动态恒定容积采样方法中与对中等分辨率图像帧执行的图像缩放相应的搜索范围和精确度可能与相应于恒定容积采样方法的搜索范围和精确度不完全相同。例如，在恒定代价容积采样方法中的搜索范围和精确度可与图4A至图4C的示例性实施例中的任意一个示例性实施例中的搜索范围和精确度相同。由于在图4B中代价容积大小还是为五，因此搜索出五个2×2的匹配块。所述五个匹配块包括块1-2、块2-3、块3-4、块4-5以及块5-6。

在预计视差值不大的情况下，也就是说，不在意搜索范围窄的情况下，精确度的提高有利于视差估计。因此，如图4C中所示，可对高分辨率图像帧执行图像缩放。由于代价容积大小为五，因此与4×4的参考块相应的五个匹配块被形成。所述五个匹配块包括块1-4、块2-5、块3-6、块4-7以及块5-8。搜索范围是从块1到块8。从图4A至图4C之间的比较可看出：在图4C中精确度最高，但是在图4C中搜索范围最窄。

视差估计器130执行使用由确定器120确定的匹配块的搜索范围和精确度来估计图像帧的视差的功能。各种方法可被用作视差估计方法。例如，视差估计器130可测量左眼图像(或右眼图像)的参考块与搜索的右眼图像(或左眼图像)的匹配块之间的相关值，并确定在x轴上具有最高相关值的匹配块的位置与参考块的位置之间的视差。在另一示例中，视差估计器130可计算代价容积，通过应用滤波权重对代价容积执行滤波，并使用滤波结果来计算视差图。在另一示例中，可使用贝叶斯信息传递(诸如，马尔科夫网络)来执行立体匹配。

执行图像缩放以根据如上所述的缩放后的图像帧的分辨率来确定匹配块的搜索范围和精确度。为了执行图像缩放，可使用各种方法(诸如，同形图像采样(isomorphicimage)方法和变形图像(anamorphic image)采样方法)。

术语“同形”表示水平轴上的缩放程度与垂直轴上的缩放程度相等。参照图5，图像在作为水平轴的x轴上的分辨率为200、400和800(被放大了两次)，相应于分辨率在x轴上的放大，图像在作为垂直轴的y轴上的分辨率为100、200和400(被放大了两次)。如上的图像缩放被称作同形采样。

另一方面，术语“变形”表示水平轴上的缩放程度不同于垂直轴上的缩放程度。例如，参照图6，图像在作为水平轴的x轴上的分辨率为200、400和800(被放大了两次)，但图像在作为垂直轴的y轴上的分辨率恒定为100。如上的图像缩放被称作变形采样。

由于匹配块的搜索范围和精确度由图像帧的水平分辨率确定，所以在变形图像采样中实现的效果可与在同形图像采样中实现的效果相同。因此，即使如图6中所示响应于分辨率仅针对水平轴改变，也可获得与图5的图像缩放相同的效果。

变形图像采样会比同形图像采样更有优势在于：块在垂直方向上的大小未增加，因此计算量降低。因此，与同形图像采样相比，变形图像采样可使用较小计算量来估计视差。这是因为仅基于如上所述的x轴上的距离差来估计视差。

可通过确定各个帧单元的分辨率来执行图像缩放。响应于图像帧是第一图像帧，与图像帧相应的分辨率可被确定为最低分辨率。这是因为，在图像帧是第一图像帧的情况下，通过扩大搜索范围搜索立体匹配点比通过提高精确度搜索精确匹配点具有更高优先级。

响应于图像帧不是第一图像帧，分析先前图像帧的视差，然后可确定与当前帧相应的分辨率。作为视差分析方法的示例，可使用视差直方图。可确定是改变与先前图像帧相应的分辨率还是维持与先前图像帧相应的分辨率以用作当前帧的分辨率。

参照图7A，示出了用于确定维持先前图像帧的分辨率规模(resolution scale)的视差直方图。在图7A中，x轴指示视差值，y轴指示视差出现率。如图7A中所示，小视差出现率被表示在视差直方图的前1/4区域和后1/4区域，这表示以先前图像帧的分辨率对视差进行估计是适当的。因此，先前图像帧的分辨率规模被维持，并基于与先前图像帧的分辨率相同的当前图像帧的分辨率来执行图像缩放。

如图7B中所示，示出了用于确定提高先前图像帧的分辨率规模(也就是说，提高精确度并减小搜索范围)的视差直方图。在图7B中，x轴指示视差值，y轴指示视差出现率。如图7B中所示，在视差直方图的前1/4区域和后1/4区域未估计出视差出现率，并且先前图像帧的全部视差估计结果被表示在视差直方图的中部。因此，块的搜索范围的减小与精确度的提高有利于估计视差。因此，分辨率规模被改变，并且基于比先前图像帧的分辨率更高的当前图像帧的分辨率来执行图像缩放。

虽然在附图中未示出，但是将对用于确定降低分辨率规模(也就是说，扩大匹配块的搜索范围并降低精确度)的视差直方图进行描述。在这种情况下，视差直方图具有相对平坦的形状(即，针对视差值被更均匀地分布)。响应于等于或大于预设阈值的视差出现率被表示在视差直方图的前1/4区域和后1/4区域，确定需要扩大搜索范围。因此，分辨率规模被改变，并且基于比先前图像帧的分辨率低的当前图像帧的分辨率来执行图像缩放。

屏幕转换确定器140执行确定是否需要转换屏幕的功能。响应于确定需要转换屏幕，图像缩放器110将与图像帧相应的分辨率确定为最低分辨率，并基于确定的分辨率对图像帧执行图像缩放。这是因为，响应于屏幕被转换，在图像帧是第一图像帧的情况下，通过扩大搜索范围搜索立体匹配点比通过提高精确度搜索精确匹配点具有更高优先级。因此，响应于屏幕被转换，图像缩放器110首先基于最低分辨率对第一图像帧执行图像缩放，并分析估计的视差值以维持或改变下一图像帧的分辨率规模，并且基于维持或改变的分辨率规模，对下一图像帧连续执行图像缩放。由于通常每秒提供六十次帧，因此即使在帧单元中分辨率被改变时，多视图图像显示设备100的用户也不会随着分辨率改变而感到不便。

渲染器150可使用由视差估计器130估计的视差值和深度信息来对多视图图像执行渲染。例如，渲染器150可选择3D立体图像(即，左眼图像和右眼图像)中的一个作为参考视图(或中心视图)，并产生变为多视图图像的基础的最左视图和最右视图。渲染器150可基于与左眼图像和右眼图像中被选为参考视图的一个图像相应的经过校正的深度信息来产生最左视图和最右视图。响应于最左视图和最右视图被产生，渲染器150可在中心视图与最左视图之间产生多个内插视图，在中心视图与最右视图之间产生多个内插视图，并对多视图图像执行渲染。然而，示例性实施例不限于此，可产生通过外插方法而产生的外插视图。以上描述的渲染器150的操作仅为示例性的，渲染器150可通过上述操作之外的各种方法对多视图图像执行渲染。

显示器160执行显示渲染后的多视图图像的功能。显示器160可包括显示面板(未示出)和被配置为提供多视图的观看区域分离单元(未示出)。

显示面板包括多个像素，其中，每个像素包括多个子像素。子像素可包括红(R)子像素、绿(G)子像素和蓝(B)子像素。也就是说，在显示面板中以多行和多列来排列包括R子像素、G子像素和B子像素的像素。显示面板显示图像帧。具体来说，显示面板可显示下述图像帧，其中，在该图像帧中彼此具有不同视点的多个图像按照连续方式被重复排列。

观看区域分离单元可被布置在显示面板的前面，并根据观看区域提供不同视点(即，多视点)。观看区域分离单元可使用柱状透镜或视差屏障来实现。

作为示例，观看区域分离单元可使用包括多个透镜区域的柱状透镜来实现。柱状透镜可通过多个透镜区域使显示在显示面板上的图像折射。每个透镜区域可被形成为具有与至少一个像素相应的大小，并可根据观看区域使透过每个像素的光不同地分散。

作为另一示例，观看区域分离单元可使用视差屏障来实现。视差屏障可使用包括多个屏障区域的透明狭缝阵列来实现。视差屏障可通过屏障区域之间的狭缝来阻光，并允许发射根据观看区域而具有不同视点的图像。

图8是示意性示出根据示例性实施例的视差估计方法的流程图。首先，多视图图像显示设备确定与图像帧相应的分辨率并基于确定的分辨率对图像帧执行图像缩放(S810)。图像缩放方法可包括同形图像采样方法和变形图像采样方法。多视图图像显示设备可使用同形图像采样方法和变形图像采样方法中的一个来执行图像缩放。由于仅通过水平方向上的分辨率来确定匹配块的搜索范围和精确度，因此在变形图像采样方法中垂直方向的分辨率未被改变的同时，在变形图像采样中可实现与在同形图像采样中相同的效果。

随后，多视图图像显示设备针对根据与图像帧相应的分辨率被缩放的图像帧来确定匹配块的搜索范围和精确度(S820)。多视图图像显示设备可使用代价容积大小的预设值确定匹配块的搜索范围和精确度。代价容积大小的值与算法复杂度相应。通过动态代价容积采样方法，可在维持相同算法复杂度的同时获得各种搜索范围和精确度。匹配块的搜索范围和精确度根据缩放后的图像帧的分辨率而被确定。多视图图像显示设备使用确定的匹配块的搜索范围和精确度来估计图像帧的视差(S830)。例如，可根据搜索范围和精确度来确定匹配块，可测量参考块与匹配块之间的相关值，并可基于具有最高相关度的匹配块与参考块之间的在水平方向上的位置差来确定视差。然而，视差估计方法不限于如上所述，视差可通过各种不同方法来估计。

图9是示出根据示例性实施例的视差估计方法的流程图。首先，多视图图像显示设备确定图像帧是否为第一图像帧(S910)。响应于图像帧是第一图像帧(S910-是)，多视图图像显示设备将与图像帧相应的分辨率确定为最低分辨率，并基于最低分辨率对图像帧执行图像缩放。这是因为，响应于图像帧是第一图像帧，通过扩大搜索范围搜索匹配点比通过提高精确度搜索精确匹配点更有利。

响应于图像帧不是第一图像帧(S910-否)，多视图图像显示设备确定屏幕是否将被转换(S920)。响应于确定屏幕将被转换，期望将与图像帧相应的分辨率确定为最低分辨率。这是因为，与图像帧是第一图像帧的情况类似，通过扩大搜索范围搜索匹配点比通过提高精确度搜索精确匹配点更有利。因此，响应于确定屏幕将被转换(S920-是)，多视图图像显示设备将与图像帧相应的分辨率确定为最低分辨率，并基于最低分辨率来对图像帧执行图像缩放(S930)。

响应于确定将不对屏幕进行转换(S920-否)，多视图图像显示设备分析先前图像帧的视差，基于分析的视差确定分辨率，并基于确定的分辨率执行图像缩放(S940)。多视图图像显示设备分析先前图像帧的视差直方图，并确定针对当前图像是维持先前图像帧的分辨率还是改变先前图像帧的分辨率。以上已经描述了根据视差直方图的分布模式来确定是维持分辨率还是改变分辨率的方法，因此将省略对其的描述。

多视图图像显示设备可基于根据屏幕是否将被转换而确定的分辨率来对图像帧执行图像缩放(S930、S940)。随后，多视图图像显示设备确定针对缩放后的图像帧的匹配块的搜索范围和精确度(S950)。多视图图像显示设备可使用图像帧的分辨率和代价容积大小的预设值来确定匹配块的搜索范围和精确度。多视图图像显示设备可使用确定的匹配块的搜索范围和精确度来估计图像帧的视差(S960)。如上所述，各种方法可用于视差估计。

根据以上描述的各种示例性实施例，可在自动立体3D显示系统中使用动态代价容积采样来估计视差，并且可在不增加算法复杂度的情况下根据需要扩大搜索范围和/或提高精确度。因此，可用较低代价来提供自动立体3D显示。

根据示例性实施例的视差估计方法可被实现为计算机程序的代码和/或指令，并被提供给多视图图像显示设备。

作为示例，非暂时性计算机可读介质可存储用于执行以下操作的程序：基于与图像帧相应的分辨率来对图像帧执行图像缩放，根据与图像帧相应的分辨率来确定针对缩放后的图像帧的匹配块的搜索范围和精确度，以及使用确定的匹配块的搜索范围和精确度来估计图像帧的视差。

非暂时性计算机可读介质可以不是被配置为临时存储数据的介质(诸如，寄存器、高速缓存或存储器)，而可以是被配置为半永久性地存储数据的计算机可读介质。具体来说，用于执行以上描述的操作的各种应用或程序可被存储在非暂时性计算机可读介质(诸如，压缩盘(CD)、数字通用盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡或只读存储器(ROM))中。此外，非暂时性计算机可读记录介质可包括通信介质。通信介质包括计算机可读命令、数据结构、程序模块和其它传输机制，并包括其它信息传输介质。

前述示例性实施例和优点仅为示例性的，而不被理解为限制本发明构思。示例性实施例可被容易地应用到其它类型的装置。此外，对示例性实施例的描述意图在于示意性的，而非限制权利要求的范围，很多可选方案、修改和变化对于本领域技术人员而言将是清楚的。

Claims (14)

1.一种在多视图图像显示设备中估计视差的方法，所述方法包括：

基于与图像帧相应的分辨率，对图像帧执行图像缩放；

根据与图像帧相应的分辨率，确定针对缩放后的图像帧的匹配块的搜索范围和精确度之中的至少一个；

通过使用匹配块的搜索范围和精确度之中的所述至少一个来估计图像帧的视差，

其中，响应于搜索范围扩大，精确度降低，响应于搜索范围变窄，精确度提高。

2.如权利要求1所述的方法，其中，执行图像缩放的步骤包括：

响应于图像帧是输入图像帧之中的第一图像帧，将与图像帧相应的分辨率确定为最低分辨率；

响应于图像帧不是第一图像帧，通过分析先前图像帧的视差来确定与图像帧相应的分辨率。

3.如权利要求2所述的方法，其中，确定分辨率的步骤包括：

通过使用视差直方图来分析先前图像帧的视差；

根据分析结果，基于与先前图像帧相应的分辨率来确定与图像帧相应的分辨率。

4.如权利要求1所述的方法，还包括：

确定屏幕是否将被转换，

其中，执行图像缩放的步骤包括：响应于确定屏幕将被转换，将与图像帧相应的分辨率确定为最低分辨率。

5.如权利要求1所述的方法，其中，执行图像缩放的步骤包括：通过使用同形图像采样方法和变形图像采样方法之中的至少一种方法来执行图像缩放，

其中，同形图像采样包括在水平轴和垂直轴上以相同的缩放程度对图像进行采样，变形图像采样包括在水平轴和垂直轴上以不同的缩放程度对图像进行采样。

6.如权利要求1所述的方法，其中，确定匹配块的搜索范围和精确度之中的至少一个的步骤包括：通过使用代价容积的大小来确定匹配块的搜索范围和精确度之中的所述至少一个。

7.如权利要求1所述的方法，其中，估计图像帧的视差的步骤包括：

测量参考块与搜索的匹配块之间的相关值；

基于参考块的位置与具有最高相关值的匹配块的位置之间的差来估计图像帧的视差。

8.一种多视图图像显示设备，包括：

图像缩放器，被配置为基于与图像帧相应的分辨率，对图像帧执行图像缩放；

确定器，被配置为根据与图像帧相应的分辨率，确定针对缩放后的图像帧的匹配块的搜索范围和精确度之中的至少一个；

视差估计器，被配置为通过使用匹配块的搜索范围和精确度之中的所述至少一个来估计图像帧的视差，

其中，响应于搜索范围扩大，精确度降低，响应于搜索范围变窄，精确度提高。

9.如权利要求8所述的多视图图像显示设备，其中，图像缩放器被配置为响应于图像帧是输入图像帧之中的第一图像帧，将与图像帧相应的分辨率确定为最低分辨率，以及响应于图像帧不是第一图像帧，通过分析先前图像帧的视差来确定与图像帧相应的分辨率。

10.如权利要求9所述的多视图图像显示设备，其中，图像缩放器被配置为通过使用视差直方图来分析先前图像帧的视差，并根据分析结果，基于与先前图像帧相应的分辨率来确定与图像帧相应的分辨率。

11.如权利要求8所述的多视图图像显示设备，还包括：

屏幕转换确定器，被配置为确定屏幕是否将被转换，

其中，图像缩放器被配置为响应于确定屏幕将被转换，将与图像帧相应的分辨率确定为最低分辨率。

12.如权利要求8所述的多视图图像显示设备，其中，图像缩放器被配置为通过使用同形图像采样方法和变形图像采样方法之中的至少一种方法来执行图像缩放，

其中，同形图像采样包括在水平轴和垂直轴上以相同的缩放程度对图像进行采样，变形图像采样包括在水平轴和垂直轴上以不同的缩放程度对图像进行采样。

13.如权利要求8所述的多视图图像显示设备，其中，确定器被配置为通过使用代价容积的大小来确定匹配块的搜索范围和精确度之中的所述至少一个。

14.如权利要求8所述的多视图图像显示设备，其中，视差估计器被配置为测量参考块与搜索的匹配块之间的相关值，并基于参考块的位置与具有最高相关值的匹配块的位置之间的差来估计图像帧的视差。