CN104601979A - 多视点图像显示设备及其控制方法 - Google Patents

Abstract

提供一种多视点图像显示设备及其控制方法。所述多视点图像显示设备包括：深度调整器，被配置为调整输入图像的深度；渲染器，被配置为基于深度被调整的输入图像来渲染多视点图像；显示器，被配置为以预设布置模式布置多视点图像以便显示多视点图像；控制器，被配置为控制深度调整器基于与输入图像的至少一个物体相关的深度信息来改变输入图像的深度，使得满足预设准则的物体具有预设深度值。

Description

多视点图像显示设备及其控制方法

本申请要求于2013年10月31日提交到韩国知识产权局的第10-2013-0131183号韩国专利申请的优先权，该申请的公开内容通过引用全部包含于此。

技术领域

示例性实施例的多个方面总体上涉及提供一种多视点图像显示设备及其控制方法。更具体地讲，示例性实施例涉及提供一种裸眼多视点图像显示设备及其控制方法。

背景技术

随着电子技术的发展，已开发出并已广泛配销了各种类型的电子装置。具体地讲，显示设备(诸如，作为最常用的家用电器之一的TV)在过去几年中已得到快速发展。

随着显示设备具有高水平的性能，已不同地增加了在显示设备上显示的内容的类型。具体地讲，已开发并配销了可观看三维(3D)内容的立体显示系统。

根据是否使用3D图像观看眼镜，立体显示系统可被分类为眼镜式系统和裸眼系统。

快门眼镜式显示设备作为眼镜式系统的一个示例。快门眼镜式系统是指交替地输出左眼图像和右眼图像并交替地打开和关闭用户佩戴的3D眼镜的左快门眼镜和右快门眼镜以及交替地输出左眼图像和右眼图像以便向用户提供3D效果的系统。

裸眼系统还被称为自动立体系统。裸眼3D显示设备通过使用视觉差异(parallax)屏障技术或柱状透镜来显示光学划分的多视点图像并将不同的视点图像投射到用户的左眼和右眼以便向用户提供3D效果。

由裸眼3D显示器支持的视点的数量变化，但是支持大约7个至大约9个视点。然而，由于很多内容不存在很多拍摄视点，因此3D显示器所需的视点的数量变化，并且需要用于将被捕捉为一般格式的内容转换为3D显示器中支持的格式的格式转换器。最一般的格式是3D中的立体图像。格式转换器通过使用输入立体图像来产生适用于输出显示器的若干视点。为了执行该操作，需要用于计算一对立体图像之间的像素对应性的立体匹配(或视差(disparity)估计)操作以及通过使用计算的视差图像和输入图像来产生显示器所必需的若干视点的渲染操作。简要地说，将像素偏移与输入视点和估计的视差之间的距离成比例的量以便产生多视点。

由于这样的像素偏移量与人的深度识别直接相关，因此，需要适当地控制像素偏移的量以提高显示性能的方法。

发明内容

示例性实施例至少解决上述问题和/或缺点以及以上未描述的其它缺点。此外，示例性实施例不需要克服上述缺点，并且示例性实施例可不克服上述问题中的任何一项。

示例性实施例提供多视点图像显示设备及其控制方法，所述多视角图像显示设备调整深度以便渲染多视点图像，以使用户感知的三维(3D)效果最佳。

根据示例性实施例的一方面，提供一种多视点图像显示设备，包括：深度估计器，被配置为估计输入图像的深度；深度调整器，被配置为调整估计的深度；渲染器，被配置为基于调整后的深度来渲染多视点图像；显示器，被配置为显示多视点图像。深度调整器可基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息、输入图像的马尔科夫随机场(MRF)能量信息中的至少一个来调整估计的深度。

深度调整器可基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息、输入图像的MRF能量信息中的至少一个来调整估计的深度以减小估计的深度。

从输入图像的视差直方图计算的信息可以是与视差搜索范围的边缘区域相应的阈值频率信息，其中，从视差直方图检测在所述视差搜索范围中的视差。响应于阈值频率信息超过预设阈值，深度调整器可调整估计的深度以便减小估计的深度。

存在于输入图像中的周期图案信息可以是用于估计存在于输入图像中的d_span周期纹理或重复纹理的量的周期图案频率信息。响应于周期图案频率信

息超过预设阈值，深度调整器可调整估计的深度以便减小估计的深度。

输入图像的MRF能量信息可包括与用于对构成输入图像的立体图像的匹配程度进行定量(quantify)的能量相关的信息。响应于MRF能量信息超过预设阈值，深度调整器可调整估计的深度以便减小估计的深度。

深度调整器可将从视差直方图计算的阈值频率、存在于输入图像中的周期图案的周期图案频率、输入图像的MRF能量转换为衰减系数，将衰减系数中的最小值确定为深度减小量，并基于确定的深度减小量来调整输入图像的深度。

深度调整器可调整用于渲染多视点图像的像素偏移量。

深度调整器可基于以下等式来计算用于渲染多视点图像的像素偏移量：

$p=p_{\max }\mathrm{\α\β}\frac{(d-d_{\mathrm{offset}})}{d_{\mathrm{span}}}$

其中，p表示在被产生为与视差相应的视点中发生的像素偏移量，d表示视差图像的局部视差，p_max表示最大屏幕视觉差异，d_span和d_offset为从视差直方图计算的值，β表示阈值频率、周期图案频率和MRF能量中的最小值，α表示从中心被归一化使得最左侧图像与最右侧图像之间的距离为1的视点距离。

根据示例性实施例的另一方面，提供一种控制多视点图像显示设备的方法。所述方法可包括：估计输入图像的深度；基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息、输入图像的MRF能量信息中的至少一个来调整估计的深度；基于调整后的深度来渲染多视点图像；显示被渲染的多视点图像，

可基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息和输入图像的MRF能量信息中的至少一个来调整输入图像的深度以减小输入图像的深度。

从输入图像的视差直方图计算的信息可以是与视差搜索范围的边缘区域相应的阈值频率信息，其中，从视差直方图检测在所述视差搜索范围中的视差。响应于阈值频率信息超过预设阈值，可调整估计的深度以便减小估计的深度。

存在于输入图像中的周期图案信息可以是用于估计存在于输入图像中的周期纹理或重复纹理的量的周期图案频率信息。响应于周期图案频率信息超过预设阈值，可调整估计的深度以便减小估计的深度。

输入图像的MRF能量信息可以是与用于对构成输入图像的立体图像的匹配程度进行定量的能量相关的信息。响应于MRF能量信息超过预设阈值，可调整估计的深度以便减小估计的深度。

调整估计的深度的步骤可包括：将从视差直方图计算的阈值频率、存在于输入图像中的周期图案的周期图案频率、输入图像的MRF能量转换为衰减系数，将衰减系数中的最小值确定为深度减小量，并基于确定的深度减小量来调整输入图像的深度。

调整估计的深度的步骤可包括：调整用于渲染多视点图像的像素偏移量。

可基于以下等式来计算用于渲染多视点图像的像素偏移量：

$p=p_{\max }\mathrm{\α\β}\frac{(d-d_{\mathrm{offset}})}{d_{\mathrm{span}}}$

其中，p表示在被产生为与视差相应的视点中发生的像素偏移量，d表示视差图像的局部视差，p_max表示最大屏幕视觉差异，d_span和d_offset为从视差直方图计算的值，β表示阈值频率、周期图案频率和MRF能量中的最小值，α表示从中心被归一化使得最左侧图像与最右侧图像之间的距离为1的视点距离。

示例性实施例的一方面可提供一种多视点图像显示设备，包括：深度调整器，被配置为调整输入图像的估计的深度；渲染器，被配置为基于调整后的估计的深度来渲染多视点图像；其中，深度调整器被配置为基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息、输入图像的马尔科夫随机场(MRF)能量信息中的至少一个中的最小值来减小估计的深度。

所述多视点图像显示设备还可包括显示器，所述显示器被配置为显示被渲染的多视点图像。

所述多视点图像显示设备还可包括深度估计器，所述深度估计器被配置为估计输入图像的深度。

从输入图像的视差直方图计算的信息可以是与视差搜索范围的边缘区域相应的阈值频率信息，其中，从视差直方图检测在所述视差搜索范围中的视差，其中，响应于阈值频率信息超过预设阈值，深度调整器调整估计的深度以便减小估计的深度。

调整估计的深度的步骤可包括：调整用于渲染多视点图像的像素偏移量。根据各种示例性实施例，裸眼3D显示设备可向用户提供最佳3D效果。

附图说明

通过参照附图描述特定示例性实施例，上述和/或其它方面将变得更加清楚，在附图中：

图1是示出根据示例性实施例的裸眼三维(3D)显示设备的操作的示图；

图2是示出根据示例性实施例的多视点图像显示设备的结构的框图；

图3是示出根据示例性实施例的视差值的直方图；

图4A和图4B是示出根据示例性实施例的计算用于深度控制所需的数值的方法的曲线图；

图5是示出根据示例性实施例的计算阈值频率的方法的曲线图；

图6是示出根据示例性实施例的深度调整器的详细操作的示图；

图7A至图7C是示出根据示例性实施例的用于减小深度的衰减系数的曲线图；

图8是示出根据示例性实施例的视点延伸的示图；

图9是示出根据示例性实施例的调整深度的方法的流程图

具体实施方式

参照附图更详细描述示例性实施例。

在以下描述中，即使在不同附图中，相同的附图标号仍用于相同的元件。以下描述中限定的内容(诸如详细构造和元件)被提供来帮助对示例性实施例的全面理解。因此，显而易见的是，可在没有这些具体限定的内容的情况下，实施示例性实施例。此外，由于公知功能或结构会以不必要的细节模糊示例性实施例，因此，不对公知功能和结构进行详细描述。

图1是示出根据示例性实施例的裸眼三维(3D)显示设备的操作的示图。

图1示出根据裸眼方法操作显示多视点图像以便提供立体图像的设备的方法。多视点图像包括通过在不同的角度捕捉物体而产生的多个图像。换言之，在不同视点捕捉的多个图像在不同的角度被折射，并提供在保持被称为观看距离的预设距离的位置(例如，大约3m)处聚焦的图像。形成图像的位置被称为观看区域。因此，响应于用户的一只眼睛位于第一观看区域并且用户的另一只眼睛位于第二观看区域中，用户体验3D效果。

例如，图1是示出具有总共六个视点的多视点图像的显示操作的示图。参照图1，裸眼3D显示设备可将与具有六个视点中的第一视点的图像相应的光投射到左眼，并可将与具有第二视点的图像相应的光投射到右眼。因此，用户可利用左眼和右眼来观看不同的视点图像以便体验3D效果。然而，这仅为示例性实施例，而可提供具有各种视点(诸如，七个视点、九个视点等)的图像。

图2是示出根据示例性实施例的多视点图像显示设备100的框图。

参照图2，多视点图像显示设备100包括深度估计器110、深度调整器120、渲染器130和显示器140。

多视点图像显示设备100可被实现为各种类型的显示设备，诸如TV、监视器、个人计算机(PC)、信息亭PC、平板PC、电子相框、便携式电话等。

图像输入单元(未示出)接收各种类型的图像。具体地讲，图像输入单元可从各种类型的外部设备(诸如，外部存储介质、广播站、web服务器等)接收图像和图像的深度信息。输入图像是单视点图像、立体图像和多视点图像之一。单视点图像是通过一般拍摄设备捕捉的图像。立体图像是仅利用左眼图像和右眼图像来表达并通过立体拍摄设备捕捉的3D视频图像。通常，立体拍摄设备是包括两个镜头并用于捕捉立体图像的拍摄设备。多视点图像表示在几何上校正通过一个或更多个拍摄设备捕捉的图像并在空间上合成所述图像以向用户提供几个方向的不同视点的3D视频图像。

图像输入单元可接收与图像相关的深度信息。通常，图像的深度表示分配给图像的每个像素的深度值，例如，8比特的深度可具有0与255之间的灰度值。例如，响应于基于黑和白表达深度，黑色(低的值)可表示远离观看者的地点，白色(高的值)可表示靠近观看者的地点。

以下，为了便于描述，可输入立体图像，并且可不输入附加深度信息。

深度估计器110基于输入立体图像(即，左眼图像和右眼图像)来提取存在于图像中的物体的深度信息。深度信息指示存在于图像中的3D距离信息并可被称为深度图(或视差图)或深度图像(或视差图像)。例如，深度信息表示指示与3D效果相关的信息，诸如对象与相机之间的距离、对象与在其上聚焦对象的图像的记录介质之间的距离等。换言之，响应于左眼图像与右眼图像的相应点之间的距离大，3D效果通过所述距离进一步被增强。深度图将这种深度的改变状态形成为一个图像，并且可被表示为根据左眼图像与右眼图像的匹配点之间的距离的大小而变化的灰度级。例如，深度图中被明亮地表示的部分与相机和物体之间的距离近的部分相应，深度图中被黑暗地表示的部分与相机和物体之间的距离远的部分相应。

深度估计器110可执行用于检测左眼图像和右眼图像的匹配点以提取关于3D空间的距离信息的立体匹配操作，以便产生深度。深度估计器110可应用自适应权重来执行立体匹配操作。

例如，由于通过在不同视点捕捉一个目标来产生左眼图像和右眼图像，因此图像差异可因视点之间的差异而发生。例如，边缘部分和背景部分可在左眼图像中彼此重叠而可在右眼图像中彼此稍微分离。因此，可应用自适应权重，其中，具有基于对象的预设范围内的像素值的像素的权重被提高，具有所述预设范围之外的像素值的像素的权重被降低。因此，自适应权重可被应用到左眼图像和右眼图像中的每个，然后可比较应用结果来确定左眼图像和右眼图像是否匹配。响应于如上所述使用自适应权重，可防止左眼图像和右眼图像的校正对应性被确定为所述校正对应性具有低的相关性，从而可提高匹配准确度。

尽管在图2中未示出，但是多视点图像显示设备100还可包括减少用于产生深度图的操作负担的缩小器(down-scalar)(未示出)。换言之，缩小器可缩小通过图像接收器(未示出)接收的图像，并可将缩小后的图像提供给深度估计器110以便减少操作负担。

然而，响应于如上所述深度信息与图像一起被输入，可省略由深度估计器110执行的功能。

深度调整器120调整由深度估计器110估计的深度。

具体地讲，深度调整器120基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案(pattern)信息、输入图像的马尔可夫随机场(MRF)能量信息中的至少一个来控制用于渲染多视点图像的像素偏移量。从输入图像的视差直方图计算的信息可以是与视差搜索范围的边缘区域相应的阈值频率信息，其中，在视差直方图中检测所述搜索范围中的视差。在这种情况下，响应于阈值频率超过预设阈值，深度调整器120可调整估计的深度以便减小估计的深度。

存在于输入图像中的周期图案信息可以是用于估计存在于输入图像中的周期纹理或重复纹理的量的周期图案频率信息。响应于周期图案频率超过预设阈值，深度调整器120可调整估计的深度以便减小估计的深度。

输入图像的MRF能量信息可以是与用于对构成输入图像的立体图像的匹配程度进行定量(quantify)的能量相关的信息。响应于MRF能量超过预设阈值，深度调整器120可调整估计的深度以便减小估计的深度。

深度调整器120可将从视差直方图计算的阈值频率信息、存在于输入图像中的周期图案的周期图案频率、输入图像的MRF能量转换为衰减系数，将衰减系数的最小值确定为深度减小量，并基于确定的深度减小量来调整估计的深度。以下将参照附图对此进行描述。

渲染器130可基于像素偏移量来渲染由深度调整器120调整的深度，即多视点图像。

具体地，渲染器130可基于在将二维(2D)图像转换为3D图像时提取的深度信息来渲染多视点图像。可选择地，响应于多视点(即，N个视点)和与所述N个视点相应的N个深度信息被输入，渲染器130可基于输入的N个视点中的至少一个和N个深度信息中的至少一个来渲染多视点图像。可选择地，响应于仅N个视点被输入，渲染器130可从N个视点提取深度信息并随后基于提取的深度信息来渲染多视点图像。

例如，渲染器130可将3D图像(即，左眼图像和右眼图像之一)选择作为参考视点(或中心视点)以便产生作为多视点的基础的最左侧视点和最右侧视点。在这种情况下，渲染器130可基于与左眼图像和右眼图像中被选择作为参考视点的一个图像相应的像素偏移量来产生最左侧视点和最右侧视点。

响应于最左侧视点和最右侧视点被产生，渲染器130可在中心视点和最左侧视点之间产生多个内插视点，并在中心视点与最右侧视点之间产生多个内插视点，以便渲染多视点图像。然而，示例性实施例不限于此，渲染器130可通过使用外插技术来产生外插视点。

在渲染多视点图像之前，渲染器130可填充存在于最左侧视点和最右侧视点中的孔(hole)，以便补偿最左侧视点和最右侧视点。

渲染器130可复制与最左侧视点和最右侧视点之一相应的像素区域的值，以赋予给基于中心视点、最左侧视点和最右侧视点产生的多视点图像的孔区域。在这种情况下，渲染器130可从靠近背景的部分执行孔填充。例如，响应于渲染器130渲染总共35个多视点图像，渲染器130可将与第35视点(最左侧视点)相应的像素区域的值填充到存在于作为第17视点的中心视点与作为最左侧视点的第35视点之间的第18至第34视点的孔区域中。然而，渲染器130可基于输入图像针对每个多视点图像执行孔填充。

显示器140提供多视点(或多光学视点)。为此，显示器140包括显示面板141和视场划分器142。

显示面板141包括多个像素，其中，所述多个像素中的每个像素包括多个子像素。这里，子像素可包括红(R)、绿(G)和蓝(B)子像素。换言之，包括R、G和B子像素的像素可排列在多个行和多个列中，以便构成显示面板141。可将显示面板141实现为各种类型的显示器，诸如液晶显示(LCD)面板、等离子显示面板(PDP)、有机发光二极管(OLED)、真空荧光显示器(VFD)、场发射显示器(FED)、电致发光显示器(ELD)等。

显示面板141显示图像帧。具体地，显示面板141可显示在其中顺序地并重复地排列由渲染器130产生的多视点图像的图像帧。

响应于显示面板141被实现为LCD面板(尽管在图2中未示出)，多视点图像显示设备100还可包括背光单元(未示出)和面板驱动器(未示出)，其中，根据构成图像帧的像素的像素值，背光单元向显示面板141提供背光，面板驱动器驱动显示面板141的像素。

可将视场划分器142布置在显示面板141的前面以提供观看区域的不同视点(即，多视点)。在这种情况下，视场划分器142可被实现为柱状透镜或被实现为视觉差异屏障。

例如，视场划分器142可被实现为包括多个透镜区域的柱状透镜。因此，柱状透镜可通过多个透镜区域来折射显示在显示面板141上的图像。可以根据观看区域，以与至少一个像素相应的大小来形成每个透镜区域，以便不同地分散穿过每个像素的光。

作为另一示例，视场划分器142可被实现为视觉差异屏障。视觉差异屏障可被实现为包括多个屏障区域的透明狭缝阵列。因此，视觉差异妨碍通过屏障区域之间的狭缝的光，以便发射具有根据观看区域而变化的视点的图像。

虽然在图2中未示出，但是多视点图像显示设备100还可包括不同的衰减模块，诸如未校正(rectify)立体检测、颜色不匹配检测、运动模糊检测d_span等。

根据上述示例性实施例，在渲染多视点图像之前，控制从输入估计的深度。原因如下。

首先，在图像质量没有严重劣化的情况下显示器可表达的深度的大小根据显示技术变化。在相邻视点之间发生的过量串扰会限制显示器可示出的视差量或视觉差异量。因此，可控制在渲染器140中发生的像素偏移量，以便使用具有各种深度表达的显示技术。此外，由深度估计器110执行的立体匹配中的缺陷引起产生的视点中的缺陷。因此，深度调整器120可检测较低质量的场景并减小相应场景的深度以减轻视点缺陷和失真。此外，可向用户提供在显示器上示出的深度量的一种控制。

现在将参照附图更详细地描述根据示例性实施例的调整深度的方法。

图3是示出根据示例性实施例的视差值的直方图的示图。

为了便于描述，直方图的面元(bin)大小在图3中被示出为一个像素但是可被改变。

图3中示出的直方图可从一个图像和一个深度或者从两个图像和两个深度形成。这里，直方图的延伸程度和形状根据立体图像的内容变化。直方图包括上视差和下视差，其中，所述上视差和下视差确定计数的视差值的总数的百分比范围。如图3中所示，所述百分比为95％。此外，可通过使用各种方法来计算形心(centroid)视差值。一种方法为通过使用所有视差值的平均值来计算形心视差值。另一方法为检测上视差值与下视差值之间的中间点。检测中间点以确定将用于控制深度的d_span和d_offset。

图4A和图4B是示出根据示例性实施例的计算用于控制深度所必需的数值的方法的曲线图。

如图4A和图4B中所示，存在两种检测d_span和d_offset的方法。

根据第一方法，如图4A中所示，d_offset被设置为0，仅检测d_span。在这种情况下，d_span与先前检测到的上视差值和下视差值为范围的从0开始的视差值相应。由于在图4A中下视差大于上视差，因此，d_span被分配为下视差的大小。该值确定图4A中描述的最小视觉差异值和最大视觉差异值。最小视觉差异值和最大视觉差异值是距离0为d_span的值。视觉差异考虑从渲染器130输出的实际屏幕视差。

为了便于描述，视觉差异被定义为局部像素在最左侧渲染视点与最右侧渲染视点之间的屏幕像素视差(该定义在技术上不正确，但不相关地使用相应术语)。最大视觉差异值是可由制造者或用户设置的恒定参数。现在将描述定义最大视觉差异值并将视差值转换为实际的屏上像素视差或视觉差异的方法。响应于最大视觉差异值被设置为与可被示出为视差的深度的最大量相应，视差-视觉差异映射方法可适当地向观看者显示图像的所有区域。

根据第二方法，如图4B中所示，基于d_span计算视差，d_span被分配为上视差值与下视差值之间的形心视差的视差值。与如上所述相同地限制视觉差异，并确定视差-屏幕视觉差异转换函数。第二方法可将视差值分散为比第一方法更多的视觉差异值。这在稍微更宽的范围中加深或分散深度。

如图5中所示，可从视差直方图计算至少一个数值。具体地，对存在于视差搜索范围的角部区域中的样点数量进行计数，计数的数量被称为阈值频率。根据用于获得深度图像的视差估计算法或立体匹配算法来确定视差搜索范围。换言之，许多算法限定在其中检测视差的搜索范围。

如图5中所示，视差搜索范围在-128和127之间。可将对阈值频率进行计数的直方图的外边缘设置为视差范围的百分比或视差范围的面元的数量。也就是确定实际存在于图像中的视差将超过算法的搜索范围限制的可能性。

错误估计的视差图像在最后渲染的视点中引起缺陷。因此，根据示例性实施例，可减小用户感知的深度，以便潜在地减轻视觉感知缺陷。

具体地，确定衰减常数，其中，所述衰减常数是与视差搜索范围的外边缘相应的阈值频率的衰减系数。

尽管图5中未示出，但是除了所述阈值频率之外，还计算可被深度调整器120使用的至少两个数值。所述至少两个数值之一为用于估计存在于图像中的周期纹理或重复纹理的量的周期图案频率。

大多数立体匹配算法不能从当前周期图案计算处准确的视差。因此，可能将存在错误估计的视差并可减小感知的深度。检测准确的周期图案的方法在示例性实施例的范围之外，因此省略对其的详细描述。

所述至少两个数值中的另一数值是匹配矩阵的质量。根据一般的最优化立体匹配算法，可从主要对立体图像被匹配的多好进行定量的MRF能量等式来计算匹配矩阵的质量。具体地，响应于能量高(即，匹配质量低)，可控制感知的深度以便被减小。

图6是示出根据示例性实施例的深度调整器120的详细操作的示图。

如图6中所示，深度调整器120包括三个主要的子模块，即，视差直方图分析子模块、周期图案检测子模块和MRF能量计算子模块。MRF能量计算子模块可以是推广到考虑任意匹配矩阵的质量的模块。

视差直方图分析子模块的输出为d_span、d_offset和阈值频率。周期图案检测子模块和MRF能量计算子模块的输出分别为周期图案频率和MRF能量。三个矩阵(阈值频率、周期图案频率和MRF能量)为应用的衰减系数(写为f、g和h)，将这三个值中的最小值选择为衰减系数β。在图7A至图7C中示出将上述矩阵转换为衰减常数的衰减系数的示例。输出的衰减常数为0和1之间的值。

衰减常数确定在渲染器中发生的深度减小量。换言之，深度调整器的输出(根据模式可以为0)可以为d_span、d_offset和衰减常数β。

以下的等式1示出将视差转换为屏幕视觉差异的方法：

$p=p_{\max }\mathrm{\α\β}\frac{(d-d_{\mathrm{offset}})}{d_{\mathrm{span}}}---\left(1\right)$

其中，d表示视差图像的局部视差，p表示在被产生为与相应视差相应的视点中发生的像素偏移量。此外，p_max表示最大屏幕视觉差异，深度调整器的输出为d_span、d_offset和β。α表示从中心被归一化使得最左侧图像与最右侧图像之间的视点延伸的距离为1的视点。例如，图8中示出与提供7个多视点的显示器的各个视点相应的α值。

参照图8，基于与中心视点相应的α值(0)，左侧多视点和右侧多视点的α值可分别为-1/2、-1/3、-1/6、0、1/6、1/3和1/2。

在等式1中，p_max为常数，α为-1/2与1/2之间的值，β为0和1之间的值，最后的项近似为-1与1之间的范围。

屏幕视觉差异p具有-p_max/2与p_max/2之间的值。换言之，最左侧渲染视点与最右侧渲染视点之间的两个任意相应像素之间的最大分离值可近似为p_max。在高阈值频率、高周期图案频率或高能量的情况下，β近似为0，两个相应像素之间的分离值近似为0，并且有效地减小感知的深度。

可将一种时间滤波器应用于用于模块的重要数值，即，d_span、d_offset和β。作为时间滤波器的示例，在衰减系数为以下等式2中定义的指数移动平均值的情况下：

${\stackrel{\‾}{\mathrm{\β}}}_t={\mathrm{\γ\β}}_t+(1-\mathrm{\γ}){\stackrel{\‾}{\mathrm{\β}}}_t-1---\left(2\right)$

γ为0与1之间的权重参数。可选择地，可包括场景改变检测模块以在每当场景改变时不应用时间滤波器。例如，在等式2的指数移动平均值的情况下，每当检测到场景改变时，γ可被设置为1。

图9是示出根据示例性实施例的调整深度的方法的流程图。

参照图9，在操作S910，多视点图像显示设备估计输入图像的深度。

在操作S920，多视点图像显示设备基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息、输入图像的MRF能量信息中的至少一个来调整估计的深度。

在操作S930，多视点图像显示设备基于调整后的深度来渲染多视点图像。

在操作S940，多视点图像显示设备显示多视点。

在操作S920，可基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息、输入图像的MRF能量信息中的至少一个来调整输入图像的深度以减小输入图像的深度。

从输入图像的视差直方图计算的信息可以是与在视差直方图中的视差搜索范围的边缘区域相应的阈值频率信息，其中，在视差搜索范围内检测视差。响应于阈值频率超过预设阈值，在操作S920，可调整估计的深度以便减小估计的深度。

存在于输入图像中的周期图案信息可以是用于估计存在于输入图像中的周期纹理或重复纹理的量的周期图案频率信息。响应于周期图案频率超过预设阈值，在操作S920，可调整估计的深度以便减小估计的深度。

输入图像的MRF能量信息可以是与用于对构成输入图像的立体图像的匹配程度进行定量的能量相关的信息。响应于MRF能量超过预设阈值，在操作S920，可调整估计的深度以便减小估计的深度。

在操作920，可将从视差直方图计算的阈值频率、存在于输入图像中的周期图案的周期图案频率、输入图像的MRF能量转换为衰减系数。此外，可将衰减系数的最小值确定为深度减小量，并且可基于确定的深度减小量来调整输入图像的深度。

具体地，在操作S920，可调整用于渲染多视点图像的像素偏移量。可基于以上的等式1来计算用于渲染多视点图像的像素偏移量。

根据各种示例性实施例，裸眼3D显示设备可向用户提供最佳3D效果。

根据上述各种示例性实施例的调整深度的方法可被实现为程序并可被提供给显示设备或立体多视点芯片。

例如，可提供非暂时性计算机可读介质。非暂时性计算机可读介质存储执行以下步骤的程序：估计输入图像的深度；基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息、输入图像的MRF能量信息中的至少一个来调整估计的深度；基于调整后的深度来渲染多视点图像。

非暂时性计算机可读介质是指不是短期存储数据的介质(诸如，寄存器、高速缓冲存储器、存储器等)而是半永久地存储数据并可由装置读取的介质。具体地，上述应用或程序可被存储和提供在非暂时性计算机可读介质(诸如，CD、DVD、硬盘、蓝光盘^TM、通用串行总线(USB)、存储卡、ROM等)上。

前述示例性实施例和优点仅为示例性的而不被解释为限制性的。可将示例性实施例容易地应用于其它类型的设备。此外，示例性实施例的描述旨在是说明性的，而不旨在限定权利要求的范围，并且许多替换、修改和变化对于本领域技术人员将会是清楚的。

Claims (15)

1.一种多视点图像显示设备，包括：

深度估计器，被配置为估计输入图像的深度；

深度调整器，被配置为调整估计的深度；

渲染器，被配置为基于调整后的深度来渲染多视点图像；

显示器，被配置为显示被渲染的多视点图像，

其中，深度调整器被配置为基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息、输入图像的马尔科夫随机场(MRF)能量信息中的至少一个来调整估计的深度。

2.如权利要求1所述的多视点图像显示设备，其中，深度调整器被配置为基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息、输入图像的MRF能量信息中的至少一个来调整估计的深度以减小估计的深度。

3.如权利要求2所述的多视点图像显示设备，其中，从输入图像的视差直方图计算的信息是与视差搜索范围的边缘区域相应的阈值频率信息，其中，从视差直方图检测在所述视差搜索范围中的视差，

其中，响应于阈值频率信息超过预设阈值，深度调整器调整估计的深度以便减小估计的深度。

4.如权利要求2所述的多视点图像显示设备，其中，存在于输入图像中的周期图案信息是用于估计存在于输入图像中的周期纹理或重复纹理的量的周期图案频率信息，

其中，响应于周期图案频率信息超过预设阈值，深度调整器调整估计的深度以减小估计的深度。

5.如权利要求2所述的多视点图像显示设备，其中，输入图像的MRF能量信息是与用于对构成输入图像的立体图像的匹配程度进行定量的能量相关的信息，

其中，响应于MRF能量信息超过预设阈值，深度调整器调整估计的深度以便减小估计的深度。

6.如权利要求1所述的多视点图像显示设备，其中，深度调整器被配置为将从视差直方图计算的阈值频率、存在于输入图像中的周期图案的周期图案频率、输入图像的MRF能量转换为衰减系数，将衰减系数中的最小值确定为深度减小量，并基于确定的深度减小量来调整输入图像的深度。

7.如权利要求1所述的多视点图像显示设备，其中，深度调整器被配置为调整用于渲染多视点图像的像素偏移量。

8.如权利要求1所述的多视点图像显示设备，其中，基于以下式来计算用于渲染多视点图像的像素偏移量：

$p=p_{\max }\mathrm{\α\β}\frac{(d-d_{\mathrm{offset}})}{d_{\mathrm{span}}}$

其中，p表示在被产生为与视差相应的视点中发生的像素偏移量，d表示视差图像的局部视差，p_max表示最大屏幕视觉差，d_span和d_offset为从视差直方图计算的值，β表示阈值频率、周期图案频率和MRF能量中的最小值，α表示从中心被归一化使得最左侧图像与最右侧图像之间的距离为1的视点距离。

9.一种控制多视点图像显示设备的方法，所述方法包括：

估计输入图像的深度；

基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息、输入图像的MRF能量信息中的至少一个来调整估计的深度；

基于调整后的深度来渲染多视点图像；

显示被渲染的多视点图像。

10.如权利要求9所述的方法，其中，基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息和输入图像的MRF能量信息中的至少一个来调整输入图像的深度以减小输入图像的深度。

11.如权利要求10所述的方法，其中，从输入图像的视差直方图计算的信息是与视差搜索范围的边缘区域相应的阈值频率信息，其中，从视差直方图检测在所述视差搜索范围中的视差，

其中，响应于阈值频率信息超过预设阈值，调整估计的深度以便减小估计的深度。

12.如权利要求10所述的方法，其中，存在于输入图像中的周期图案信息是用于估计存在于输入图像中的周期纹理或重复纹理的量的周期图案频率信息，

其中，响应于周期图案频率信息超过预设阈值，调整估计的深度以便减小估计的深度。

13.如权利要求10所述的方法，其中，输入图像的MRF能量信息是与用于对构成输入图像的立体图像的匹配程度进行定量的能量相关的信息，

其中，响应于MRF能量信息超过预设阈值，调整估计的深度以便减小估计的深度。

14.如权利要求9所述的方法，其中，调整估计的深度的步骤包括：将从视差直方图计算的阈值频率、存在于输入图像中的周期图案的周期图案频率、输入图像的MRF能量转换为衰减系数，将衰减系数中的最小值确定为深度减小量，并基于确定的深度减小量来调整输入图像的深度。

15.如权利要求9所述的方法，其中，调整估计的深度的步骤包括：调整用于渲染多视点图像的像素偏移量。