CN103339658A - 用于三维立体显示器的方法、设备和计算机程序产品 - Google Patents

Abstract

提供了一种用于三维立体显示器的方法、设备和计算机程序产品。该方法包括：捕获用于三维立体显示器的对象的图像，通过比较捕获的图像来计算对象的视差水平，将标识元素的视差水平调整为与对象的视差水平相同，并且在三维立体显示器中将标识元素与对象一起以相同的景深进行显示。由于处于显示器的相同的景深中，以该方式显示的3D图像更加自然、生动和清晰，并且这种3D图像中的对象更容易被标识。因此，观看者将享受3D立体显示器中的更好的用户体验。

Description

用于三维立体显示器的方法、设备和计算机程序产品

技术领域

本发明的实施例一般涉及三维（3D）立体显示器。更特别地，本发明的实施例涉及用于在3D立体显示器中呈现图像的方法、设备和计算机程序产品。

背景技术

随着显示技术的不断进步，3D图像因其自然、生动和高度清晰的视觉效果如今已经越来越受欢迎。人们可以通过支持3D的设备来观看多种多样的扩充实境（augmented reality）或立体图像。一般地，通过对由两个或更多个相机（例如，包括用于附加的增强效果的红外相机）捕捉到的图像进行组合来形成3D立体图像，其中一个相机起到人类左眼的作用而另一个起到右眼的作用。

为了便于标识同一3D立体图像中的若干对象，可以利用多个标识元素（例如，图标、标签或其他3D元素）并且每个标识元素可以通过被附于其上或者被呈现在其附近来标识单个对象。这在对象的数目少并且这些对象以足够的间距进行布置以使得覆盖在相同3D立体图像上的标识元素可以彼此充分地分开时可能是方便的。

然而，在一些对象被狭窄地布置在3D立体图像中的情况下，以上标识元素可能彼此重叠，并且因此可能难以区分哪个标识元素可能标识哪些对象。为了更好的理解，图1图示了如上所述的一种类似的情况。如图1的图片中所示，若干汽车彼此基本上呈直线停靠。在3D立体显示器（其完全不同于在该二维（2D）图片中所看到的）中，诸如BMW、Ford等徽标可以被用户的眼睛视为跨停止线彼此覆盖，在这种情况下，难以确定每个汽车的品牌，因为在3D立体显示器中，这些徽标并不与那些汽车以相同的景深进行显示。

发明内容

鉴于现有3D立体显示器中的前述问题，在本领域中需要提供一种用于3D立体显示器的方法、设备和计算机程序产品，以便可以起标识3D图像中的对象的作用的标识元素可以自动调整为在3D立体显示器中以与其相应的对象相同的景深进行显示。

本发明的一个实施例提供一种方法。该方法包括捕获用于三维立体显示器的对象的图像。该方法还包括通过比较捕获的图像来计算对象的视差水平（disparity level）。进一步地，该方法包括将标识元素的视差水平调整为与对象的视差水平相同。此外，该方法包括在三维立体显示器中将标识元素与对象一起以相同的景深进行显示。

在一个实施例中，该方法可以进一步包括使用图像捕获设备来捕获用于三维立体显示器的图像，该图像捕获设备被合并到移动设备中并且具有两个或更多个相机。

在另一个实施例中，计算对象的视差水平进一步包括计算两个捕获的图像中的对象的轮廓上的一个或多个对应的参考点之间的偏移距离。

在进一步的实施例中，参考点到已经捕获图像的图像捕获设备的距离比对象的轮廓上的其它点短得多。

在另外的实施例中，计算对象的视差水平进一步包括计算每个参考点之间的偏移距离并且然后对计算的偏移距离进行平均。

在一个实施例中，计算对象的视差水平进一步包括计算每个参考点之间的偏移距离并且然后赋以参考点不同的权重以获得每个参考点的相应的视差水平。

在更进一步的实施例中，计算偏移距离进一步包括计算在视地平线（apparent horizon line）的方向上的偏移距离。

在另一个实施例中，调整标识元素的视差水平进一步包括选择将要以标识元素进行覆盖以便标识捕获的图像中的一个图像中的对象的位置，并且然后在捕获的图像中的另一个图像中选择将要基于对象的视差水平以标识元素进行覆盖的另一个位置。

在一个实施例中，标识元素是三维元素，并且该方法进一步包括在标识元素被覆盖在图像上并且基于两个真实相机之间的距离来调整捕获对象图像的两个虚拟相机之间的距离之前，基于计算的视差水平在三维虚拟场景下使用两个虚拟相机来渲染三维元素。

本发明的另一个实施例提供一种设备。该设备包括用于捕获用于三维立体显示器的对象的图像的装置。该设备还包括用于通过比较捕获的图像来计算对象的视差水平的装置。进一步地，该设备包括用于将标识元素的视差水平调整为与对象的视差水平相同的装置。此外，该设备包括用于在三维立体显示器中将标识元素与对象一起以相同的景深进行显示的装置。

本发明的另外的实施例提供一种设备。该设备包括至少一个处理器，以及包括计算机程序代码的至少一个存储器，该至少一个存储器和计算机程序代码被配置为与该至少一个处理器一起使得该设备至少执行：捕获用于三维立体显示器的对象的图像；通过比较捕获的图像来计算对象的视差水平；将标识元素的视差水平调整为与对象的视差水平相同；以及在三维立体显示器中将标识元素与对象一起以相同的景深进行显示。

本发明的一个实施例提供一种计算机程序产品。该计算机程序产品包括其上存储有计算机可读程序代码部分的至少一个计算机可读存储介质。该计算机可读程序代码部分包括用于捕获用于三维立体显示器的对象的图像的程序代码指令。该计算机可读程序代码部分进一步包括用于通过比较捕获的图像来计算对象的视差水平的程序代码指令。该计算机可读程序代码部分还包括用于将标识元素的视差水平调整为与对象的视差水平相同的程序代码指令。此外，该计算机可读程序代码部分包括用于在三维立体显示器中将标识元素与对象一起以相同的景深进行显示的程序代码指令。

就本发明的某些实施例而言，标识元素的位置可以自动调整或改变，以使得他们可以与他们标识的相应的对象以相同的景深进行显示或呈现。由于处于显示器的相同的景深中，以该方式显示的3D图像更加自然、生动和清晰，并且这种3D图像中的对象更容易被标识。因此，观看者将享受3D立体显示器中的更好的用户体验。

当结合的附图阅读时，从以下具体实施例的描述中还将认识到本发明的实施例的其他特征和优点，通过示例的方式图示了本发明的实施例的原理。

附图说明

在示例的意义上提出了本发明的实施例，并且以下参考附图更详细地解释其优点，其中：

图1图示了一种情况，在该情况下，当多个对象需要同其相应的标识元素一起显示在3D立体显示器中时，可能出现问题；

图2是图示了一种根据本发明的实施例的方法的简化流程图；

图3是图示了一种根据本发明的实施例的方法的详细流程图；

图4示意性地图示了根据本发明的实施例如何计算偏移距离；

图5进一步示意性地图示了根据本发明的实施例如何计算偏移距离；以及

图6是图示了一种根据本发明的实施例的设备的框图。

具体实施方式

本发明的实施例将详细描述如下。

在本发明的一个实施例中，用于三维显示器的对象的图像被图像捕获设备（诸如便携式成像设备、移动站（mobile station）、个人数字助理（PDA）等）所捕获，该图像捕获设备具有两个相机（或者在必要情况下具有更多相机），并且适合于捕获并且然后在3D立体显示器中呈现照片。在两个捕获的图像中，一个将是由人类的左眼看到的图像而另一个是由右眼看到的图像。然后，通过比较捕获的图像来计算对象的视差水平，视差水平表明对象在两个图像中的差异程度。通常，差异程度可以由对象在两个图像中的偏移距离来表示。

为了在3D立体显示器中适当地将标识元素与对象对齐，标识元素的视差水平被调整为与对象的视差水平相同。最终，标识元素在3D立体显示器中同对象一起以相同的景深进行呈现或显示。在一个实施例中，基于两个捕获的图像中的对象的轮廓上的一个或更多对应的参考点之间的偏移距离来计算对象的视差水平。参考点是到相机的距离比其它点相对短得多的那些点。在另一个实施例中，在视地平线方向上计算偏移距离。

先前已经描述了图1。其图示了一种情况，在该情况下，当多个对象需要同其相应的标识元素一起显示在3D立体显示器中时，可能出现问题。

图2是图示了一种根据本发明的实施例的方法200的简化流程图。如在图2中所图示的，该方法开始于步骤S201，然后继续进行到步骤S202，在该步骤捕获用于三维立体显示器的对象的图像。如本领域技术人员所公知的并且也如先前所提到的，一个图像将用于右眼视图而另一个则用于左眼视图。继捕获图像之后，该方法继续进行到步骤S203。在步骤S203，方法200通过比较捕获的图像来计算对象的视差水平。如前所述，该视差水平可以由两个图像中的相同对象的偏移距离来表示。

然后，方法200在步骤S204将标识元素的视差水平调整为与对象的视差水平相同。在调整标识元素的视差水平之后，方法200在步骤S205在3D显示器中将标识元素与对象一起以相同的景深进行显示。更特别地，两个相同的标识元素将分别添加到由图像捕获设备捕获的对于相同对象的两个图像，然后以与对象相同的景深显示在3D立体显示器中。最后，方法200结束于步骤S206。

图3是图示了一种根据本发明的实施例的方法300的详细流程图。如在图3中所图示的，方法300开始于步骤S301，然后继续进行到步骤S302，在该步骤，被分开一定距离的两个3D立体相机被定向为在目标方向上捕获目标对象。如以上所提到的，包括目标对象的两个图像（以下分别称为“左眼图像”和“右眼图像”）形成于讨论中的捕获之上。

然后，在步骤S303，方法300检查数据库以确定与捕获的对象相关联的标识元素是否存在其中以便添加到对象。在某种情况下，步骤S303可以是可选的因此可以被省略，例如，在数据库中的标识元素对于用户是已知的并且因此用户只捕获与这些标识元素相关联的对象的情况下。

如果确定对应的或相关的标识元素存在于数据库中，那么方法300继续进行到S304。在步骤S304，方法300分别从以上的左眼图像和右眼图像删去对象的相同部分。然后，方法300继续进行到步骤S305，在该步骤，方法300通过某些图形处理在左眼图像和右眼图像中的每个图像中标识或确定对象的轮廓。接下来，在步骤S306，方法300测量两个轮廓上的一个或更多对应的参考点之间的偏移距离以便计算捕获的对象在3D立体显示器中的视差水平。

一方面，在使用一个参考点的情况下，可以通过测量两个图像中的参考点之间的偏移距离来直接计算捕获的对象的视差水平。另一方面，由于轮廓上的不同的参考点可能具有不同的视差水平，所以可以计算两个图像中的相应的参考点中的每个参考点之间的偏移距离。整个结果偏移距离（其在必要时可以被赋以各种权重（例如，偏移距离越长，权重就将越大））可以被认为是对象对于不同的参考点的视差水平。此外，在必要时，可以对结果偏移距离进行平均。该平均的偏移距离将被视为对象的视差水平。

为了更好地理解本发明，图4和图5示意性地图示了如何计算偏移距离。如图4的下部中所图示的，包括相同奔驰汽车的尾部的左眼图像和右眼图像被分开一个间隔（即，本发明的偏移距离），可以通过测量两个图像中的对应的参考点（未示出）之间的距离来获得该间隔。进一步地，在图5中，在视地平线的方向上计算视差水平，视地平线的方向可以通过如下步骤来确定。

首先，通过与步骤S304和步骤S305类似的步骤，形成对象在两个图像中的轮廓。然后，通过分析轮廓，可以对一些参考点进行采样。接下来，视地平线的方向可以通过连接这样的参考点并且观察其变化来确定。最后，两个图像中的对应的参考点之间的偏移距离可以在视地平线的方向上来确定或测量。

例如，如图5的上部中所图示，在左眼图像和右眼图像中示出了五边形对象。尽管未示出，但是应该认识到，一些点（例如，五个端点）可以采样自五边形对象，并且然后对象的视差水平可以通过连接这些点并且测量这些点在视地平线方向上的偏移距离来确定，如图5的下部中所图示。

返回到图3，继测量偏移距离之后，方法300继续进行到S307，在该步骤，起标识对象的作用的诸如徽标（如图4中所示）、图标、文本消息或图形元素之类的标识元素将从数据库中检索得到。然后方法300继续进行到步骤S308。在步骤S308，方法300在图像之一（诸如左眼图像）中选择位置，该位置与对象相邻，并且优选地宜于标识对象到其看上去被附加到左眼图像中的对象上的程度。换句话说，标识元素将被覆盖在用于左眼视图的该位置处。

进一步地，方法300继续进行到步骤S309，在该步骤，其基于计算的偏移距离确定另一个图像（诸如右眼图像）中的标识元素的另一个位置，即，将标识元素移动与偏移距离（其与图4的上部中所图示的相同）相等的距离。换句话说，方法300选择一个位置，在该位置处将要以标识元素进行覆盖以便用于标识捕获的图像中的一个图像（例如左眼图像）中的对象，然后在捕获的图像中的另一个图像（例如右眼图像）中选择另一个位置，在该位置处将要基于视差水平以标识元素进行覆盖。

通过执行步骤S308和步骤S309，对于将2D标识元素适当和准确地覆盖在两个图像上是足够的。然而，在3D标识元素的情况下，备选地或者优选地，方法300在步骤S309处设置两个虚拟相机（例如，根据两个真实相机通过计算机指令来实现），然后在将其覆盖在图像上之前基于计算的视差水平在3D虚拟场景下在每个图像中渲染3D标识元素。两个虚拟相机之间的距离基于捕获对象图像的两个真实相机之间的距离而被调整。通过这样的渲染操作，3D标识元素上的一定数量的点的视差水平将与对象的轮廓上的那些对应的参考点相同。

本领域技术人员将要认识到，以上的渲染操作可以通过一些现有的方法或算法来实现并且因此在本文中省略以避免不必要地模糊本发明。

然后，方法300继续进行到步骤S310，在该步骤，其将覆盖有调整的标识元素的左眼图像和右眼图像发送到3D立体显示器。最后，方法300结束于步骤S311。如果在步骤S303未找到与捕获的对象相关联的标识元素，则方法300返回到步骤S302并且进行下一轮处理。因为方法300考虑了两个图像中的对象的偏移距离，所以覆盖在图像上的标识元素在最终的3D立体图像中看上去更生动或更自然。

图6是图示了一种根据本发明的实施例的设备600的框图。如图6中所图示的，设备600包括捕获装置601、计算装置602、调整装置603和显示装置。捕获装置601用于捕获用于三维立体显示器的对象的图像。计算装置602用于通过比较捕获的图像来计算对象的视差水平。调整装置603用于将标识元素的视差水平调整为与对象的视差水平相同。显示装置604用于在三维立体显示器中将标识元素与对象一起以相同的景深进行显示。可以看出，设备600可以执行如方法200和方法300中描述的任何步骤。进一步地，设备600可以包含在支持3D的移动台中。

以上已经参考方法和设备（即，系统）的框图和流程图的图示描述了本发明的示例实施例。应该认识到，框图和流程图的图示中的每个块以及框图和流程图的图示中的块的组合可以分别以包括计算机程序指令的各种方式来实现。这些计算机程序指令可以被加载到通用计算机、专用计算机或其他可编程数据处理设备以产生一种机器，使得在计算机或其他可编程数据处理设备上执行的指令创建用于实现流程图的（多个）块中指定的功能的装置。

前述计算机程序指令可以例如是子例程和/或功能。本发明的一个实施例中的计算机程序产品包括其上存储有前述计算机程序指令的至少一个计算机可读存储介质。计算机可读存储介质可以例如是光盘或电子存储器设备（如RAM（随机存取存储器）或ROM（只读存储器））。

本领域技术人员能够获益于呈现在前述描述和相关联的附图中的教导而想到本文阐述的本发明的许多修改和其他实施例，本发明的这些实施例属于本领域。因此，将要认识到，本发明的实施例不限于公开的特定实施例，并且修改和其他实施例旨在被包括在所附权利要求的范围内。尽管本文使用了特定的术语，但是它们仅在通用的和描述性的意义上使用而不出于限制的目的。

Claims (20)

1.一种方法，包括：

捕获用于三维立体显示器的对象的图像；

通过比较所捕获的图像来计算所述对象的视差水平；

将标识元素的视差水平调整为与所述对象的所述视差水平相同；以及

在所述三维立体显示器中将所述标识元素与所述对象一起以相同的景深进行显示。

2.如权利要求1所述的方法，进一步包括使用图像捕获设备来捕获用于所述三维立体显示器的图像，所述图像捕获设备被合并到移动设备中并且具有两个或更多个相机。

3.如权利要求1所述的方法，其中计算所述对象的所述视差水平进一步包括计算两个所捕获的图像中的所述对象的轮廓上的一个或多个对应的参考点之间的偏移距离。

4.如权利要求3所述的方法，其中所述参考点到已经捕获所述图像的图像捕获设备的距离比所述对象的所述轮廓上的其它点短得多。

5.如权利要求3所述的方法，其中计算所述对象的所述视差水平进一步包括计算每个所述参考点之间的偏移距离并且然后对所计算的偏移距离进行平均。

6.如权利要求3所述的方法，其中计算所述对象的所述视差水平进一步包括计算每个所述参考点之间的偏移距离并且然后赋以所述参考点不同的权重以获得每个参考点的相应的视差水平。

7.如权利要求3所述的方法，其中计算所述偏移距离进一步包括计算在视地平线的方向上的所述偏移距离。

8.如权利要求1-7中的任一项所述的方法，其中调整所述标识元素的所述视差水平进一步包括选择将要以所述标识元素进行覆盖以便标识所捕获的图像中的一个图像中的所述对象的位置，并且然后在所捕获的图像中的另一个图像中选择将要基于所述对象的所述视差水平以所述标识元素进行覆盖的另一个位置。

9.如权利要求8所述的方法，其中所述标识元素是三维元素，并且所述方法进一步包括在将所述标识元素覆盖在所述图像上并且基于两个真实相机之间的距离来调整捕获所述对象的所述图像的两个虚拟相机之间的距离之前，基于所计算的视差水平在三维虚拟场景下使用所述两个虚拟相机来渲染所述三维元素。

10.一种设备，包括：

用于捕获用于三维立体显示器的对象的图像的装置；

用于通过比较所捕获的图像来计算所述对象的视差水平的装置；

用于将标识元素的视差水平调整为与所述对象的所述视差水平相同的装置；以及

用于在所述三维立体显示器中将所述标识元素与所述对象一起以相同的景深进行显示的装置。

11.如权利要求10所述的设备，进一步包括用于使用图像捕获设备来捕获用于所述三维立体显示器的图像的装置，所述图像捕获设备被合并到移动设备中并且具有两个或更多个相机。

12.如权利要求10所述的设备，其中所述用于计算所述对象的所述视差水平的装置进一步包括用于计算两个所捕获的图像中的所述对象的轮廓上的一个或多个对应的参考点之间的偏移距离的装置。

13.如权利要求12所述的设备，其中所述参考点到已经捕获图像的图像捕获设备的距离比所述对象的所述轮廓上的其它点短得多的。

14.如权利要求12所述的设备，其中所述用于计算所述对象的所述视差水平的装置进一步包括用于计算每个所述参考点之间的偏移距离并且然后对所计算的偏移距离进行平均的装置。

15.如权利要求12所述的设备，其中所述用于计算所述对象的所述视差水平的装置进一步包括用于计算每个所述参考点之间的偏移距离并且然后赋以所述参考点不同的权重以获得每个参考点的相应的视差水平的装置。

16.如权利要求12所述的设备，其中所述用于计算所述偏移距离的装置进一步包括用于计算在视地平线的方向上的所述偏移距离的装置。

17.如权利要求10-16中的任一项所述的设备，其中所述用于调整所述标识元素的所述视差水平的装置进一步包括用于选择将要以所述标识元素进行覆盖以便标识所述所捕获的图像中的一个图像中的所述对象的位置、并且然后在所捕获的图像中的另一个图像中选择将要基于所述对象的所述视差水平以所述标识元素进行覆盖的另一个位置的装置。

18.如权利要求17所述的设备，其中所述标识元素是三维元素，并且所述设备进一步包括用于在将所述标识元素覆盖在所述图像上并且基于两个真实相机之间的距离来调整捕获所述对象的所述图像的两个虚拟相机之间的距离之前，基于所计算的视差水平在三维虚拟场景下使用所述两个虚拟相机来渲染所述三维元素的装置。

19.一种设备，包括：

至少一个处理器，以及

包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述设备至少执行：

捕获用于三维立体显示器的对象的图像；

通过比较所捕获的图像来计算所述对象的视差水平；

将标识元素的视差水平调整为与所述对象的所述视差水平相同；以及

在所述三维立体显示器中将所述标识元素与所述对象一起以相同的景深进行显示。

20.一种计算机程序产品，包括其上存储有计算机可读程序代码部分的至少一个计算机可读存储介质，所述计算机可读程序代码部分包括：

用于捕获用于三维立体显示器的对象的图像的程序代码指令；

用于通过比较所捕获的图像来计算所述对象的视差水平的程序代码指令；

用于将标识元素的视差水平调整为与所述对象的所述视差水平相同的程序代码指令；以及

用于在所述三维立体显示器中将所述标识元素与所述对象一起以相同的景深进行显示的程序代码指令。

Images