CN104813230A - 使用单个相机捕捉三维图像的方法和系统 - Google Patents

Abstract

用于使用单个相机来创建3D图像的方法包含：通过单个相机捕捉第一图像作为第一位置处的右侧或左侧图像；提取第一图像的特征点；拍摄图片以找到第二图像作为不同于第一位置的位置处的另一侧图像；提取图片的特征点；比较第一图像和图片的特征点；生成两个3D光标，其中一个指示第二图像的目标位置，另一个指示相机的当前位置；在图片中显示两个3D光标；当通过平移和旋转相机，光标指示当前位置完全与指示目标位置的光标重叠时，捕捉第二图像；以及组合第一和第二图像以创建3D图像。

Description

使用单个相机捕捉三维图像的方法和系统

技术领域

本发明涉及一种用于使用单个相机捕捉3D图像的方法和系统。更具体地，本发明涉及一种用于通过利用3D光标、使用单个相机捕捉3D图像的方法和系统。

背景技术

在19世纪出现了3D立体的基本想法。因为我们的两个眼睛在我们的头部大约分开6.5cm，每个眼睛以稍微不同的视角看到我们正在观看的场景，这提供了不同的透视图。然后，我们的大脑可以基于来自我们的眼的两个视图创建场景内的深度的感觉。图1示出3D立体显示器的基本构思，其中Z是所感知的对象的深度，D是到屏幕的距离，四个对象被感知为处于屏幕的前面(车)、在屏幕上(柱状体)、在屏幕后面(树)以及在无穷远的距离(箱子)。多数现代3D显示器基于该3D立体构思建立，其中主要差别是分开两个视图(即，分别给左眼和右眼)的方式。

基于该原理，存在很多用于取得立体照片的方法。目前，最流行的方法是使用相同的两个相机，并且使用立体相机。

图2例示了使用两个相机捕捉立体照片的基本方法。两个相机被按照一定距离分开地放置。由两个相机同时取得两个照片。然后，在显影之后，左眼看到由左相机取得的照片，右眼看到由右相机取得的照片。大脑将真实的成像取得照片的3D空间。

立体相机是具有两个或多个透镜的一种相机，其中每个透镜有单独的图像传感器或胶片帧。这允许相机模拟人类双眼视觉，并且因此提供捕捉三维图像的能力，即被称为立体拍照的处理。立体相机可以被用于制作电影的立体视图和3D图片。立体相机中的透镜之间的距离(轴内的距离)根据期望多少三维性以及目标位于多远处来定义。

两种方法都需要两个透镜，并且用户应当是专业的摄影师。由于移动设备上的硬件限制，具有带有单个相机的移动设备的普通用户难以捕捉3D照片。如果移动设备用户想要取得立体3D照片，则他们需要取得相同对象的两个照片。首先，取得对象的一个照片。然后向右或向左移动相机少许，取得第二照片。在本公开的剩余部分中，假设第一照片用于左眼，第二照片用于右眼。最后，通过计算将两个图片组合成立体3D图像。但是用户将花费大量时间和精力在后期制作中，并且有时3D照片的效果是不充分的。因为他们过于主观地取得两个照片，所以左、右图像将很难匹配，并且将不能获得3D效果。本公开将提出一种针对移动设备的使用单个相机捕捉立体3D图像的方法。系统将帮助照相者精确地取得左图像和右图像，以便简化后期制作，并且获得3D图片的更好的效果。

创建3维假象(illusion)完全依赖于我们的眼睛分开一定距离这样的事实。如果对每个眼睛示出来自稍微不同的角度的相同的图像，则当我们的大脑组合图像时，组合图像将看起来是三维的。根据该原理，本发明提供一种使用单个相机捕捉立体3D图像的方法。相机将分别捕捉左图像和右图像。在相机捕捉左图像之后，系统将向用户给出关于右图像的最佳位置的一些提示。用户可以根据提示精确地捕捉右图像，以便进行组合以制作立体图像。因此，本发明针对解决如何给出关于用于组合成立体3D图像的右图像的位置的一些提示的问题。

作为相关技术，US20100316282公开了一种基于第一和第二图片以及关于第一和第二图片之间的位置/方向的改变来创建3D图像的方法。

发明内容

本发明公开一种使用单个相机捕捉3D图像的方法。将图像处理功能添加到具有单个相机的移动设备以匹配左图像和右图像的特征点以便捕捉立体图像。

当移动设备捕捉左图像时，系统将提取左图像的特征点。然后当移动设备被移动以拍摄右图片时，系统提取右图片的特征点。应当注意的是，在下文中，右图片指相机正在显示器中显示的图片；另一方面，右图像指由相机取得要被组合成立体3D图像的图像。另外，在取得照片时使用“捕捉”，在显示图片时使用“拍摄”。

之后，系统使用基于双向最大相关性和视差约束的特征点匹配方法来比较左图像的特征点图和右图像的特征点图，以便分析对象大小。如果两个图中的对象大小相同，则这表明两个的观看距离是相同的。如果两个图中的对象大小不同，则相机应当被移动，直至两个图中的对象大小相同为止。另外，系统比较两个特征点图之间的垂直差异。另外，相机应当被平移和旋转以消除垂直差异。最后，用户将能够捕捉右图像以精确地组合成立体3D图像。

根据本发明的一方面，提供一种使用单个相机创建3D图像的方法，包含以下步骤：通过单个相机捕捉第一图像作为第一位置处的右侧或左侧图像；提取第一图像的特征点；拍摄图片以找到第二图像作为不同于第一位置的位置处的另一侧图像；提取图片的特征点；比较第一图像和图片的特征点；生成两个3D光标，其中一个光标指示第二图像的目标位置，另一个指示相机的当前位置；在图片中显示两个3D光标；当通过平移和旋转相机，指示当前位置的光标完全与指示目标位置的光标重叠时，捕捉第二图像；以及组合第一和第二图像以创建3D图像。

根据本发明的另一方面，提供一种用于使用单个相机创建3D图像的系统，包含：用于通过单个相机捕捉第一图像作为第一位置处的右侧或左侧图像的装置；用于提取第一图像的特征点的装置；用于拍摄图片以找到第二图像作为不同于第一位置的位置处的另一侧图像的装置；用于提取图片的特征点的装置；用于比较第一图像和图片的特征点的装置；用于生成两个3D光标的装置，其中一个光标指示第二图像的目标位置，另一个指示相机的当前位置；用于在图片中显示两个3D光标的装置；用于当通过平移和旋转相机，指示当前位置的光标完全与指示目标位置的光标重叠时，捕捉第二图像的装置；以及用于组合第一和第二图像以创建3D图像的装置。

附图说明

根据结合附图的以下描述，本发明的这些以及方面、特征和优点将变得显而易见，附图中：

图1是例示3D立体显示器的构思的示意图；

图2是例示使用两个相机捕捉立体照片的基本方法的示意图；

图3A至3E示出例示根据本发明的实施例的使用单个相机捕捉两个图像的步骤的示例性流程图；

图4A和4B示出例示根据本发明的实施例的用于移动电话的3D图像捕捉系统的主要步骤的示例性流程图；以及

图5是例示根据本发明的实施例的系统的示例性框图的示例性流程图。

具体实施方式

在下面的描述中，将描述本发明的实施例的各个方面。为了解释的目的，阐述具体的配置和细节以便提供彻底的理解。然而，本领域的技术人员还将意识到可以在不使用在本文中所呈现的具体细节的情况下实现本发明。

本发明关注在用户使用单个相机时的用于组合立体3D图像的第二图像捕捉的提示。它一般涉及使用获得两个图像之间的位置差异数据和视差数据的特征点匹配方法的3D图像捕捉系统。

当移动设备捕捉左图像时，系统将提取左图像的特征点，使得推出用于立体3D图像的右图像的特征点。另外，系统将向用户给出关于右图像的最佳位置的一些提示。有户可以根据位置数据精确地捕捉用于组合成立体图像的右图像，当用户捕捉右图像时，在屏幕上有两个3D光标。一个指示右图像的目标位置；另一个指示相机的当前位置。当两个3D光标重叠时，用户将精确地捕捉右图像，以便组合成立体3D图像。

使用具有相机的移动电话捕捉两个图像的步骤如下，根据图3A至3E所示：

1.用户使用具有相机的移动电话捕捉第一图像(图3A)。

2.在屏幕上显示三个深度信息图标。三个图标指示“在屏幕前面”、“在屏幕上”以及“在屏幕后面”。用户基于用户期望在两个图像的视差上的效果来选取三个图标中的一个(图3B)。

3.用户向右移动移动电话以找到右图像的视图(图3C)。

4.在屏幕上显示两个3D光标。一个指示要捕捉的右图像的目标位置，另一个指示相机的当前位置。用户通过平移和旋转使两个3D光标重叠(图3D)。、

5.当两个3D光标重叠时，捕捉右图像(图3E)。

一种系统描述如下，其将驱动3D光标。

1.移动设备捕捉左图像。

2.系统将取得左图像作为第一图像，并且提取第一图像的特征点。

3.在屏幕上显示三个深度信息图标。三个图标指示“在屏幕前面”、“在屏幕上”和“在屏幕后面”。用户基于用户期望在两个图像的视差上的效果来选取三个图像中的一个。

4.向右移动移动电话以找到右图像的视图。

5.系统将提取显示在显示器上的右图像的特征点。

6.如已知的，多数现代3D显示器基于该3D立体构思来建立，其中主要的差别是如何分开分别给左眼和右眼的两个视图。因此，系统将使用特征点匹配方法来分析两个图片之间的视差。

7.在屏幕上显示两个3D光标以调整两个图片之间的视差。

8.系统使用基于双向最大相关性和视差约束的特征点匹配方法来比较左图像的特征点图(即，指示对象的外边界的特征点的集合体)和右图片的特征点图，从而系统可以分析两个图中的对象大小。如果两个图中的对象大小相同，则这表明两个图片的观看距离相同。

9.在屏幕上显示两个3D光标。如果两个3D光标中的每一个的大小不同，则用户应当向前或向后移动相机，直至两个光标的大小变得相同。从而，左图像和右图像的观看距离将是相同的。

10.系统比较两个特征点图之间的垂直差异。

11.在屏幕中显示两个3D光标以便通过平移和旋转来消除垂直差异。

12.当两个3D光标重叠时，捕捉右图像。系统取得右图像作为第二图像。然后，系统将精确地将第一和第二图像组合成3D立体图像。

在图4A和4B中示出例示移动电话中的3D图像捕捉系统的主要步骤的流程图。在步骤401开始。在步骤403，用户通过单个相机捕捉左图像。在步骤405，3D图像捕捉系统提取左图像的特征点。在步骤407，3D图像捕捉系统在屏幕中显示三个深度信息图标，以便向用户建议3D效果。三个图标指示“在屏幕前面”、“在屏幕上”、“在屏幕后面”。在步骤409，用户选取三个图标中的一个以获得所期望的3D效果。在步骤411，用户移动相机以找到右图像的视图。在步骤413，3D图像捕捉系统提取正在显示器中显示的右图片的特征点。在步骤415，3D图像捕捉系统通过比较左图像和右图片的特征点来分析它们之间的视差。在步骤417，3D图像捕捉系统在显示器上显示两个3D光标以便视差调整。它们中的一个指示右图像的目标位置；另一个指示相机的当前位置。在步骤419，如果深度效果满意，则处理继续到步骤421。在步骤419，如果深度效果不满意，则处理返回到步骤411。在步骤421，3D图像系统使用特征点图来分析左图像和右图片这两者中的对象大小。在步骤423，针对左图像和右图片这两者的观看距离，3D图像系统在屏幕中显示3D光标。在步骤425，如果两个3D光标大小是相同的，则处理继续到步骤427。在步骤425，如果两个3D光标的大小是不相同的，则处理返回到步骤411。在步骤427，3D图像系统使用特征点图比较左图像和右图片这两者之间的垂直差异。在步骤429，3D图像系统显示两个3D光标，使得用户可以通过平移和旋转相机来消除垂直差异。在步骤431，如果两个3D光标重叠，则处理继续到步骤433。在步骤431，如果两个3D光标不重叠，是处理返回到步骤411。在步骤433，用户捕捉两个光标重叠的位置处的右图像。在步骤435，3D图像系统组合左图像和右图像以创建3D图像。然后，处理继续以在在步骤427处结束。

图5例示根据本发明的实施例的系统510的示例性框图。系统510可以是移动电话、计算机系统、平板、便携式游戏、智能电话等。系统510包含CPU(中央处理单元)511、相机512、存储513、显示器514以及用户输入模块515。如图5所示，诸如RAM(随机存取存储器)这样的存储器516可以连接到CPU 511。

相机512是用于通过单个透镜捕捉左图像和右图像的元件。CPU 511处理如上所述的3D图像捕捉系统的步骤。

显示器514被配置为向系统510的用户视觉地呈现文本、图像、视频以及任何其他内容。显示器514可以应用兼容3D内容的任何类型。

存储513被配置为存储用于CPU 511驱动和操作如上所述的创建3D图像的过程的软件程序和数据。

用户输入模块515可以包括按键或按钮以输入字符或命令，并且还包含用于识别使用按键或按钮输入的字符或命令的功能。取决于系统的使用应用，可以省略用户输入模块515。

本发明还可以被应用于具有相机的移动设备，诸如移动电话、平台等。其可以用类似的硬件和软件配置取得立体以及多视图照片，因为多视图照片实质上是一系列的相邻的立体照片。

基于在本文中的教导，所属领域的普通技术人员可以容易地确定本原理的这些以及其他特征和优点。应该理解的是，本原理的教导可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现。

更优选地，本原理的教导可以实现为硬件和软件的组合。另外，软件可以实现为有形地实施在程序存储单元上的应用程序。应用程序可以被上载到包含任何适合的架构的机器，并且由其执行。优选地，在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)以及输入/输出(“I/O”)接口这样的硬件的计算机平台上实现该机器。计算机平台还可以包括操作系统和微指令码。在本文中所描述的各种处理和功能可以是微指令码的一部分或应用程序的一部分或其任何组合，其可以被CPU执行。另外，各种其他外围单元可以连接到计算机平台，诸如另外的数据存储单元。

还要理解的是，因为在附图中图示的一些组成系统组件和方法优选地实现为软件，系统组件或处理功能块之间的连接可以根据本原理被编程的方式而不同。给出本文中的教导，所属领域的普通技术人员将能够想到本原理的这些以及类似的实现方式或配置。

虽然参照附图在本文中描述了例示性的实施例，要理解的是，本原理不限于那些具体的实施例，所属领域的普通技术人员可以对其进行各种改变和修改，而不脱离本原理的范围和精神。所在这些改变和修改均包括在所附权利要求书中所阐述的本原理的范围。

Claims (10)

1.一种用于使用单个相机创建3D图像的方法，包含以下步骤：

通过单个相机捕捉第一图像作为第一位置处的右侧或左侧图像；

提取第一图像的特征点；

拍摄图片以找到第二图像作为不同于第一位置的位置处的另一侧图像；

提取该图片的特征点；

比较第一图像和图片的特征点；

生成两个3D光标，其中一个光标指示第二图像的目标位置，另一个光标指示相机的当前位置；

在图片中显示两个3D光标；

当通过平移和旋转相机，指示当前位置的光标与指示目标位置的光标完全重叠时，捕捉第二图像；以及

组合第一和第二图像以创建3D图像。

2.根据权利要求1所述的方法，比较的步骤包含分析对象的大小以及第一图像和图片的特征点图中的垂直差异，其中特征点图指示第一图像和图片中的每一个中的对象的外圆周中的特征点。

3.根据权利要求2所述的方法，还包含：

显示三个深度信息图标以获得第一和第二图像的视差上的所期望的效果，三个深度图标分别指示“在屏幕前面”、“在屏幕上”和“在屏幕后面”，

其中，确定目标3D光标的位置以获得所选取的深度图标的3D效果。

4.根据权利要求1至3之一所述的方法，其中，如果两个3D光标的大小相同，第一位置和所述位置的观看距离相同，两个3D光标的大小通过向前或向后移动相机而变得相同。

5.根据权利要求1至4之一所述的方法，其中，通过平移和旋转相机来消除第一图像和图片之间的垂直差异。

6.一种用于使用单个相机创建3D图像的系统，包含：

用于通过单个相机捕捉第一图像作为第一位置处的右侧或左侧图像的装置；

用于提取第一图像的特征点的装置；

用于拍摄图片以找到第二图像作为不同于第一位置的位置处的另一侧图像的装置；

用于提取该图片的特征点的装置；

用于比较第一图像和图片的特征点的装置；

用于生成两个3D光标的装置，其中一个光标指示第二图像的目标位置，另一个光标指示相机的当前位置；

用于在图片中显示两个3D光标的装置；

用于当通过平移和旋转相机，指示当前位置的光标与指示目标位置的光标完全重叠时，捕捉第二图像的装置；以及

用于组合第一和第二图像以创建3D图像的装置。

7.根据权利要求6所述的系统，用于比较的装置包括用于分析对象的大小以及第一图像和图片的特征点图中的垂直差异的装置，其中特征点图指示第一图像和图片中的每一个中的对象的外圆周中的特征点。

8.根据权利要求7所述的系统，还包含：

用于显示三个深度信息图标以获得第一和第二图像的视差上的所期望的效果的装置，三个深度图标分别指示“在屏幕前面”、“在屏幕上”和“在屏幕后面”，

其中，确定目标3D光标的位置以获得所选取的深度图标的3D效果。

9.根据权利要求6至8之一所述的系统，其中，如果两个3D光标的大小相同，第一位置和所述位置的观看距离相同，两个3D光标的大小通过向前或向后移动相机而变得相同。

10.根据权利要求6至9之一所述的系统，其中，通过平移和旋转相机来消除第一图像和图片之间的垂直差异。