CN103733617A - 用以捕获立体图像对的系统和方法 - Google Patents

Abstract

本发明描述一种用以使用具有单个成像传感器的成像装置捕获立体图像对的系统、设备和方法。具体来说，本发明论述用于通过图像传感器捕获第一和第二图像、确定所述两个图像之间的垂直和水平视差以及应用对于所述两个图像之间的几何失真、垂直视差和会聚的校正的系统和方法。一些实施例预期在捕获所述立体图像对的所述第二图像之前显示方向指示符。通过显示方向指示符，可以找到用于所述立体图像对的所述第二图像的更优位置，从而产生较高质量的立体图像对。

Description

用以捕获立体图像对的系统和方法

技术领域

本发明的一个方面涉及成像装置，并且具体来说涉及用于利用成像装置上的单个成像传感器来捕获立体图像的方法、设备和系统。

背景技术

过去许多年，数字成像能力已经集成到多种多样的装置中，包含数码相机和移动电话。近年来，用这些装置来捕获立体图像的能力已经在技术上成为可能。装置制造商通过引介集成了多个数字成像传感器的装置来作出回应。多种多样的电子装置，包含移动无线通信装置、个人数字助理(PDA)、个人音乐系统、数码相机、数字记录装置、视频会议系统和类似装置利用多个成像传感器向其用户提供多种能力和特征。这些不仅包含立体(3D)成像应用，例如3D照片和电影，而且包含较高动态范围成像和全景成像。

但是，添加第二数字成像传感器带来一些缺点。举例来说，第二成像传感器和相关联的电子器件的附加成本在至少一些市场片区中可能是过高的。另外，第二成像传感器会用多种方式影响装置的可用性。举例来说，容纳第二成像传感器要求装置略大于仅具有单个传感器的装置。另外，装置的电力能力的大小必须经过设计以支持同时对两个成像传感器的供电。这可能需要更大并且更昂贵的电力处置电路。装置的电池寿命可能也会受到影响，从而可能需要更大的电池。

发明内容

实施例中的一些可包括一种捕获立体图像的方法。所述方法可包括通过成像传感器捕获第一图像。所述方法可以进一步包括通过所述成像传感器捕获第二图像，以及确定所述第一图像与所述第二图像之间的垂直视差。所述方法可以进一步包括确定所述第一图像与所述第二图像之间的水平视差，确定所述第一图像与所述第二图像之间的几何失真，确定所述第一图像与所述第二图像之间的会聚点，以及应用校正以创建至少一个经校正的图像。在其它实施例中，基于深度范围和深度直方图确定会聚点。在替代实施例中，通过行总和向量的交叉相关确定垂直视差。一些实施例可以进一步包括基于经校正的图像产生立体平画图像对。在其它实施例中，可以反复地执行上述要素。

其它实施例可包括一种捕获立体图像的方法。所述方法可包括通过成像传感器捕获第一图像，在电子显示器上显示方向指示符，通过所述成像传感器捕获第二图像，以及基于所述第一图像和所述第二图像产生立体图像。在替代实施例中，所述方法可以进一步包括在电子显示器的对应部分上显示第一图像的一部分，以及在电子显示器的对应部分上显示来自所述成像传感器的预览图像的一部分。在其它实施例中，所述方法可以进一步包括在电子显示器上显示第一图像的透明的版本，或在电子显示器上显示预览图像的透明的版本。在另外其它实施例中，所述方法可以进一步包括在电子显示器上显示捕获高质量图像所需的水平移位的指示。其它实施例可包含显示动态地估计的质量指示符。在一些实施例中，响应于用户致动的控件而执行第二图像的捕获，而在其它实施例中，自动捕获第二图像。在这些实施例中，第二图像的自动捕获可以基于第一图像与预览图像之间的水平视差。在其它实施例中，第二图像的捕获至少部分基于来自自动聚焦模块或加速度计的输入，或者第一图像与实时图像之间的帧视差。

其它实施例可包括成像装置，所述成像装置包含成像传感器和电子处理器，其中所述电子处理器经配置以控制成像传感器。这些实施例还可包含控制模块，其经配置以使用成像传感器捕获第一图像，使用所述成像传感器捕获第二图像，确定所述第一图像与所述第二图像之间的垂直视差，确定所述第一图像与所述第二图像之间的水平视差，确定所述第一图像与所述第二图像之间的几何失真，确定所述第一图像与所述第二图像之间的会聚点，以及应用校正以创建至少一个经校正的图像。在一些实施例中，所述方法可以进一步包括基于所述经校正的图像创建立体图像对。在一些实施例中，所述要素可以反复地执行。在其它实施例中，所述成像装置可以进一步包括无线电话手持机。在其它实施例中，所述控制模块可经配置以自动捕获所述第二图像。所述装置的一些实施例进一步包括用户致动的控件，其中所述控制模块进一步经配置以响应于用户致动的控件的第一致动而捕获第一图像，以及响应于用户致动的控件的第二致动而捕获第二图像。

其它实施例包含成像装置，其包括成像传感器、电子显示器和处理器，其中所述处理器经配置以控制成像传感器和电子显示器。这些实施例进一步包括控制模块，其经配置以使用成像传感器捕获第一图像，在电子显示器上显示方向指示符，使用成像传感器捕获第二图像，以及基于第一图像和第二图像产生立体图像。在一些实施例中，所述控制模块进一步经配置以确定第一图像与第二图像之间的水平视差，并且方向指示符的显示是基于水平视差。在其它实施例中，装置进一步包括加速度计，其中方向指示符的显示是基于来自加速度计的输入。在替代实施例中，所述控制模块进一步经配置以在电子显示器上显示第一图像的一部分，而在另外其它实施例中，控制模块进一步经配置以在电子显示器上显示预览图像的一部分。在其它实施例中，第一图像的所述部分和预览图像的所述部分同时显示。

其它实施例包含非暂时性计算机可读媒体，其含有处理器可执行指令，所述处理器可执行指令操作以致使处理器使用成像传感器捕获第一图像，使用所述成像传感器捕获第二图像，确定所述第一图像与所述第二图像之间的垂直视差，确定所述第一图像与所述第二图像之间的水平视差，确定所述第一图像与所述第二图像之间的几何失真，以及确定所述第一图像与所述第二图像之间的会聚点，以及应用校正以创建至少一个经校正的图像。其它实施例进一步包括可执行指令，其操作以致使处理器基于经校正的图像产生立体平画图像对。一些其它实施例包含指令，其操作以致使处理器基于行总和向量的交叉相关确定垂直视差。

其它实施例包含非暂时性计算机可读媒体，其含有处理器可执行指令，所述处理器可执行指令操作以致使处理器：使用成像传感器捕获第一图像，显示方向指示符，通过所述图像传感器捕获第二图像，以及基于第一图像和第二图像产生立体图像。其它实施例进一步包含指令，其操作以致使处理器在电子显示器的一部分上显示第一图像的一部分和在电子显示器的一部分上显示预览图像的一部分。一些其它实施例可包括指令，其操作以致使处理器在电子显示器上显示第一图像的透明的版本，或在电子显示器上显示预览图像的透明的版本。

其它实施例包含一种成像装置，其包括：用于通过成像传感器捕获第一图像的装置，用于通过所述成像传感器捕获第二图像的装置，用于确定第一图像与第二图像之间的垂直视差的装置，用于确定第一图像与第二图像之间的水平视差的装置，用于确定第一图像与第二图像之间的几何失真的装置，用于确定第一图像与第二图像之间的会聚点的装置，以及用于应用校正以创建至少一个经校正的图像的装置。一些实施例可以进一步包括用于基于经校正的图像产生立体图像的装置。

其它实施例包含成像装置，其包括：用于使用成像传感器捕获第一图像的装置，用于显示方向指示符的装置，用于通过成像传感器捕获第二图像的装置，以及用于基于第一图像和第二图像产生立体图像的装置。

附图说明

将在下文中结合附图来描述所揭示方面，提供附图是为了说明但不限制所揭示方面，其中相同符号表示相同元件。

图1是描绘实施所揭示的本发明的一些操作性实施例的装置的框图。

图2是描绘在捕获控制模块的一个实施例中利用的过程的流程图。

图3图解说明用于执行两个图像的行总和向量之间的最佳拟合的图像行求和以及行总和向量的创建。类似地图解说明列总和向量。

图4图解说明两个图像之间的垂直视差，以及一个实施例可以如何裁剪所述图像以减少或消除垂直视差。

图5A和图5B是描绘捕获控制模块用来捕获立体平画图像对的过程的一个实施例的流程图。

图6是描绘捕获控制模块用来自动捕获立体平画图像对的第二图像的过程的一个实施例的流程图。

图7图解说明捕获控制模块的一个实施例可以如何确定最佳水平视差以用于自动捕获立体图像对的第二图像。

图8图解说明在电子显示器上显示的用以便于捕获立体图像对的第二图像的图像的一个实施例。

图9图解说明在电子显示器上显示的用以便于捕获立体图像对的第二图像的图像的另一实施例。

图10是图解说明在捕获控制模块或用户接口模块中执行的在电子显示器上显示方向指示符的过程的一个实施例的流程图。

具体实施方式

本文所揭示的实施方案提供用于使用仅包含一个成像传感器的装置来捕获立体图像的系统、方法和设备。具体来说，本文所述的一些实施例预期使用所述一个成像传感器来捕获两个分开的图像，并且基于所述两个图像产生立体图像。一个实施例包含在电子显示器上提供方向指示符，所述方向指示符指示在捕获第二图像之前应该在哪个方向上移动成像传感器。所属领域的技术人员将认识到，这些实施例可用硬件、软件、固件或其任何组合来实施。

在以下描述中，提供具体细节是为了便于透彻理解实例。但是，所属领域的技术人员将理解，可以在没有这些特定细节的情况下实践所述实例。举例来说，可以在框图中展示电组件／装置，以免用不必要的细节混淆所述实例。在其它例子中，可详细展示此些组件、其它结构和技术以进一步解释所述实例。

还应注意，可能将所述实例描述成过程，这个过程被描绘成流程图、流图、有限状态图、结构图或框图。虽然流程图可以将操作描述成顺序过程，但是许多操作可以并行或同时执行，并且所述过程可以重复。此外，操作的次序可以重新排列。过程在其操作完成时终止。过程可以对应于方法、函数、程序、子例程、子程序等。当过程对应于软件函数时，过程的终止对应于函数返回到调用函数或主函数。

所属领域的技术人员将了解，可使用多种不同技术和技艺中的任一者来表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号和码片。

图1描绘具有包含被链接到成像传感器115的处理器120的一组组件的装置100的高级框图。工作存储器105、存储装置110、电子显示器125和存储器130也与处理器120通信。

装置100可为手机、数码相机、个人数字助理或类似装置。装置100也可以是更加固定的装置，例如桌上型个人计算机、视频会议台或使用内部或外部相机来捕获图像的类似装置。在装置100上有多个应用程序可以供用户使用。这些应用程序可包含传统的摄影应用程序、高动态范围成像、全景视频或立体成像，例如3D图像或3D视频。

处理器120可以是通用处理单元或专门针对成像应用而设计的处理器。如图所示，处理器120连接到存储器130和工作存储器105。在所图解说明的实施例中，存储器130存储成像传感器控制模块135、视差移除模块140、会聚调整模块145、几何失真估计和校正模块150、移位和裁剪模块155、编码模块160、用户接口模块165、捕获控制模块170和操作系统175。这些模块包含配置处理器以执行各种图像处理和装置管理任务的指令。处理器120可以使用工作存储器105来存储被容纳在存储器130的模块中的处理器指令的工作集合。或者，处理器120还可使用工作存储器105存储在装置100的操作期间创建的动态数据。

如上文所提及，处理器由存储在存储器中的若干模块来配置。成像传感器控制模块135包含配置处理器120使其调整成像传感器115的焦点位置的指令。成像传感器控制模块135还包含配置处理器120使其用成像传感器115捕获图像的指令。因此，处理器120连同图像捕获控制模块135、成像传感器115和工作存储器105表示一个用于使用成像传感器捕获图像的装置。视差移除模块140提供配置处理器120使其检测和消除成像传感器115捕获的两个图像之间的垂直视差的指令。视差移除模块140还可提供用以检测成像传感器115捕获的两个图像之间的水平视差的指令。会聚调整模块含有配置处理器以调整用成像传感器115捕获的两个图像之间的会聚点的指令。几何失真估计和校正模块150含有配置处理器以检测因为成像传感器115捕获的两个图像的未对准而引起的几何失真的指令。移位和裁剪模块155包含配置处理器120使其将图像一和图像二相对于彼此移位以便校正两个图像之间的垂直视差的指令。移位和裁剪模块155还可包含用以裁剪图像1和／或图像2以实现两个图像之间的一致对准的指令。编码模块160包含配置处理器以将成像传感器115捕获的图像编码成立体图像的指令。因此，编码模块160内容纳的指令表示一个用于基于第一图像和第二图像产生立体图像的装置。用户接口模块165包含配置处理器以在电子显示器125上显示信息的指令。

捕获控制模块170包含控制装置100的总图像处理功能的指令。举例来说，捕获控制模块170可包含调用成像控制模块135中的子例程以便配置处理器120以使用成像传感器115捕获第一和第二图像的指令。捕获控制模块170可接着调用视差移除模块140以确定两个图像之间的水平视差。捕获控制模块170可接着调用几何失真估计和校正模块150以确定第一图像与第二图像之间的几何失真。捕获控制模块可接着调用会聚调整模块145内的子例程以调整两个图像之间的会聚点。

操作系统模块175配置处理器以管理装置100的存储器和处理资源。举例来说，操作系统模块175可包含装置驱动器，用以管理例如电子显示器125、存储装置110或成像传感器115等硬件资源。因此，在一些实施例中，上文所论述的图像处理模块中容纳的指令可以不与这些硬件资源直接交互，而是通过位于操作系统组件175中的标准子例程或API交互。操作系统175内的指令可接着与这些硬件组件直接交互。

处理器120可以向存储模块110写入数据。虽然存储模块110是以图形方式表示为传统的磁盘装置，但是所属领域的技术人员将理解，多个实施例可以包含基于磁盘的存储装置或其它几种类型的存储媒体中的一者，包含存储器磁盘、USB驱动器、快闪驱动器、远程连接的存储媒体、虚拟磁盘驱动器或类似装置。

虽然图1描绘了包括分开的组件以包含处理器、成像传感器和存储器的装置，但是所属领域的技术人员将认识到，这些分开的组件可以用多种方式组合以实现特定的设计目标。举例来说，在替代实施例中，存储器组件可以与处理器组件组合以节省成本并且改进性能。

另外，虽然图1图解说明两个存储器组件，以包含包括几个模块的存储器组件130和包括工作存储器的单独存储器105，但是所属领域的技术人员将认识到利用不同存储器架构的几个实施例。举例来说，一种设计可以利用ROM或静态RAM存储器来存储实施在存储器130中容纳的模块的处理器指令。或者，可以在系统启动时从磁盘存储装置读取处理器指令，所述磁盘存储装置集成到装置100中或经由外部装置端口连接。接着，可将处理器指令加载到RAM中，以便于由处理器执行。举例来说，工作存储器105可以是RAM存储器，其中指令在由处理器120执行之前被加载到工作存储器105中。

图2是图解说明在图1的捕获控制模块170的一个实施例内运行的过程200的流程图。过程200在开始框205处开始，并且接着转变到框210，在此框中，捕获第一图像。可以通过捕获控制模块170中的指令调用成像传感器控制模块135内部的子例程来捕获第一图像。成像传感器控制模块135接着配置处理器以可能经由操作系统模块175控制成像传感器115以捕获图像。过程200接着移动到框215，在此框中，捕获第二图像。过程200接着移动到框220，在此框中，指令确定第一图像与第二图像之间的垂直视差。这些指令可以位于图1的视差移除模块140中。众所周知，两个立体图像之间的垂直视差可能会产生恶心、头疼和其它身体效应。因此，从立体图像移除垂直视差会确保令人愉快的观看体验。

在图解说明的实施例中，过程200的框220可以通过首先对每一图像的行求和来确定第一图像与第二图像之间的垂直视差。这个求和过程创建两个向量，每一图像一个向量。向量的每一元素表示一图像的一行总和。图3中的项目310展示了实例向量。已经将图3中的图像305的行求和，从而产生由曲线310表示的向量。图3中图解说明两个图像的行总和，所述图像是通过相同成像传感器但是从不同成像传感器位置获得的。图像320是从第一位置获得的，并且图像330是从第二位置获得的。两个曲线中的差异表示两个图像之间的变化。

但是，向量具有大致相似性，例如两个曲线的峰值与谷值之间存在一般对应。这些相似性允许对两个向量执行最佳拟合操作。在一些实施例中，可以通过识别两个向量之间的使两个向量的位置之间的绝对差总和最小化的偏移来确定最佳拟合。虽然行求和为视差辨识和调整提供了一种相对简单的解决方案，但是这种方法具有一些缺点。举例来说，这种方法的有效性取决于场景，并且在一些情况下这种方法可能会完全无效。另外，当两个图像之间存在未对准时，这种方法的精确度可能会受到影响，举例来说，间距的未对准可影响基于行求和的解决方案的准确性。缩放(一个传感器比另一传感器更靠近场景)所引起的图像未对准也可能影响基于行求和的垂直视差确定的准确性。其它实施例可基于水平边缘检测过程的结果形成向量。接着用与上文所描述的类似的方式对水平边缘向量执行最佳拟合。

这个最佳拟合操作将识别可以用来调整一个曲线以便与另一个曲线最佳对准的偏移。可以向图像中的一者应用这个偏移以使图像垂直地对准。因此，垂直视差移除模块140内的执行行总和向量的最佳拟合的指令表示一个用于确定两个图像之间的垂直视差的装置。

框220(图2)的其它实施例可以使用其它技术来确定垂直视差。举例来说，一些实施例可以识别两个图像的局部邻域内的最佳匹配。举例来说，实施例可以在一个图像内定位出关键特征点，并且在另一图像中搜索最佳匹配。因此，垂直视差移除模块140内的执行局部邻域内针对关键特征点的最佳匹配的指令表示另一用于确定两个图像之间的垂直视差的装置。

替代实施例可以利用嵌入运动传感器，例如加速度计，以确定两个图像之间的角运动和位置移位。可以基于两个图像的捕获之间发生的相对运动来计算相对垂直视差。因而，垂直视差移除模块140内的利用例如加速度计等嵌入运动传感器来计算两个图像的捕获之间发生的相对运动的指令表示另一用于确定两个图像之间的垂直视差的装置。

在已确定垂直视差之后，过程200移动到框225，在此框中，确定水平视差。可以用与垂直视差检测类似的方式来执行水平视差检测，区别在于向量是通过将图像的列而不是行求和而创建的。图3中还图解说明这个列求和过程。图3的曲线340表示通过将图像的列求和而创建的向量的值。在类似于上文针对垂直视差所描述的过程的过程中，可以通过确定两个图像的列总和向量之间的最佳拟合来获得对水平视差的校正。因此，将两个图像的列求和以创建两个列总和向量和执行两个列总和向量之间的最佳拟合的指令表示一个用于确定两个图像之间的水平视差的装置。

替代实施例还可以利用上文所描述的特征点技术来确定水平视差。因此，视差移除模块140中的确定用于两个图像的局部邻域中的特征点的最佳匹配的指令表示一个用于确定两个图像之间的水平视差的装置。

返回到图2，过程200接着移动到框230，在此框中，确定几何失真。可以通过几何失真估计和校正模块150中容纳的配置处理器120的指令来执行框230。在一些实施例中，用于几何失真估计的装置是用于用以执行几何失真估计和校正模块150内的特征点匹配的指令。通过在图像1与图像2(其可以从不同位置获得)之间匹配特征点，指令可以创建三维投影矩阵以校正几何失真。这些技术是所属领域中已知的。其它用于确定两个图像之间的几何失真的装置可以利用运动传感器，例如加速度计。指令记录两个图像的捕获之间的相对位置移位。最现代的加速度计可以跨六个独立轴线测量这个移位。如果加速度计嵌入在例如装置100的成像装置中，那么一些实施例还可利用加速度计来辅助估计上文所论述的垂直和水平视差。

接下来，过程200移动到框235，在此框中，向图像中的一者或两者应用校正。可以通过图1中图解说明的装置100的视差移除模块140、会聚调整模块145、几何失真估计和校正模块150、移位和裁剪模块155或捕获控制模块170中的任一者或组合中所容纳的指令来执行框235。这些模块中的指令表示一个用于应用校正来创建经校正的图像的装置。

为了校正任何几何失真，框235可以依赖于在框230中确定的角位移信息。一旦知道了角位移，就估计三维投影矩阵。接着可以校正一个图像以与另一图像恰当地匹配。实施这些技术的指令表示一个用于向图像应用校正的装置。

为了校正任何垂直视差，框235可以移位和／或裁剪一个或两个图像。举例来说，可以裁剪第一图像以移除相对于第二图像的视差。但是，因为第一图像现在的经裁剪的尺寸较小，所以将还需要裁剪第二图像以维持与第一图像相等的尺寸。这个裁剪产生立体图像对，其与原始图像的垂直视场相比具有较小的垂直视场。但是，排除垂直视差通常需要移除图像的底部和顶部上的图像高度的最多5％以产生垂直对准的立体图像对。这使垂直视场总共减少10％。移位和裁剪模块155中包含的如上所述执行一个或两个图像的裁剪的指令表示另一用于应用校正以创建经校正的图像的装置。

一旦已经应用了适当的校正，过程200就移动到框240，在此框中，确定第一图像和第二图像的会聚点。可以通过图1的会聚调整模块145内容纳的指令来执行框240。一旦知道了水平视差，在一些实施例中，一个用于确定会聚点的装置就是将会聚点设置成全局水平视差的一半的指令。或者，另一用以确定两个图像之间的会聚点的装置是用于用以首先估计场景的深度范围并且创建深度直方图的指令。接着通过指令设定会聚点以使得立体深度落在舒适的观看区域中。这些技术是所属领域中已知的。

接下来，过程200移动到框245，在此框中，基于任何经校正的图像来创建立体图像对。在一个实施例中，可以通过编码模块160中的指令来执行框245。还可使用原始第一图像和第二图像。过程200接着转变到结束状态250。

通过图4中展示的图像来图解说明裁剪过程的一个实施例。图解说明的是水体上的建筑的两个图像。图像410是从比图像420稍微低的视角获得的，但是使用同一图像传感器获得的。因此，图像410在其视场中包含湖的更大部分，而图像420在其视场中包含天空的更大部分。每一图像的在另一图像中未包含的部分是由每一图像的阴影部分(被识别为415和425)表示。如图解说明，两个图像包含显著的垂直视差，在形成立体图像对之前可以消除所述垂直视差。为了消除垂直视差，将裁剪每一图像415和425的阴影部分，从而产生由两个图像的共用部分(通过加括号的区域440识别)表示的最终视场。

图5A和图5B是描绘捕获控制模块用来捕获立体平画图像对的过程的一个实施例的流程图。图5A是图解说明在图1的捕获控制模块170的一个实施例内运行的过程500的流程图。与图解说明的过程500密切相关的是过程550，在图5B中加以图解说明。过程550还可在图1的捕获控制模块170的一个实施例内运行。过程500和过程550一起起作用以在电子显示器上显示与成像传感器的最优位置有关的信息，并且捕获立体图像对的第一图像和第二图像。过程500和过程550图解说明的实施例在形成立体图像之前依赖于用户输入来捕获第二图像。过程500负责捕获立体图像对的第一图像，并且负责管理信息在电子显示器上的显示，而过程550捕获第二图像并且使装置退出立体捕获模式。

可以通过图1中图解说明的装置100的捕获控制模块170中包含的指令来执行过程500。过程500在开始状态505处开始，并且接着转变到框510，在此框中，过程500等待图像捕获命令。当用户致动装置控制时可以发生图像捕获命令，或者通过更加自动的装置来发生。举例来说，成像装置100可包含在特定延迟之后自动捕获图像的自定时器。或者，装置100的其它实施例可包含例如经由到装置100的有线或无线连接来远程地命令图像捕获的远程控制装置。

在捕获命令发生之后，过程500移动到框512，在此框中，捕获第一图像。实施过程500的指令可以调用位于图1中图解说明的装置100的成像传感器控制模块135中的子例程来捕获第一图像。那些子例程中的指令可以配置处理器120以控制成像传感器115捕获第一图像。过程500接着移动到框514，在此框中指令将图像存储到数据存储装置。在一些实施例中，图像可以存储在例如图1的数据存储装置110的数据存储装置中。过程500接着移动到决策框516，在此框中，指令确定装置目前是否处在立体捕获模式中。例如，如果用户在执行第一图像捕获命令之前已经选择了立体操作模式，那么可以启用此模式。如果未启用立体捕获模式，那么过程500移动到框530，并且过程500结束。

但是，如果启用了立体捕获模式，那么过程500的一些实施例移动到框518，并且在电子显示器上显示第一所捕获图像的一部分。在下文对图7和图8的解释中更详细地描述第一所捕获图像的显示的实施例。过程500接着移动到框520，在此框中指令捕获预览图像。预览图像可以是图1的装置100的成像传感器115所察觉的实时图像。过程500接着移动到框522，在此框中，也在电子显示器上显示预览图像的一部分。在下文对图8和图9的解释中进一步描述图解说明框518到522的显示功能的实施例。

接下来，过程500移动到框524，在此框中，指令计算图像1与预览图像之间的水平视差。可以通过图1中图解说明的装置100的视差移除模块140中容纳的子例程来执行框524。计算水平视差可以利用上文相对于图2所描述的技术中的一者，包含行求和、定向传感器或关注点匹配。一旦理解了图像1与预览图像之间的水平视差，过程500就移动到框526，在此框中，指令显示一个或一个以上指示符。在下文对图10的论述中更详细地解释框526。在框526中显示了指示符之后，过程500返回到决策框516。过程500接着如上所述重复。

现在转向过程550，所述过程在开始状态555处开始，并且移动到框560，在此框中，过程550等待第二图像捕获命令。当第二图像捕获命令发生时，过程550在框565中捕获第二图像。可以通过捕获控制模块170中的指令或者通过图1中图解说明的装置100的成像传感器控制模块135来实施框565。过程550接着移动到框570，在此框中，将第二图像存储到数据存储装置。过程550接着移动到框575，在此框中，指令关闭立体平画捕获模式。应注意，当通过过程550的框575关闭立体捕获模式时，过程500的决策框516将使过程500转变到结束框530。因而，过程550和过程500交互以完成立体图像对的捕获，同时在显示器上显示方向指示符。

图6表示立体图像对捕获过程的替代实施例。可以通过图1中图解说明的装置100的捕获控制模块170中容纳的指令来实施过程600。不同于过程500和过程550，过程600自动捕获第二立体图像。过程600在开始框605处开始，并且接着移动到框607，在此框中，实施过程600的指令等待图像捕获命令。当图像捕获命令发生时，过程600移动到框610并且指令捕获图像1。图像1表示创建立体图像对所需的两个图像中的第一者。在已捕获图像之后，过程600移动到框615，在此框中，指令将图像1写入到数据存储装置。数据存储装置可包含非易失性存储器，例如快闪磁盘、外部硬驱动器或类似装置，或者数据存储装置可以是易失性存储器，例如RAM或图1中图解说明的工作存储器105。

接下来，过程600移动到框620，在此框中，指令致使在电子显示器上显示图像1的一部分。在一些实施例中可以通过图1中图解说明的装置100的用户接口模块165中容纳的指令来执行框620。在一些其它实施例中，电子显示器可以是类似于图1中图解说明的装置100的显示器125的显示器。过程600接着移动到框625，在此框中，指令捕获预览图像。预览图像可以是从成像传感器捕获的实时图像，所述成像传感器例如为图1中图解说明的装置100的成像传感器115。过程600接着转变到框630，在此框中，也在电子显示器上显示预览图像的一部分。在一些实施例中还可通过装置100的用户接口模块165中容纳的指令来执行框630。

过程600接着移动到框635，在此框中，计算预览图像与图像1之间的水平视差。可以通过装置100的视差移除模块140中容纳的指令来执行框635，并且此框使用上文论述的任一技术来计算水平视差，包含通过将图像1与预览图像的列求和而创建的向量的最佳拟合、图像1与预览图像之间的关注点匹配，或者利用加速度计来确定图像1相对于预览图像的相对位置。

接下来，过程600移动到决策框640，在此框中，对照第二图像所需的阈值比较当前水平视差。在一些实施例中，如果当前水平视差在用以产生适当的立体图像对的参数以内，则过程600移动到框645，在此框中，捕获第二图像。过程600接着移动到结束框675。如果当前水平视差在适当的立体图像对所需的阈值以外，则过程600移动到决策框670。

在决策框670中，过程600确定是否已致动用户致动的控件。在一些实施例中，例如在通过过程600图解说明的实施例中，立体成像装置提供自动捕获模式，但也允许用户超驰自动捕获过程并且手动地捕获立体图像对的第二图像。框670提供这种能力。如果用户致动的控件已被致动，则过程600移动到框645，在此框中捕获第二图像。如果未致动用户致动的控件，则过程600从决策框670移动到决策框655。

在决策框655中，对照边界阈值比较当前水平视差。边界阈值确立水平视差是否很大以至于需要成像装置中止第二图像的自动捕获。举例来说，当成像处理算法不能够确定图像1与预览图像之间的相关时，可能需要中止立体图像捕获。在此情况下，可能必须自动退出立体图像捕获模式以避免用户获得杂散结果。如果当前水平视差超出这些边界，那么过程600移动到框650，在此框中产生错误。实施框650的指令可以例如在装置100的显示器125上产生错误消息。这些指令可以容纳在装置100的用户接口模块165内。如果水平视差保持在边界内以使得可以捕获立体图像对，那么过程600移动到框660。

在框660中，在电子显示器(举例来说，图1中图解说明的装置100的显示器125)上提供一个或一个以上显示指示。在下文对图8到10的解释中更详细地论述框660。在框660中显示指示符之后，过程600返回到框625，并且过程600重复。

框640的其它实施例可包含实施复合技术以确定是否应捕获第二图像的指令。举例来说，一些实施例可以不仅考虑当前水平视差是否在可接受范围内，而且考虑当前水平视差是否趋向于产生甚至更高质量的立体图像对，或者相反是否趋向于更低质量的立体图像对。

通过图7图解说明这种方法的优点，此图是根据一个成像传感器的摇摄距离而变的水平视差的曲线图。通常当水平视差落在所述曲线图的阴影部分(通过y轴线的加括号区域760指示)内时产生可接受的立体图像。深阴影部分720和730表示产生可接受的质量的立体图像对的水平视差值。窄的浅阴影区740表示最优水平视差。对角线行750表示一个实例成像情景的水平视差。

当成像传感器从第一图像捕获位置移动时，第一图像与预览图像之间的初始水平视差可以接近零，如通过图7的点、点705图解说明。但是，当成像传感器在特定方向上摇摄时，水平视差可进入可接受的范围，同时仍然是次优的。这个状况由点770表示。虽然在这个点处捕获的第二图像将提供可接受的质量的立体图像对，但是其将不是最优质量。如果水平视差趋向于更优位置，则一些实施例可以等待捕获第二图像。举例来说，等待可导致在最优区域内的新水平视差，由点780表示。在这个点处起始第二图像的捕获可以产生比在点770处已捕获第二图像的情况下显著更好的质量的立体图像对。

图8表示在电子显示器上显示的图像的一个实施例，所述图像包含用于捕获第二图像的方向指示符。图像810表示以立体图像顺序捕获的第一图像。图像810可能是过程500的图像1或在过程200的框210中捕获的第一图像。可以通过图1的装置100的成像传感器115捕获图像810。图像820表示电子显示器上的图像的一个实施例，所述图像包含几个显示元素。首先，显示器的上半部分包含图像810的上半部分。在一些实施例中可以通过过程500的框530来控制显示器的这个部分。其它实施例可以用过程600的框620控制显示器的这个部分。所显示的图像820的下半部分包含另一图像部分。在图解说明的实施例中，这个图像部分是预览图像。通过过程500的框540可以控制预览图像的显示。或者，在一些实施例中，过程600的框630可以控制显示器的这个部分。

在图解说明的实施例中，显示器820的上半部分还包含箭头830。箭头指示成像传感器应移动以提供在显示器820的上半部分中显示的图像810与在显示器820的下半部分中显示的预览图像之间的最优水平视差的方向。箭头830可以改变颜色以指示在当前相机位置中捕获快照的情况下实现的立体质量。举例来说，当立体质量离最优还很远时，箭头可以是红色的。在一些实施例中，箭头830可以在水平视差转变成合理但次优的区时转变成黄色。箭头830的长度还可根据实现最优水平视差所需的额外成像传感器位移量而延伸或收缩。在一些实施例中，当水平视差实现最优位置时，箭头可以转变成不同符号，例如绿灯。或者，箭头可以彻底消失或改变成另一形式。

显示的图像820的一些实施例还可包含网格线或标尺指示符840。网格线传达在这个实施例中在显示器820的上部部分中显示的第一图像与在这个实施例中在显示的图像820的下半部分中显示的预览图像之间的允许的水平移位。网格线还可改变颜色，从而指示在当前成像传感器位置中捕获第二图像的情况下实现的立体图像质量水平。举例来说，在一些实施例中，当当前水平视差将导致不良的立体图像质量时，网格线可以是红色的。当水平视差接近合理的水平时网格线可以变成黄色，并且当水平视差提供良好的立体图像质量时网格线可以变成绿色。

一些实施例还可在显示图像820的一部分中填入动态计算的立体图像质量指示符，例如显示图像820的下部部分中展示的状态栏850。在图解说明的实施例中，状态栏850上方的小箭头水平地移动以指示在当前传感器位置中捕获第二图像的情况下的立体图像质量水平。在所说明的实施例中水平栏内的每一颜色区对应于特定的立体图像对质量水平。在一个实施例中，图像处理指令可以动态地计算第一图像与当前预览或实时图像之间的水平视差以确定要将箭头放在哪里。其它实施例可以为其动态质量指示符选择不同形式。

图9表示在电子显示器上显示以提供指导来捕获第二图像的图像的另一实施例。第一图像910表示立体图像对的第一图像。图像920表示在已捕获第一图像910之后在电子显示器上显示的图像的一个实施例。应注意，在图像910中，棕熊背上的隆起大约在图像的中心。在一个实施例中，图像920中亮度较高的熊是预览图像或装置成像传感器当前察觉到的实时图像。图像920中的预览图像展示了熊的隆起在中心的左侧。熊的位置的这个移位是因为在捕获了图像910之后成像传感器被向右摇摄。但是，应注意的是在亮度较高的预览图像的右侧的熊的亮度较低的图像。亮度较低的熊的位置对应于图像910，所述图像被半透明地覆盖在预览图像上。在一些实施例中，可以通过过程600的框620或过程500的框518显示亮度较低的熊。在一些其它实施例中，亮度较高的熊可以表示预览或实时图像，并且可以通过过程500的框522或过程600的框630显示。通过透明地叠加所述两个图像，提供了关于在捕获立体图像对的第二图像之前如何定位成像传感器的有益的指导。

应注意，立体设备显示器的这个实施例还包含方向指示符930和质量指示符940。在图解说明的实施例中，方向指示符930指示需要进一步向右摇摄。质量指示符正在传达，如果在当前成像传感器位置捕获第二图像，那么将产生低质量的立体图像对。这通过水平质量栏840的特定部分上方的小箭头来展示。

图10是图解说明在图1的捕获控制模块170或用户接口模块165的一个实施例内运行的过程1000的流程图。过程1000在开始状态1005处开始并且接着移动到框1010。在一个实施例中，通过捕获控制模块170中的确定第一图像与当前预览或实时图像之间的水平视差的指令来实施框1010。或者，捕获控制模块170可调用视差移除模块140中的子例程，所述子例程在一些实施例中包含用以确定两个图像之间的水平视差的指令。

接下来，过程1000移动到框1020，并且确定方向指示的初始方向。实例方向指示是图8的箭头830。一些实施例在图5中图解说明的过程500的框515或图6中图解说明的过程600的框610中的图像1的捕获之后可以默认为左方向。其它实施例可以默认为右方向。但是，在一些实施例中，一旦成像传感器已经改变了相对于用于捕获第一图像的位置的水平位置，就可以通过第一图像与当前预览或实时图像之间的水平视差来确定箭头830的方向。一旦已确定指示符的方向，过程1000就移动到框1030，在此框中，确定指示符的长度。一些实施例可以维持固定长度的指示符，而其它实施例可以基于第一所捕获图像与预览或实时图像之间的水平视差来变化方向指示符的长度。方向指示符的宽度还可基于最优水平视差与当前水平视差之间的距离而变化。另外，一些实施例可以限制方向指示符的最大和最小宽度。举例来说，在一些实施例中，方向指示符长度可以限于显示器的水平宽度的75％。相反，当水平视差接近最优时，可以通过下限来限制长度。这个长度可以通过显示器的大小来确定，或者可以限于人眼可容易察觉的大小。在一些实施例中，当水平视差接近最优时，方向指示符可以从一个形式转变成另一形式。举例来说，在一些实施例中，方向指示符可以从当水平视差不是最优时的箭头变换成由绿色圆或其它绿色指示符表示的指示现在可以获得第二图片的绿灯。其它实施例可以转变成闪光指示符，以传达捕获第二图像时的紧急程度。

一旦确定了方向指示符的长度和方向，过程1000就移动到框1040，在此框中，擦除任何旧方向指示符(如果存在的话)，并且基于在框1020和1030中确定的参数显示新指示符。因此，含有执行上文所描述的框1010到1040的指令的捕获控制模块170或用户接口模块165表示一个用于显示指示移动成像传感器的方向的方向指示符的装置。

接下来，过程1000移动到框1050，并且将当前水平视差与最优水平视差之间的差量映射到特定的质量指示。在一个实施例中，质量指示符可类似于图8的项目850。最优水平视差可以是视场的大约1／30。因而，当水平视差到达这个水平时，图8的图解说明的实施例将把小箭头放置在水平质量栏850的上方，在栏的绿色部分上。小箭头右侧的区域表示水平视差太小，而箭头左侧的区域表示逐渐大的水平视差，其中栏的左远端的亮红色区域表示用于捕获第二图像的最差位置。一旦执行了水平视差到质量水平的适当映射，过程1000就移动到框1060，在此框中，擦除任何较旧的质量指示符(如果存在的话)，并且显示新质量指示符。

接下来，过程1000移动到框1070，并且在屏幕上显示网格线。在一个实施例中，网格线可以是图8的项目840。网格线传达第一图像与实时或预览图像之间的最优水平视差。因为最优水平视差通常在视场的大约1／30处找到，所以网格线的长度通常将与显示器的宽度成所述比例。在已经显示了网格线之后，过程1000移动到结束状态1080。

所属领域的技术人员将进一步了解，结合本文中揭示的实施方案描述的各种说明性逻辑块、模块、电路和过程框可以实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的这种可互换性，上文已关于各种说明性组件、块、模块、电路和块的功能性大体上对其进行说明。所述功能性是实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但所述实施方案决定不应被解释为会导致脱离本发明的范围。所属领域的技术人员将认识到一个部分或一部分可包括小于或等于整体的内容。举例来说，像素集合的一个部分可能是指那些像素的子集合。

可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中所描述的功能的任何组合来实施或执行结合本文中所揭示的实施方案而描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器，但在替代例中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一个或一个以上微处理器与DSP核心的联合，或任何其它此配置。

结合本文中揭示的实施方案描述的方法或过程的框可以直接体现在硬件中、通过处理器执行的软件模块中或所述两者的组合中。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸式磁盘、CD-ROM，或此项技术中已知的任一其它形式的非暂时性存储媒体中。示范性计算机可读存储媒体耦合到处理器，使得处理器可从计算机可读存储媒体读取信息，和向计算机可读存储媒体写入信息。在替代方案中，存储媒体可与处理器成一体式。处理器及存储媒体可驻留于ASIC中。ASIC可以驻留在用户终端、相机或其它装置中。在替代例中，处理器和存储媒体可作为离散组件驻留于用户终端、相机或其它装置中。

本文中包含一些标题，是为了参考和辅助找到各个部分的位置。这些标题并不希望限制关于其描述的概念的范围。此些概念可能在整个说明书中都适用。

提供对所揭示的实施方案的前述描述，是为了使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易明白对这些实施方案的各种修改，且本文中所定义的一般原理可在不偏离本发明的精神或范围的情况下应用于其它实施方案。因此，本发明并不希望限于本文中所展示的实施方案，而是应被赋予与本文中所揭示的原理和新颖特征一致的最宽范围。

Claims (32)

1.一种捕获立体图像的方法，其包括：

通过成像传感器捕获第一图像；

通过所述成像传感器捕获第二图像；

确定所述第一图像与所述第二图像之间的垂直视差；

确定所述第一图像与所述第二图像之间的水平视差；

确定所述第一图像与所述第二图像之间的几何失真；

确定所述第一图像与所述第二图像之间的会聚点；

向至少所述第一图像或所述第二图像应用对于所述垂直视差、所述水平视差、所述几何失真和所述会聚点中的至少一者的校正以创建至少一个经校正的图像；以及

将所述经校正的图像存储到数据存储装置。

2.根据权利要求1所述的方法，其中基于深度范围和深度直方图确定所述会聚点。

3.根据权利要求1所述的方法，其中确定所述垂直视差包含行总和向量的交叉相关。

4.根据权利要求1所述的方法，其中确定所述垂直视差包含水平边缘总和向量的交叉相关。

5.根据权利要求1所述的方法，其进一步包括基于所述经校正的图像产生立体平画图像对。

6.根据权利要求5所述的方法，其中反复地执行所述方法。

7.一种捕获立体图像的方法，其包括：

通过成像传感器捕获第一图像；

在电子显示器上显示方向指示符，其中所述方向指示符指示用以移动所述成像传感器的方向；

通过所述成像传感器捕获第二图像；以及

基于所述第一图像和所述第二图像产生立体图像。

8.根据权利要求7所述的方法，其进一步包括：

在电子显示器的对应部分上显示所述第一图像的一部分；以及

在所述电子显示器的对应部分上显示来自所述成像传感器的预览图像的一部分。

9.根据权利要求7所述的方法，其进一步包括

在电子显示器上显示所述第一图像的透明的版本，或

在所述电子显示器上显示来自所述成像传感器的预览图像的透明的版本。

10.根据权利要求7所述的方法，其进一步包括在所述电子显示器上显示捕获高质量图像所需的水平移位的第一指示。

11.根据权利要求10所述的方法，其中所述第一指示是网格线。

12.根据权利要求10所述的方法，其中所述第一指示是标尺。

13.根据权利要求7所述的方法，其进一步包括显示动态地估计的质量指示符。

14.根据权利要求10所述的方法，其中所述第一指示的颜色是基于所述第一图像与预览图像之间的水平视差。

15.根据权利要求7所述的方法，其中响应于控件的致动而捕获所述第二图像。

16.一种成像装置，其包括：

电子成像传感器；

电子处理器，其经配置以控制所述成像传感器；以及

控制模块，其经配置以

使用所述成像传感器捕获第一图像，

使用所述成像传感器捕获第二图像，

确定所述第一图像与所述第二图像之间的垂直视差，

确定所述第一图像与所述第二图像之间的水平视差，

确定所述第一图像与所述第二图像之间的几何失真，

确定所述第一图像与所述第二图像之间的会聚点，以及

向至少所述第一图像或所述第二图像应用对于所述垂直视差、所述水平视差、所述几何失真或所述会聚点中的至少一者的校正以创建至少一个经校正的图像。

17.根据权利要求16所述的装置，其中所述控制模块进一步经配置以基于所述经校正的图像创建立体图像对。

18.根据权利要求16所述的装置，其中所述控制模块经配置以基于行总和向量的交叉相关确定所述垂直视差。

19.根据权利要求16所述的装置，其中所述控制模块经配置以基于水平边缘总和向量的所述交叉相关确定所述垂直视差。

20.根据权利要求16所述的装置，其中所述成像装置是无线电话手持机。

21.根据权利要求16所述的装置，其中所述控制模块经配置以自动捕获所述第二图像。

22.根据权利要求16所述的装置，其进一步包括用户致动的控件，其中所述控制模块进一步经配置以响应于所述用户致动的控件的第一致动来捕获所述第一图像，并且响应于所述用户致动的控件的第二致动来捕获所述第二图像。

23.一种成像装置，其经配置以捕获立体图像，所述成像装置包括：

成像传感器；

电子显示器；

处理器，其经配置以控制所述成像传感器和所述电子显示器；以及

控制模块，其经配置以

使用所述成像传感器捕获第一图像，

在所述电子显示器上显示方向指示符，其中所述方向指示符指示用以移动所述成像传感器的方向，

使用所述成像传感器捕获第二图像，以及

基于所述第一图像和所述第二图像产生立体图像。

24.根据权利要求23所述的成像装置，其中所述控制模块进一步经配置以确定所述第一图像与所述第二图像之间的水平视差，并且所述方向指示符的所述显示是基于所述确定的水平视差。

25.根据权利要求23所述的成像装置，其进一步包括加速度计，其中所述方向指示符的所述显示是基于来自所述加速度计的输入。

26.根据权利要求23所述的成像装置，其中所述控制模块进一步经配置以在所述电子显示器上显示所述第一图像的一部分。

27.一种非暂时性计算机可读媒体，其含有处理器可执行第一指令，所述处理器可执行第一指令当被执行时执行一种方法，所述方法包括：

使用成像传感器捕获第一图像；

使用所述成像传感器捕获第二图像；

确定所述第一图像与所述第二图像之间的垂直视差；

确定所述第一图像与所述第二图像之间的水平视差；

确定所述第一图像与所述第二图像之间的几何失真；

确定所述第一图像与所述第二图像之间的会聚点；以及

向至少所述第一图像或所述第二图像应用对于所述垂直视差、所述水平视差、所述几何失真和所述会聚点中的至少一者的校正以创建至少一个经校正的图像以创建至少一个经校正的图像。

28.根据权利要求27所述的计算机可读媒体，其进一步含有处理器可执行指令，所述处理器可执行指令在被执行时执行基于行总和向量的交叉相关确定所述垂直视差的方法。

29.根据权利要求27所述的计算机可读媒体，其进一步含有处理器可执行指令，所述处理器可执行指令在被执行时执行基于所述经校正的图像产生立体平画图像对的方法。

30.一种非暂时性计算机可读媒体，其含有处理器可执行第一指令，所述处理器可执行第一指令当被执行时执行一种方法，所述方法包括：

使用成像传感器捕获第一图像；

显示指示用以移动所述成像传感器的方向的方向指示符；

使用所述成像传感器捕获第二图像；以及

基于所述第一图像和所述第二图像产生立体图像。

31.根据权利要求30所述的计算机可读媒体，其中所述计算机可读媒体进一步包括指令，所述指令在被执行时执行在电子显示器的一部分上显示所述第一图像的一部分和在所述电子显示器的对应部分上显示预览图像的一部分的方法。

32.一种成像装置，其包括：

用于通过成像传感器捕获第一图像的装置；

用于显示指示用以移动所述成像传感器的方向的方向指示符的装置；

用于通过所述成像传感器捕获第二图像的装置；以及

用于基于所述第一图像和所述第二图像产生立体图像的装置。

Images