CN107852460A - 立体自动对焦 - Google Patents

Abstract

第一图像捕捉部件可以捕捉场景的第一图像，且第二图像捕捉部件可以捕捉场景的第二图像。第一图像捕捉部件和第二图像捕捉部件之间可以存在一具体基线距离，且第一图像捕捉部件或第二图像捕捉部件中的至少一个可以具有焦距。可以确定第一图像中所呈现的场景的一部分和第二图像中所呈现的场景的该部分之间的视差。可能地，基于该视差、具体基线距离、和焦距可以确定对焦距离。第一图像捕捉部件和第二图像捕捉部件可以被设定为对焦到对焦距离。

Description

立体自动对焦

背景技术

数码相机具有可对焦镜头，其可用于捕捉能准确地展现场景中的细节的清晰图像。这些相机中的一些提供手动对焦控制。但是，许多相机(如无线计算装置(例如智能电话和平板电脑)中的相机)使用自动对焦(自动调焦或AF)算法，以减轻用户必须针对每一个场景对相机进行手动对焦的负担。

现有的自动对焦技术捕捉图像，估计所捕捉图像的清晰度，相应地调整对焦，捕捉另一图像，如此等等。该过程会重复数个迭代。最终，最清晰的图像被存储和/或显示给用户。结果，自动对焦过程会花费时间，且在该时间期间，场景可能会运动，或在给定当前场景情况下清晰度会难以估计。

立体相机(例如具有两个或更多图像捕捉部件的智能电话)会同时捕捉多个图像，即通过每一个图像捕捉部件捕捉一个图像。立体相机或显示装置可随后以某种方式将这些图像组合，以形成或模拟出三维(3D)立体图像。但是，在立体相机上无法很好地执行现有的自动对焦技术。除了与反复自动对焦相关的延迟外，如果每一个单独图像捕捉部件独立地执行自动对焦过程，则各图像捕捉部件会形成无法兼容的对焦。结果，立体图像会模糊不清。

发明内容

本文的实施例公开了一种立体自动对焦技术，其可用于让相机的多个图像捕捉部件快速对焦。并非使用单个相机自动对焦的迭代方法，本文的技术可以直接估计用于图像捕捉部件的对焦距离。结果，每一个图像捕捉部件可以聚焦在相同距离处，其中针对图像捕捉部件，对焦距离被选择为形成合理的清晰图像。基于该对焦距离，每一个图像捕捉部件可以捕捉一图像，且这些图像可以用于形成为立体图像。

因而，在第一示例性实施例中，第一图像捕捉部件可以捕捉场景的第一图像，且第二图像捕捉部件可以捕捉场景的第二图像。第一图像捕捉部件和第二图像捕捉部件之间可以存在一具体基线距离，且第一图像捕捉部件或第二图像捕捉部件中的至少一个可以具有焦距。可以确定第一图像中所呈现的场景的一部分和第二图像中所呈现的场景的该部分之间的视差。可能地，基于该视差、具体基线距离、和焦距可以确定对焦距第一图像捕捉部件和第二图像捕捉部件可以被设定为对焦到对焦距离。被对焦到对焦距离的第一图像捕捉部件可以捕捉场景的第三图像，且被对焦到对焦距离的第二图像捕捉部件可以捕捉场景的第四图像。第三图像和第四图像可以组合以形成场景的立体图像。

在第二示例性实施例中，一种制品可以包括非瞬时计算机可读介质，在其上存储了程序指令，其在被计算装置执行时使得计算装置执行根据第一示例性实施例的操作。

在第三示例性实施例中，计算装置可以包括至少一个处理器以及数据存储器和程序指令。程序指令可以存储在数据存储器中，且在被至少一个处理器执行时可以使得计算装置执行根据第一示例性实施例的操作。

在第四示例性实施例中，系统可以包括用于执行第一示例性实施例的每一个操作的各种器件。

通过阅读之后的详细描述，并参考附随附图本领域技术人员可以理解这些以及其他实施例、方面、优点、和替换。进一步地，应理解，本文提供的该内容和其他描述和附图目的是仅通过例子显示实施例，且因此，可存在许多变化。例如，结构元件和过程步骤可重新布置、组合、分配、取消或以其他方式改变，而仍在要求保护的实施例的范围内。

附图说明

图1A显示了根据示例性实施例的数码相机装置的正视图和右视图。

图1B显示了根据示例性实施例的数码相机装置的后视图。

图2显示了根据示例性实施例的具有图像捕捉能力的计算装置的方块图。

图3显示了根据示例性实施例的立体成像。

图4显示了根据示例性实施例的图像捕捉部件的镜头位置。

图5显示了根据示例性实施例确定对象和两个相机之间的距离。

图6显示了根据示例性实施例的对焦距离和焦点值之间的映射。

图7是根据示例性实施例的流程图。

具体实施方式

本文描述示例性方法、装置和系统。应理解，在本文使用的词语“例子”和“示例性”用于是指“用作例子、实例或展示”。作为“例子”的或是“示例性”的本文所述的任何实施例或特征不必被理解为相对于其他实施例或特征更优选或有利。可利用其他实施例，且可做出其他改变，而不脱离本文给出的主题的范围。

由此，本文所述的示例性实施例不是限制性的。本发明的许多方面(如通常在本文描述的且在附图中示出的)可以以各种不同的配置进行布置、替换、组合、分离和设计，所有这些都属于本文的构思。

进一步地，除非上下文另有描述，每一个图中示出的特征可以用于彼此组合。由此，附图通常应该被视为一个或多个总体实施例的组成方面，应理解，不是所有的所示特征对每一个实施例来说都是必要的。

在本文的描述中，公开了涉及具有两个图像捕捉部件的单个立体相机装置或彼此协调工作的两个相机装置。但是，这些实施例示出与示例性的目的给出的。本文所述的技术可以应用于具有两个或更多(例如四个、八个等)图像捕捉部件阵列的立体相机装置。进一步地，这些技术还可以应用于每一个都具有一个或多个图像捕捉部件的两个或更多立体或非立体相机。而且，在一些实施方式中，本文所述的图像处理步骤可以通过立体相机装置执行，而在其他实施方式中，图像处理步骤可以通过与一个或多个相机装置通信(且也许对其进行控制)的计算装置执行。

取决于上下文，“相机”可以是指单独的图像捕捉部件或含有一个或多个图像捕捉部件的装置。通常，图像捕捉部件包括光圈、镜头、记录表面和快门，如下所述。

1.示例性图像捕捉装置

随着相机变得越来越流行，它们可以被用作独立的硬件装置或整合到其他类型的装置中。例如，照相摄像机(still and video camera)目前通常被包括在无线计算装置(例如智能电话和平板电脑)、笔记本电脑、视频游戏接口(video game interface)、家庭自动化装置、甚至汽车和其他类型载具中。

相机的图像捕捉部件可以包括一个或多个光圈(光通过所述光圈进入)、用于捕捉光所代表的图像的一个或多个记录表面、和定位在每一个光圈前方以将图像的至少一部分对焦在记录表面(一个或多个)上的一个或多个镜头。光圈可以是固定尺寸的或可调整的。在模拟相机中，记录表面可以是感光胶片。在数码相机中，记录表面可以包括电子图像传感器(例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)传感器)以传输所捕捉的图像和/或将所捕捉的图像存储在数据存储单元(例如存储器)中。

一个或多个快门可以联接到镜头或记录表面或在其附近。每一个快门可以处于阻挡光到达记录表面的关闭位置或处于允许光到达记录表面的打开位置。每一个快门的位置可以被快门按钮控制。例如，快门可以默认处于关闭位置。在快门按钮被触发(例如被按压)时，快门可以从关闭位置改变到打开位置并经过一段时间，称为快门周期(shuttercycle)。在快门周期期间，图像可以被捕捉在记录表面上。在快门周期结束时，快门可以变回到关闭位置。

替换地，快门工作过程可以通过电子方式实现。例如，在CCD图像传感器的电子快门“打开”之前，传感器可以被重置以去除其光电二极管中的任何残余信号。在电子快门保持打开时，光电二极管可以聚集电荷。在快门关闭时或之后，这些电荷可以传输到长期数据存储器。也可以使用机械和电子快门机构的组合。

不管类型如何，快门可以被并非快门按钮的某物所激活和/或控制。例如，快门可以通过软键、计时器或一些其他触发器激活。本文，术语“图像捕捉”可以是指任何机械和/或电子快门工作过程，其使得一个或多个图像被记录，而不管快门工作过程是如何触发或控制的。

捕捉图像的曝光可以通过光圈尺寸、进入光圈的光亮度、和快门周期的长度(也称为快门长度或曝光长度)的组合来确定。另外，数字和/或模拟增益可以应用于图像，由此影响曝光。

照相相机可以在每次图像捕捉被触发时捕捉一个或多个图像。摄像机相机可以以具体速率(例如每秒24个图像或帧)捕捉图像，只要图像捕捉保持被触发即可(例如在快门按钮保持按下时)。一些数码照相相机可以在相机装置或应用被激活时打开快门，且快门可以保持在该位置直到相机装置或应用停用。在快门打开时，相机装置或应用可以捕捉和显示取景器上的场景呈现。在图像捕捉被触发时，可以捕捉当前场景的一个或多个不同数字图像。

具有多于一个图像捕捉部件的相机可以被称为立体相机。立体相机可同时地或几乎同时地通过每一个图像捕捉部件捕捉两个或更多图像。这些图像可以用于形成为代表场景中的对象深度(depth of object)的3D立体图像。

相机可以包括用于控制一个或多个相机功能和/或设定(例如光圈大小、曝光时间、增益等等)的软件。另外，一些相机可以包括在这些图像被捕捉期间或之后对图像进行数字处理的软件。

如前所述，数码相机可以是独立的装置或与其他装置整合。作为例子，图1A示出了从正视图101A和侧视图101B观察的数码相机装置100的形状因数(form factor)。数码相机装置100例如可以是移动电话、平板电脑或可穿戴计算装置。然而，其他实施例也是可行的。

数码相机装置100可以包括各种元件，例如本体102、前置相机104、多元件显示器106、快门按钮108、和其他按钮110。前置相机104可以定位在本体102的在操作时通常面对用户的一侧，或定位在与多元件显示器106相同的一侧。

如图1B所示，数码相机装置100可进一步包括后置相机112A和112B。这些相机可定位在本体102的与前置相机104相反的一侧。后视图101C和101D显示了后置相机112A和112B的两个替换布置方式。在这两种布置方式中，相机定位在一平面中，且在x轴线或y轴线上定位在同一点处。尽管如此，其他布置方式也是可行的。还有，将相机称为前置或是后置是任意的，且数码相机装置100可以包括定位在本体102的各侧的多个相机。

多元件显示器106可代表阴极射线管(CRT)显示器、发光二极管(LED)显示器、液晶(LCD)显示器、等离子显示器、或本领域已知的任何其他类型的显示器。在一些实施例中，多元件显示器106可以显示通过前置相机104和/或后置相机112A和112B捕捉的当前图像或通过这些相机中的任何一个或多个可以捕捉的或最近捕捉的图像的数字表示。由此，多元件显示器106可以用作用于相机的取景器。多元件显示器106还可以支持触摸屏和/或存在敏感功能(presence-sensitive function)，其能调整数码相机装置100的任何方面的设定和/或配置。

前置相机104可以包括图像传感器和相关的光学元件，例如镜头。前置相机104可以提供变焦能力或可具有固定焦距。在其他实施例中，可更换的镜头可用于前置相机104。前置相机104可以具有可变的机械光圈以及机械和/或电子快门。前置相机104还可被配置为捕捉静态图像、视频图像或两者。进一步地，前置相机104可例如代表单像(monoscopic)相机。

后置相机112A和112B可以布置为立体像对(stereo pair)。这些相机每一个可以是不同的独立可控的图像捕捉部件，包括光圈、镜头、记录表面和快门。数码相机装置100可以指示后置相机112A和112B同时地捕捉场景的相应单像图像，且可以随后使用这些单像图像的组合以形成具有深度的立体图像。

前置相机104和后置相机112A和112B中之任一或两者可以包括或关联于提供光场以对目标对象进行照明的照明部件。例如，照明部件可提供闪光或对目标对象的恒定照明。照明部件还可被配置为提供包括结构光、偏振光、和具有特殊光谱含量(spectralcontent)的光。已知的且用于从对象恢复3D模型的其他类型的光场在本文实施例的情况下也是可以的。

一个或多个前置相机104和/或后置相机112A和112B可以包括或关联于环境光传感器，所述环境光传感器可以持续或偶尔确定相机可捕捉的场景的环境亮度。在一些装置中，环境光传感器可用于调整与相机相关的屏幕(例如取景器)的显示亮度。在确定环境亮度较高时，屏幕的亮度水平可以增加以使得屏幕更容易观察。在确定环境亮度较低时，屏幕的亮度水平可以减小，也使得屏幕更容易观察以及可以节省电力。环境光传感器还可以用于确定用于图像捕捉的曝光时间。

数码相机装置100可被配置为使用多元件显示器106和前置相机104或后置相机112A和112B来捕捉目标对象的图像。捕捉的图像可以是多个静态图像或视频流。图像捕捉可通过激活快门按钮108、按压多元件显示器106上的软键、或通过一些其他机构触发。取决于实施方式，可以以特定的时间间隔自动地捕捉图像，例如在按压快门按钮108时，在目标对象的适当照明状态时，在让数码相机装置100运动预定距离时，或根据预定捕捉计划。

如上所述，数码相机装置100(或另一类型数码相机)的功能可以被整合到计算装置中，例如无线计算装置、手机、平板电脑、笔记本电脑等等。出于示例性的目的，图2是显示了可以包括相机部件224的示例性计算装置200的一些部件的简化方块图。

通过例子且非限制性地，计算装置200可以是蜂窝移动电话(例如智能电话)、照相机、摄像机、传真机、计算机(例如桌面型电脑、笔记本电脑、平板电脑、或手持电脑)、个人数字助理(PDA)、家庭自动化部件、数字视频录像机(DVR)、数字电视、远程控制器、可穿戴计算装置、或配备有至少一些图像捕捉和/或图像处理能力的一些其他类型的装置。应理解，计算装置200可以代表物理相机装置，例如数码相机、特定物理硬件平台(在其上以软件运行相机应用)、或配置为执行相机功能的硬件和软件的其他组合。

如图2所示，计算装置200可以包括通信接口202、用户接口204、处理器206、数据存储器208、和相机部件224，所有这些可以通过系统总线、网络或其他连接机构210通信地连在一起。

通信接口202可以允许计算装置200使用模拟或数字调制而与其他装置、接入网络和/或传输网络通信。由此，通信接口202可以有助于电路交换和/或包交换通信，例如普通电话业务(POTS)通信和/或因特网协议(IP)或其他封包化通信。例如，通信接口202可以包括芯片组和天线，其布置为用于与无线电接入网络或接入点无线通信。还有，通信接口202可以采取有线接口的形式或包括有线接口，例如以太网、通用串行总线(USB)、或高清晰多媒体接口(HDMI)端口。通信接口202还可以采取无线接口的形式或包括无线接口，例如Wifi、全球定位系统(GPS)、或广域无线接口(例如WiMAX或3GPP长期演进技术(LTE))。然而，可以在通信接口202上使用其他形式的物理层接口和其他类型标准或专有通信协议。进而，通信接口202可以包括多个物理通信接口(例如Wifi接口、接口、和广域无线接口)。

用户接口204可以用于允许计算装置200与人或非人用户互动，例如从用户接收输入和向用户提供输出。由此，用户接口204可以包括输入部件，例如小键盘、键盘、触摸敏感板或存在敏感板、计算机鼠标、追踪球、摇杆、麦克风等等。用户接口204还可以包括一个或多个输出部件，例如显示屏幕，其例如可以与存在敏感板组合。显示屏幕可以基于CRT、LCD、和/或LED技术、或现在已知或随后开发的其他技术。用户接口204还可以被配置为经由扬声器、扬声器插孔、音频输出端口、音频输出装置、耳机、和/或其他相似装置产生听觉输出(一个或多个)。

在一些实施例中，用户接口204可以包括显示器，其用作用于照相机和/或摄像机功能(其被计算装置200所支持)的取景器。另外，用户接口204可以包括一个或多个按钮、开关、旋钮、和/或转盘，其有助于相机功能的配置和对焦以及图像的捕捉(例如捕捉图片)。可行的是，这些按钮、开关、旋钮和/或转盘中的一些或所有通过存在敏感板实施。

处理器206可以包括一个或多个通常目的处理器(例如微处理器)和/或一个或多个特殊目的处理器(例如数字信号处理器(DSP)、图形处理单元(GPU)、浮点运算单元(FPU)、网络处理器、或专用集成电路(ASIC)。在一些情况下，特殊目的处理器能进行图像处理、图像对齐(image alignment)、和合并图像，还存在其他可能。数据存储器208可以包括一个或多个易失和/或非易失存储部件，例如磁性、光学、闪速或有机存储器，且可以全部或部分地与处理器206集成。数据存储器208可以包括可拆卸和/或不可拆卸部件。

处理器206能执行存储在数据存储器208中的程序指令218(例如编译的或非编译的程序逻辑和/或机器代码)，以执行本文所述的各种功能。因此，数据存储器208可以包括非瞬时计算机可读介质，具有存储在其上的程序指令，在被计算装置200执行时，使得计算装置200执行本说明书和/或附图中公开的任何方法、过程、或操作。通过处理器206执行程序指令可以使得处理器206使用数据212。

通过例子的方式，程序指令218可以包括安装在计算装置200上的操作系统222(例如操作系统核心、装置驱动器(一个或多个)、和/或其他模块)和一个或多个应用程序220(例如相机功能、通讯簿、电子邮件、网络浏览器、社交网络、和/或游戏应用)。类似地，数据212可以包括操作系统数据216和应用数据214。操作系统数据216可以首先被操作系统222访问，且应用数据214可以首先被一个或多个应用程序220访问。应用数据214可以布置在对计算装置200的用户来说可见或隐藏的文件系统中。

应用程序220可以通过一个或多个程序设计接口(API)与操作系统222通信。这些API可以例如有助于应用程序220读取和/或写入应用数据214，经由通信接口202传递或接收信息，在用户接口204上接收和/或显示信息，等等。

在一些通俗表达中，应用程序220可以被简称为“app”。另外，应用程序220可以通过一个或多个联机应用存储器或应用市场而被下载到计算装置200。然而，应用程序还可以以其他方式安装在计算装置200上，例如经由网络浏览器或通过计算装置200上的物理接口(例如USB端口)。

相机部件224可以包括但不限于光圈、快门、记录表面(例如感光胶片和/或图像传感器)、镜头和/或快门按钮。相机部件224可以至少部分地被处理器206执行的软件所控制。

2.示例性立体成像和自动对焦

图3显示了立体成像的示例性实施例。在该图中，左相机302和右相机304捕捉场景300的图像。场景300包括在前景中的人和在背景中的云。左相机302和右相机304以基线距离(baseline distance)分开。

左相机302和右相机304每一个可以包括图像捕捉部件，例如相应的光圈、镜头、快门和记录表面。在图3中，左相机302和右相机304被显示为不同的物理相机，但是，例如，左相机302和右相机304可以是同一物理数码相机的图像捕捉部件的分开组合(separateset)。

不管如何，左相机302和右相机304可以分别同时捕捉左图像306和右图像308。本文中，这种同时图像捕捉可以同时发生，或彼此相隔数(例如1、5、10或25)毫秒发生。由于左相机302和右相机304的各自位置，场景300的前景中的人在左图像306中显得略微靠右且在右图像308中显得略微靠左。

左图像306和右图像308可以彼此对齐且随后组合起来使用，以形成场景300的立体图像表示。图像对齐可以涉及用于将左图像306和右图像308布置在彼此上方以使得它们“匹配”的计算方法。一种用于图像对齐的技术是全局对齐，其中固定的x轴线和y轴线偏移量被应用于一个图像中的每一个像素，使得该图像与另一图像基本对齐。在这种情况下的基本对齐(substantial alignment)可以是像素之间的误差因子最小化或被确定为低于临界值的一种对齐。例如，可以针对多个候选对齐来计算最小方差，且具有最低的最小二乘误差的对齐可以被确定为是基本对齐。

然而，如果一个图像被分解为多个m×n像素块，且每一个块根据各自的偏移量被分别对齐，则通常可实现更好的结果。结果可能是一些块彼此被不同地偏移。对于块的每一个候选对齐，对所平移的原图像中的和目标图像中的所有像素之间的净差进行确定以及求和。该净差被存储，且可选择按最小差进行的平移，作为基本对齐。

除了本文所述的图像对齐技术以外或代替本文所述的图像对齐技术，可以使用其他图像对齐技术。

另外，各种技术可以用于从左图像306和右图像308形成立体图像表示。立体图像表示310可以在有或没有3D眼镜的辅助下被看到。例如，左图像306和右图像308可以在屏幕上彼此重叠，且用户可以佩戴3D眼镜，其能对重叠图像进行过滤，使得用户的每只眼睛看见合适的视图。替换地，屏幕可以在左图像306和右图像308之间快速(例如约每100毫秒)切换。这可以形成3D效果，而不需要用户佩戴3D眼镜。

图4显示了捕捉对象图像的图像捕捉部件的简化表示。图像捕捉部件包括镜头402和记录表面404。代表对象400的光经过镜头402且在记录表面404上形成对象400的图像(由于镜头402的光学特点，记录表面404上的图像表现为上下颠倒)。镜头402可以是可调整的，其中其可相对于图4向左或向右运动。例如，可通过向控制镜头402的位置的电动机(图4未示出)施加电压而实现调整。电动机可以让镜头402进一步运动远离或靠近记录表面404。由此，图像捕捉部件可对焦以一定的距离范围对焦对象上。在任何时间点，镜头402和记录表面404之间的距离被称为镜头位置，且通常以毫米计。镜头402和其对焦区域之间的距离被称为对焦距离，且可以以毫米或以其他单位计。

焦距是镜头的固有性质，且如果镜头不是变焦镜头则焦距是固定的。镜头位置是指镜头表面和记录表面之间的距离。镜头位置可被调整以使得对象显得清晰(焦点对准(in-focus))。在一些实施例中，镜头位置通过焦距来近似，如果镜头被驱动以对焦在无穷远处，则镜头位置等于焦距。由此，对于非变焦图像捕捉部件来说焦距是已知的和固定的，而镜头位置是未知的但是可被估计以将图像捕捉部件对焦在对象上。

自动对焦是用于不需要或几乎不需要用户协助就能让图像捕捉部件对焦的方法。自动对焦可以自动地选择场景的要对焦的区域，或可以对焦在场景的预选择区域上。自动对焦软件可以自动地调整图像捕捉部件的镜头位置，直到其确定图像捕捉部件充分且良好地对焦在对象上。

示例性自动对焦方法如下文所述。但是，该例子仅是实现自动对焦的一种方式，且可以使用其他技术。

在基于对比度的自动对焦中，记录表面上的图像经数字分析。具体说，确定像素之间的亮度对比度(例如最亮像素和最不亮像素的亮度之间的差)。通常，该对比度越高，则图像对焦越好。在确定对比度之后，镜头位置被调整，且再次测量对比度。该过程重复直到对比度至少处于某一预定值。一旦该预定值达到，则场景的图像被捕捉并存储。

这类自动对焦存在两种不同的缺陷。第一，自动对焦算法可以迭代一些时间(例如数十或数百毫秒或更长)，造成不期望的延迟。在该迭代过程期间，场景中的对象会运动。这在该自动对焦算法中会造成继续迭代更长时间。第二，在评估低光度场景或有光点的场景时，基于对比度的自动对焦(以及其他自动对焦技术)会存在不准确性。例如，在试图捕捉暗房间中的圣诞树(其上有灯)的图像时，灯和房间其余部分之间的对比度会“干扰”自动对焦算法，从而造成几乎任何镜头位置都是可接受的对焦。其原因是，按照基于对比度自动对焦的算法，散焦点光源的边缘足够清晰，从而会认为实现了焦点对准。

进而，对于立体相机或具有多个图像捕捉部件的任何相机装置，在每一个图像捕捉部件上独立地运行自动对焦会导致不期望的结果。可能由于图像捕捉部件相对于场景对象处于略微不同的位置，以及图像捕捉部件之间的可能的硬件差异，每一个图像捕捉部件最终会对焦在不同距离处。还有，即使一个图像捕捉部件被用于确定镜头位置，则因为可能的硬件差异，同一镜头位置也不能可靠地被其他图像捕捉部件使用。

3.示例性非迭代立体自动对焦

本文的实施例对自动对焦技术提出改进。具体说，公开一种准确地估计图像捕捉部件和对象之间距离的非迭代自动对焦技术。随后，使用将这种距离与电压进行映射的部件专用表，适当的电压可被施加到每一个镜头的马达，使得每一个图像捕捉部件对焦在相同对焦距离，以用于图像捕捉。

本文的实施例假定存在多个图像捕捉部件，是多个相机的形式或单个相机的形式。另外，为了简单，本文的实施例描述了用于两个图像捕捉部件的立体自动对焦，但是这些技术也可以应用于三个或更多图像捕捉部件的阵列。

基于两个图像捕捉部件和场景中对象的位置的三角测量法可用于估计从图像捕捉部件到对象的距离。转到图5，左相机302和右相机304被假定为在x轴线上彼此分开距离b。这些相机中之一或两者具有焦距f(为了展示的目的，其位置和大小在图5中被夸大)。两相机还瞄准了在z轴线上与相机相距距离z的对象。b和f的值是已知的，但是z的值要被估计。

如此做的一个方式是在左相机302和右相机304两者处捕捉对象的图像。如图3的情况所示，对象将在被左相机302捕捉的图像中显得略微靠右，且在右相机304捕捉的图像中显得略微靠左。在捕捉图像中所呈现的对象之间的该x轴线距离是视差(disparity)d。

在左相机302、右相机304、和对象之间可画出第一三角形MNO。还有，从点P(在该处对象出现在被左相机302捕捉的图像中)到点Q(在该处对象出现在通过右相机304捕捉的图像中)到点O可画出第二三角形PQO。视差d也可被表达为点P和点Q之间的距离。

在形式上，三角形MNO和三角形PQO是相似的三角形，其所有的对应角度具有相同的测量值。结果，它们也具有相同的宽度对高度的比。因此：

b(z-f)＝z(b-d) (2)

bz-bf＝bz-dz (3)

-bf＝-dz (4)

以这种方式，从相机到对象的距离z可被直接估计。仅余视差d未知。但是该值是可基于被左相机302和右相机304捕捉的对象图像估计的。

至此，可以识别在这些图像每一个中出现的特征。该特征可以是对象(例如图5中的人)或可以是不同特征。可基于出现在两个图像每一个中的特征之间的像素偏移(offsetin pixels)来估计该视差。

对齐算法可用于找出该视差。例如，含有来自两个图像中之一的至少一部分特征的m×n像素块可匹配到另一图像中的类似大小的像素块。换句话说，该算法可以针对左图像中的相应块搜索右图像中的最佳匹配块，或反过来也可以。可以使用各种块尺寸，例如5×5、7×7、9×9、11×11、3×5、5×7，等等。

可以沿极线(epipolar line)进行该搜索。在一些情况下，多分辨率方法(multiresolution approach)可以用于执行该搜索。如上所述，可以找出具有最小平方差的对齐。替换地，可以代替地使用误差测量值低于临界值的任何对齐方法。

一旦找出了对齐，则所述视差为两个图像中特征的相应像素之间的处于偏移中的像素数。在两个相机沿x轴线对齐的情况下，可通过仅沿x轴线进行搜索而简化该对齐过程。类似地，如果两个相机沿y轴线对齐，则可通过仅沿y轴线进行搜索而简化该对齐过程。

在替换的或额外的实施例中，两个图像中之一中的角部(或相似的边缘特征)可以匹配到另一图像中的同一角部。例如Harris和Stephens技术或从加速分段测试得到特征(FAST：Features from Accelerated Segment Test)技术这样的角部检测算法。随后，相应角部之间的变换(transform)可被计算作为仿射变换(affine transform)或平面单应(planar homography)，例如使用用于归一化8点算法和用于孤立点检测的随机抽样一致性算法。这种变换的平移分量可随后被提取，且其大小是所述视差。该技术可以甚至在没有图像对齐的情况下提供视差的高质量估计，但是与将图像对齐相比在计算方面也会更昂贵。还有，因为相机通常在起动时未正确地对焦，所以角部检测技术可能工作效果较差，造成不具有清晰限定的角部的模糊图像。结果，会期望对图像的至少一些区域进行降采样(downsampling)并在降采样区域上执行角部检测。

一旦距离z是已知的，则两个(或更多)相机中的每一个可对焦到该距离。但是，不同的图像捕捉部件可以具有不同设定，它们根据该设定对焦在具体距离处。由此，向两个相机给出的相同命令可以使得两个相机对焦在不同距离处。

为了解决该问题，每一组图像捕捉部件硬件的焦点性质可以通过校准而被映射给定范围内的焦点值(focal value)。出于例子的目的，在本文中将使用0-100的范围。由此，焦点值为无单位整数值，根据制造公差，其设定了在距记录表面一定距离内的镜头位置。用于具体图像捕捉部件的这些值可以进一步映射到电压或其他机制，使得图像捕捉部件能将其镜头运动到使得图像捕捉部件对焦在该距离处的镜头位置。

图6提供了0-100的焦点值和对焦距离之间的示例性映射。列600代表对焦距离，列602代表用于左相机的焦点值，且列604代表用于右相机的焦点值。映射中的每一个条目表示每一个相机可被设定的焦点值，使得这些相机对焦在给定对焦距离处。例如，为了让两相机对焦在909毫米的距离处，用于左相机的焦点值可被设定为44且右相机的焦点值可被设定为36。

如上所述，用于相机(例如一组图像捕捉部件)的焦点值代表硬件指定镜头位置。由此，每一个焦点值可以与具体电压相关，例如在施加到镜头时对镜头进行调整以实现期望对焦距离的电压。在一些情况下，电压设定要施加到镜头的具体的力，而不是位置。闭环图像捕捉部件可以通过能从它们的模块(其与镜头在何处以及其被聚焦还是仍在运动中有关)提供状态更新而支持该特征。在其他情况下，焦点值设定镜头的具体位置，例如通过编码器确定。

为了确定对焦距离、镜头位置和电压之间的关联，每一组图像捕捉部件可以被校准。例如，对象可以运动，直到其在每一个图像捕捉部件的镜头位置处清晰对焦，且针对每一个镜头位置，从图像捕捉部件到对象的距离可被测量。或者，换句话说，对象位于距图像捕捉部件距离D处，则焦点值被调整直到对象的图像足够清晰。焦点值V被记录，且随后找出距离D和焦点值V之间的映射。为了获得D和V之间的映射表，对象可按照屈光度(距离的倒数)置于具有相等间距的不同位置。

从该数据，镜头位置可被指定0-100范围内的焦点值。任何这种校准可以脱机发生(例如在相机制造期间或在立体自动对焦软件配置期间)，且对焦距离和焦点值之间的映射以及焦点值和镜头位置之间的映射可以在数据文件中提供。

4.示例性操作

图7是显示了示例性实施例的流程图。图7所示的实施例可被计算装置执行，例如数码相机装置100。然而，该实施例可被其他类型的装置或装置子系统执行。进一步地，该实施例可以与本说明书或附图所公开的任何方面或特征组合。

图7的图块700涉及通过第一图像捕捉部件捕捉场景的第一图像。图块702可以涉及通过第二图像捕捉部件捕捉场景的第二图像。第一图像捕捉部件和第二图像捕捉部件每一个可以包括各自的光圈、镜头和记录表面。

进一步地，在第一图像捕捉部件和第二图像捕捉部件之间可以存在具体的基线距离。还有，第一图像捕捉部件或第二图像捕捉部件中的至少一个可以具有焦距。在一些实施例中，第一图像捕捉部件和第二图像捕捉部件可以是立体相机装置的一些部分。在其他实施例中，第一图像捕捉部件和第二图像捕捉部件可以是单独且不同相机装置(其通过在它们之间的软件和通信的方式而协调工作)的一些部分。第一图像捕捉部件和第二图像捕捉部件可以具有相同或不同的图像捕捉分辨率。

图块704可以涉及确定第一图像中所呈现的场景的一部分和第二图像中所呈现的场景的该部分之间的视差。

图块706可以涉及可能地基于视差、具体基线距离和焦距来确定对焦距离。对焦距离可以基于具体基线与焦距除以视差的乘积。

图块708可以涉及将第一图像捕捉部件和第二图像捕捉部件设定为对焦到对焦距离。设定对焦可以涉及向第一图像捕捉部件和第二图像捕捉部件发送相应命令以调整它们的镜头位置，使得这些部件对焦到对焦距离。

虽然未示出，但是图7的实施例可以进一步涉及通过对焦到对焦距离的第一图像捕捉部件捕捉场景的第三图像，和通过对焦到对焦距离的第二图像捕捉部件捕捉场景的第四图像。第三图像和第四图像可以组合以形成和/或显示场景的立体图像。这种经显示的立体图像可以要求或可以不要求使用3D眼镜来进行观察。

在一些实施例中，确定在第一图像中所呈现的场景的该部分和在第二图像中所呈现的场景的该部分之间的视差涉及，识别第一图像中的第一m×n像素块和识别第二图像中的第二m×n像素块。第一m×n像素块或第二m×n像素块可以移位，直到第一m×n像素块和第二m×n像素块基本上对齐。视差是基于通过这种移位所表示的像素距离。在一些情况下，将第一m×n像素块或第二m×n像素块移位可以涉及，仅在x轴线上将第一m×n像素块或第二m×n像素块移位。

如在本文所述的基本对齐可以是块之间的误差因子最小化或被确定为低于临界值的一种对齐。例如，可以针对多个候选对齐来计算最小方差，且具有最低的最小平方差的对齐可以被确定为是基本对齐。

在一些实施例中，场景的该部分可以包括具有角部的特征。在这些情况下，确定第一图像中所呈现的场景的该部分和第二图像中所呈现的场景的该部分之间的视差可以涉及，检测第一图像和第二图像中的该角部，且根据平移(translation)使第一图像或第二图像扭曲(warp)到另一个，使得第一图像和第二图像中的角部基本上匹配。视差可以是基于通过平移表示的像素距离。

在一些实施例中，焦点值为从具体范围的整数值选择的整数。具体范围中的整数值可以分别与电压相关。这些电压在施加到第一图像捕捉部件和第二图像捕捉部件时可以使得第一图像捕捉部件和第二图像捕捉部件大约对焦在场景的该部分处。设定第一图像捕捉部件和第二图像捕捉部件以对焦到对焦距离可以涉及，将与对焦距离相关的电压施加到第一图像捕捉部件和第二图像捕捉部件每一个。

在一些实施例中，在第一图像和第二图像被捕捉之前，可以基于第一图像捕捉部件和第二图像捕捉部件的特性来校准具体范围内的整数值和电压之间的相应关联。

5.结论

本发明并不限于本申请所述的具体实施例，实施例的目的是展示各种方面。可以在不脱离其范围的情况下做出许多修改和改变，对本领域技术人员是可以理解的。从前述描述，本领域技术人员可以理解除了本文所列举的那些以外的在本发明范围内的功能上等同的方法和结构。这种修改和改变应落入所附权利要求的范围内。

参考附图，上文的详细描述已描述了所公开系统和方法的各种特征和功能。本文所述的和附图所示的示例性实施例并不是限制性的。可利用其他实施例，且可做出其他改变，而不脱离本文给出的主题的范围。容易理解，本文通常所述且在图中示出的本发明的一些方面可以以各种不同构造布置、代替、组合、分离和设计，所有这些都属于本文的构思。

对于图中所示和本文所述的任何或所有消息流图、脚本、和流程图，每一个步骤、图块、和/或通信可代表根据示例性实施例的信息处理和/或信息传递。替换实施例也包括在这些示例性实施例的范围内。例如，在这些替换实施例中，被描述为步骤、图块、传递、通信、请求、响应、和/或消息的功能可按并非所示或所述的顺序来执行，包括基本上同时或以相反顺序，这取决于所涉及的功能。进一步地，更多或更少图块和/或功能可用于本文描述的任何梯型图、脚本和流程图，且这些梯型图、脚本和流程图可彼此部分或全部组合。

代表信息处理的步骤或图块可对应于电路，其可被配置为执行本文所述的方法或技术的具体逻辑功能。替换地或另外地，代表信息处理的步骤或图块可对应于程序代码的模块、段或一部分(包括相关数据)。程序代码可包括一个或多个指令，其被处理器执行以用于实施方法或技术中的具体逻辑功能或动作。程序代码和/或相关数据可存储在任何类型的计算机可读介质上，例如包括盘片、硬盘驱动器、或其他存储介质的存储装置。

计算机可读介质还可包括非瞬时计算机可读介质，例如短期存储数据的计算机可读介质，如寄存器、处理器缓存、和随机访问存储器(RAM)。计算机可读介质还可包括非瞬时计算机可读介质，其能长期存储程序代码和/或数据。由此，计算机可读介质可以包括二次或长期存储，例如只读存储器(ROM)、光学盘或磁盘、光盘只读存储器(CD-ROM)。计算机可读介质还可以是任何其他易失或非易失存储系统。计算机可读介质可被认为例如是计算机可读存储介质，或是有形存储装置。

而且，代表一个或多个信息传递的步骤或图块可对应于同一物理装置中的软件和/或硬件模块之间的信息传递。然而，其他信息传递可以是在不同物理装置中的软件模块和/或硬件模块之间的。

附图所示的具体构造不应该被视为是限制。应理解，在其他实施例中，给定图中所示的每一个元件可变得更多或更少。进一步地，所示元件中的一些可组合或省略。进一步，示例性实施例可包括图中未示出的元件。

另外，本说明书或权利要求中的元件、图块或步骤任何列举是为了清楚。由此，这种列举不应认为是要求或暗示这些元件、图块、或步骤必须严格依照具体结构或以特定顺序执行。

尽管已经在本文公开了各种方面和实施例，其他方面和实施例对本领域技术人员来说是明显的。公开本文的各种方面和实施例用于展示的的目的而不是限制性的，实际范围和精神通过之后的权利要求给出。

Claims (20)

1.一种方法，包括:

通过立体相机的第一图像捕捉部件捕捉场景的第一图像；

通过立体相机的第二图像捕捉部件捕捉场景的第二图像，其中第一图像捕捉部件和第二图像捕捉部件之间存在一具体基线距离，且其中第一图像捕捉部件或第二图像捕捉部件中的至少一个具有焦距；

确定第一图像中所呈现的场景的一部分和第二图像中所呈现的场景的该部分之间的视差；

基于视差、具体基线距离、和焦距来确定对焦距离；和

设定第一图像捕捉部件和第二图像捕捉部件，以对焦到该对焦距离。

2.如权利要求1所述的方法，包括：

通过对焦到对焦距离的第一图像捕捉部件捕捉场景的第三图像；

通过对焦到对焦距离的第二图像捕捉部件捕捉场景的第四图像；和

使用第三图像和第四图像的组合来形成场景的立体图像。

3.如权利要求1所述的方法，其中确定第一图像中所呈现的场景的该部分和第二图像中所呈现的场景的该部分之间的视差包括：

识别第一图像中的第一m×n像素块；

识别第二图像中的第二m×n像素块；和

将第一m×n像素块或第二m×n像素块移位，直到第一m×n像素块和第二m×n像素块基本上对齐，其中视差是基于通过移位表示的像素距离。

4.如权利要求3所述的方法，其中将第一m×n像素块或第二m×n像素块移位包括仅在x轴线上将第一m×n像素块或第二m×n像素块移位。

5.如权利要求1所述的方法，其中场景的该部分包括具有角部的特征，且其中确定第一图像中所呈现的场景的该部分和第二图像中所呈现的场景的该部分之间的视差包括：

检测第一图像和第二图像中的角部；和

根据平移将第一图像或第二图像扭曲到另一个，使得第一图像和第二图像中的角部基本上匹配，其中视差是基于平移所表示的像素距离。

6.如权利要求1所述的方法，其中第一图像捕捉部件和第二图像捕捉部件具有不同的图像捉分辨率。

7.如权利要求1所述的方法，其中对焦距离基于具体基线与焦距除以视差的乘积。

8.如权利要求1所述的方法，其中焦点值是从具体范围的整数值选择的整数值，其中该具体范围内的整数值分别与电压相关，且其中电压在施加到第一图像捕捉部件和第二图像捕捉部件时使得第一图像捕捉部件和第二图像捕捉部件大约对焦在场景的该部分处。

9.如权利要求8所述的方法，其中设定第一图像捕捉部件和第二图像捕捉部件以对焦到对焦距离包括，将与对焦距离相关的电压施加到第一图像捕捉部件和第二图像捕捉部件每一个。

10.如权利要求8所述的方法，进一步包括:

在捕捉第一图像和第二图像之前，基于第一图像捕捉部件和第二图像捕捉部件的特性来校准具体范围内的整数值和电压之间的相应关联。

11.如权利要求1所述的方法，其中第一图像捕捉部件和第二图像捕捉部件每一个包括各自的光圈、镜头和记录表面。

12.一种制品，包括非瞬时计算机可读介质，具有在其上存储的程序指令，该程序指令在被计算装置执行时使得计算装置执行操作，包括：

通过第一图像捕捉部件捕捉场景的第一图像；

通过第二图像捕捉部件捕捉场景的第二图像，其中第一图像捕捉部件和第二图像捕捉部件之间存在一具体基线距离，且其中第一图像捕捉部件或第二图像捕捉部件中的至少一个具有焦距；

确定第一图像中所呈现的场景的一部分和第二图像中所呈现的场景的该部分之间的视差；

基于该视差、具体基线距离、和焦距来确定对焦距离；和

设定第一图像捕捉部件和第二图像捕捉部件以对焦到该对焦距离。

13.如权利要求12所述的制品，其中操作进一步包括：

通过对焦到对焦距离的第一图像捕捉部件捕捉场景的第三图像；

通过对焦到对焦距离的第二图像捕捉部件捕捉场景的第四图像；和

组合第三图像和第四图像来形成场景的立体图像。

14.如权利要求12所述的制品，其中确定第一图像中所呈现的场景的该部分和第二图像中所呈现的场景的该部分之间的视差包括：

识别第一图像中的第一m×n像素块；

识别第二图像中的第二m×n像素块；和

将第一m×n像素块或第二m×n像素块移位，直到第一m×n像素块和第二m×n像素块基本上对齐，其中视差是基于通过移位表示的像素距离。

15.如权利要求12所述的制品，其中场景的该部分包括具有角部的特征，且其中确定第一图像中所呈现的场景的该部分和第二图像中所呈现的场景的该部分之间的视差包括：

检测第一图像和第二图像中的角部；和

根据平移将第一图像或第二图像扭曲到另一个，使得第一图像和第二图像中的角部基本上匹配，其中视差是基于平移所表示的像素距离。

16.如权利要求12所述的制品，其中对焦距离基于具体基线与焦距除以视差的乘积。

17.如权利要求12所述的制品，其中焦点值是从具体范围的整数值选择的整数值，其中该具体范围内的整数值分别与电压相关，且其中电压在施加到第一图像捕捉部件和第二图像捕捉部件时使得第一图像捕捉部件和第二图像捕捉部件大约对焦在场景的该部分处。

18.如权利要求17所述的制品，其中设定第一图像捕捉部件和第二图像捕捉部件以对焦到对焦距离包括，将与对焦距离相关的电压施加到第一图像捕捉部件和第二图像捕捉部件每一个。

19.如权利要求12所述的制品，其中操作进一步包括：

在捕捉第一图像和第二图像之前，基于第一图像捕捉部件和第二图像捕捉部件的特性来校准具体范围内的整数值和电压之间的相应关联。

20.一种计算装置，包括：

第一图像捕捉部件；

第二图像捕捉部件；

至少一个处理器；

存储器；和

程序指令，存储在存储器，其在被至少一个处理器执行时使得计算装置执行操作，包括：

通过第一图像捕捉部件捕捉场景的第一图像；

通过第二图像捕捉部件捕捉场景的第二图像，其中第图像捕捉部件和第二图像捕捉部件之间存在一具体基线距离，且其中第一图像捕捉部件或第二图像捕捉部件中的至少一个具有焦距；

确定第一图像中所呈现的场景的一部分和第二图像中所呈现的场景的该部分之间的视差；

基于该视差、具体基线距离、和焦距来确定对焦距离；和

设定第一图像捕捉部件和第二图像捕捉部件以对焦到该对焦距离。