CN101637019A

CN101637019A - 提供范围映射的多镜头照相机

Info

Publication number: CN101637019A
Application number: CN200880007744A
Authority: CN
Inventors: J·N·博尔德; A·D·恩格; E·O·莫雷尔斯; B·H·皮尔曼; K·A·雅各比; J·E·小亚当斯; R·J·帕卢姆; A·C·加拉赫尔
Original assignee: Eastman Kodak Co
Current assignee: Mau new gate Venture Capital Co., Ltd.
Priority date: 2007-03-09
Filing date: 2008-02-08
Publication date: 2010-01-27
Anticipated expiration: 2028-02-08
Also published as: US20080218612A1; CN101637019B; JP5395678B2; WO2008112054A1; EP2119222A1; JP2010524279A; US7683962B2

Abstract

一种电子照相机，用于从所拍摄的图像信号产生场景的输出图像，该电子照相机包括：第一摄像平台，其包括用于生成第一传感器输出的第一图像传感器和用于在所述第一图像传感器上形成所述场景的第一图像的第一镜头；第二摄像平台，其包括用于生成第二传感器输出的第二图像传感器和用于在所述第二图像传感器上形成所述场景的第二图像的第二镜头，其中所述镜头具有不同的焦距。处理平台使用来自所述摄像平台中的一个摄像平台的传感器输出作为所拍摄的图像信号，并使用来自所述两个摄像平台的图像来生成标识到所述场景的不同部分的距离的范围映射。

Description

提供范围映射的多镜头照相机

技术领域

本发明涉及产生数字图像文件的数字照相机，并且更具体地，涉及使用多个镜头和图像传感器来提供改进的测距能力的数字照相机。

背景技术

目前，大部分数字照相机使用变焦拍摄镜头和单一彩色图像传感器来拍摄静止和运动图像。然后处理拍摄的图像以产生数字图像文件，该数字图像文件存储在照相机中的数字存储器中。然后该数字图像文件可以被传送到计算机，被显示、打印并通过网络共享。

为了拍摄运动被摄体的清晰图像，数字照相机需要提供精确的自动镜头调焦系统(即自动调焦系统)。自动调焦系统必须能够快速地获取正确的聚焦，以便最小化按下快门按钮的时间与拍摄静止图像的时间之间的“快门延迟”。自动调焦系统还必须工作在拍摄视频图像的连续图像拍摄模式下。例如，在视频模式下，在正在连续拍摄视频图像时，应该实时地调节焦距。

许多数字照相机和扫描仪使用图像传感器和具有可调焦距的拍摄镜头系统来拍摄图像。典型地，可以通过感测、控制以及驱动系统将这样的可调焦距拍摄镜头系统的焦距自动地设置为多个不同设置中的一个，其中所述感测、控制以及驱动系统被适配为提供在场景中被确定为被摄体区域的区域的最优聚焦。自动提供基于焦距测量和可调焦距镜头的可调焦距设置的镜头系统在这里被称为自动调焦系统。数字照相机典型地使用如下两种自动调焦系统中的一个：测距系统和“通过透镜”调焦系统。

测距系统使用诸如声波测距器或双镜头测距器的测距传感器来确定从照相机到测距系统的视场内的场景的一个或多个部分的距离。声波测距器测量发射的声波信号和反射的声波信号之间的相位偏移以推断到场景中的被摄体的距离。双镜头测距器包含沿拍摄匹配的成对图像的两个匹配的传感器区域分离开距离的两个镜头。双镜头测距器通常以双镜头测距器模块的形式在数字照相机上被使用，所述双镜头测距器模块包含沿拍摄匹配的成对低分辨率图像的两个匹配传感器区域分离开距离的两个镜头。

普通双镜头基于测距器的自调焦系统包括主动和被动系统。主动系统主动地将光发射到场景上，而被动系统与来自场景的可用光一起工作。双镜头测距器模块可以从Fuji Electric在诸如FM6260W的一些型号中购买。用于诸如照相机的光学设备的双镜头测距器模块在1986年8月16日授权给Haruki等人(并转让给Fuji Electric)的美国专利第4,606,630号中被描述。根据这个专利中的现有技术的说明，分析匹配的成对低分辨率图像以得到两个图像之间的相关性，从而确定由两个镜头之间的分开而引起的这两个图像之间的偏移。

这里在图27中示出表示传统的测距器的操作原理的图。在该图中，来自被摄体151的光入射到两个小透镜152和153上，这两个小镜头具有足够短的焦距f从而使得通过不同的间隔开的路径154和155从被摄体所接收的光线在透镜152与153共用的焦平面156内生成相应的间隔开的图像157和158。当被摄体151位于无穷远距离处时，图像157和158的中心位于图27中的基准位置170和180处，但是当被摄体151位于较近的距离处时，图像的中心偏移到位置171和181。如果图像157和158从基准位置170和180而偏移的距离被分别表示为x₁和x₂，那么总位移x可以表示如下：

x＝x₁+x₂＝b·f/d

因此，到被摄体151的距离d可以由d＝b·f/x来测量。在这种情况下，b是小透镜的光轴之间的距离，即基长(base length)。为了获得偏移量x₁和x₂或者二者的和x，在焦平面156内配置两个光学传感器阵列190和191，如图27所示。这些光学传感器阵列每个均包括多个光学传感器(例如CCD装置)，并且由每个光学传感器生成与入射到传感器上的图像部分的光强度相对应的模拟光电信号。Haruki等人示出了传统的电路，以及根据本专利的速度更高的测距电路，该测距电路通过比较包括来自左光学传感器阵列和右光学传感器阵列的数字图像信号的两个图像信号列来获得偏移距离的总和x。

基本地，沿着镜头分离距离b和焦点距离f使用偏移信息x来通过三角测量法来计算到场景的距离。使用所计算出的到场景的距离d来指引可调焦距镜头的定位以产生最好的图像质量。如现有技术所已知的，该调节可以基于在由双镜头测距器模块所测量的到场景的距离与通过“通过透镜”自动调焦系统所生成的一系列最佳聚焦图像之间所建立的校准曲线。将该校准曲线作为等式或查找表存储在照相机中的微处理器中。

基于测距器的自动调焦系统具有非常快速的优点，其中某些系统具有可以在0.01-0.05秒的范围内的响应时间。但是，由一些基于测距器的自动调焦系统所产生的聚焦质量可以在这些系统被用于不同的操作条件中时而不同。例如，声波自动调焦系统不能通过玻璃窗口聚焦，这是因为玻璃阻止反射的声波信号，从而导致自动调焦系统聚焦到该玻璃上。在双镜头测距器自动调焦系统的情况下，双镜头测距器的精度通常受到诸如温度和/或湿度的环境条件的变化的影响。双镜头测距器模块的问题在于双镜头测距器模块和可调焦距镜头位置之间的校准在数字照相机的正常运行环境内不稳定。诸如温度和湿度的变化的环境条件可以导致通过双镜头测距器模块而测得的到场景部分的距离改变大于10％。此外，所测得的在可调焦距拍摄镜头系统中的可调焦距拍摄镜头的位置易于发生环境诱导的改变，使得在可调焦距镜头的控制系统中产生不准确。因此，典型地不单独使用双镜头测距器模块用于数字照相机中的自动调焦，相反使用其用作通过“通过透镜”自动调焦系统而补充的粗略聚焦调节。

可替代地，该“通过透镜”自动调焦系统通过对利用位于多个不同的聚焦位置处的可调焦距镜头系统所拍摄的一系列自动聚焦图像进行分析来确定聚焦状态。例如，在典型的“通过透镜”自动调焦系统中，在所谓的“爬坡”方法中利用一系列位于不同位置的可调焦距镜头来拍摄多个自动聚焦图像(例如，5-20个)。由于这种类型的自动调焦产生水平增大直到越过峰值即“坡”为止的值序列，因此这种类型的自动调焦被称为“爬坡”自动调焦。换而言之，自动地调整镜头聚焦位置直到图像中的边缘细节或图像的特定区域的对比度最大化为止。例如，比较存在于各个自动聚焦图像中的对比度，并且认为已经以最佳聚焦状态拍摄了具有最大对比度的自动聚焦图像(通常通过在两个图像之间插入对比度值而进一步细化最佳聚焦镜头位置)。

为了降低聚焦响应时间而不牺牲聚焦精度，通常使用滤波器来不仅分离视频信号的高频分量还分离低频分量。例如，可以在最远离最大焦距的低频范围中在粗调步骤中快速驱动镜头，然后在较靠近最大焦距的高频范围中在精细调节步骤中驱动镜头。图28示出传统的“爬坡”对比度自动调焦算法的流程图。该算法使用如上所述并且如图29的图所示的“爬坡”对比度自动调焦方法，图29示出了从滤波器获得的聚焦值与镜头位置之间的关系。在图29中，横坐标表示沿着距离轴的镜头的聚焦位置，纵坐标表示聚焦评估值，并且曲线A和B分别表示相对于特定的对焦位置P的高频分量和低频分量的聚焦评估值。

参考图28的流程图，算法的最佳开始点取决于作为焦距设置和f数的函数的当前镜头设置的超焦距。通常，大约2米的距离是好的开始点。然后，加载低频带通滤波器(步骤197)并读出聚焦值。该算法采用比较步骤198将镜头调节的方向设置为朝向增大聚焦值的方向，并确定镜头何时步进超过“坡”。取决于当前焦距和f数的景深设置使用低频带通滤波器时在拍摄下一帧之前应该采取的步骤的数量，即下一接近聚焦位置。一旦经过了坡(图29中的曲线B)，则加载高频带通滤波器(步骤199)，并在相反方向上移动镜头直到找到更高的“坡”的峰(图29中的曲线A)为止。峰聚焦值可以使用多个像素的加权平均值或峰值。

“通过透镜”自动调焦系统非常精确，这是因为这些系统直接根据利用高质量拍摄镜头所拍摄的自动聚焦图像来测量聚焦质量。遗憾的是，“通过透镜”自动调焦系统由于必须拍摄和比较大量自动聚焦图像而在确定聚焦设置时可能会相对较慢。例如，“通过透镜”自动调焦系统可能需要0.5-2.0秒之长来确定聚焦状态。

因此，在一些数字照相机中，两种自动调焦系统被一起用于混合系统中，在所述混合系统中，使用基于测距器的自动调焦系统来提供可调焦距镜头的快速估计，随后利用“通过透镜”自动调焦系统来细化聚焦设置。例如，以Misawa的名义于2005年3月8日被授权且发明名称为“Focusing Apparatus for Adjusting Focus of an Optical Instrument”的美国专利第6,864,474号描述了基于测距器的自调焦系统与“通过透镜”自动调焦系统的协同使用。在Misawa中，通过基于测距器的自动调焦系统和“通过透镜”自动调焦系统两者来确定可调焦距拍摄镜头的聚焦位置。存储通过基于测距器的自动调焦系统所确定的可调焦距拍摄镜头位置与通过“通过透镜”自动调焦系统所确定的可调焦距拍摄镜头位置之间的差以供将来参考。在随后的图像拍摄阶段中，使用所存储的差信息来细化在“爬坡”方法中由“通过透镜”自动调焦系统为了确定最佳聚焦的可调焦距镜头位置而拍摄和分析的自动聚焦图像的数量，从而在测距器系统是精确的情况下减小拍摄和处理的自动聚焦图像的数量，并在测距器不精确的情况下增大拍摄和处理的自动调焦图像的数量。但是，Misawa所述的方法假定测距器、可调焦距拍摄镜头系统和控制系统的性能相对于时间是一致的，没有随着环境条件的变化而波动，相对于时间也没有其他变化或漂移。

在图像对焦后，典型地，“爬坡”方法在当前被聚焦的被摄体附近横跨递增的距离而运行。然后，在重新聚焦图像时，“爬坡”方法通常判断任意镜头移动是否正步进“上坡或下坡”，并为新的最大值而复位镜头。实际上，这意味着如果镜头移动步进“下坡”，则立即将镜头运动反向，以寻找现有被摄体的新的最大值。这在视频聚焦中是特定问题，其中在视频聚焦中，远离当前被摄体一定距离的新的被摄体可能进入图像且不能由“爬坡”方法检测到，甚至新的被摄体可能存在对比度形式的更大的“坡”。响应于该问题的一种方式被称为“整体方式”自动调焦，在该方式下，自动调焦模块在确定聚焦位置之前查看拍摄镜头可辨别的所有距离。

共同转让的美国专利第6,441,855号说明了“整体方式”自动调焦方法，在该方法中，调焦装置包括被适配为横跨整个调焦范围移动到不同位置的可移动调焦镜头、用于将入射到调焦镜头并透射过调焦镜头的光转换为信号的转换元件以及用于移动调焦镜头的镜头驱动机构。调焦装置还包括用于基于来自转换元件的信号计算调焦镜头的每个位置的聚焦估计值的聚焦估计值计算单元。聚焦估计值计算单元仅提取与所限定的聚焦区域(例如在图像的中央)中的像素相对应的信号，其中该聚焦区域进一步被分为九“块”，即通过将聚焦区域分割为用作观察区域的少量的行和列而获得的块。

在计算聚焦估计值时，对于不同的距离设置，首先针对聚焦估计值的计算是否已经重复了例如十次的特定次数进行判断。当判断为否时，调焦镜头移动预设的步宽，并重复该计算。因此，总是逐步地从无穷远位置向最近位置来移动调焦镜头，并且对于每一步移动，都对每块计算聚焦估计值。对各块进行这些计算，从而为九个块中的每一块获得十个镜头位置的聚焦估计值，包括横跨总距离而找到的所有峰值。使用对各镜头位置而获得的十个总和作为聚焦估计值，将产生最大峰值的调焦镜头位置确定为对焦镜头位置。然后，将镜头驱动输出应用于镜头驱动机构以使镜头移动到确定出的对焦位置。

为了提供具有大的“光学变焦范围”的小尺寸数字照相机，如共同转让的美国专利申请序列号第11/062,174号中所述，数字照相机可以使用具有不同焦距的镜头的多个图像传感器，其中，该美国专利申请的发明名称为“使用多个镜头和图像传感器以提供改进变焦范围的数字照相机(Digital Camera Using Multiple Lenses and Image Sensors to Provide aImproved Zoom Range)”，于2005年2月18日以Labaziewicz等人的名义提交，并且该专利的公开内容通过引用包含于此。例如，为了提供10x光学变焦范围，Kodak Easyshare V610双镜头数字照相机包括38-114mm(35mm等效的)f/3.9-f/4.4镜头和130-380mm(35mm等效的)f/4.8镜头。然而，在该专利申请和产品这两者中，每次仅使用这两个图像传感器中的一个。这两个图像传感器没有同时拍摄图像。

于2003年1月30日公开的美国专利申请公开号US 2003/0020814公开了一种具有多个拍摄光学系统的摄像设备，每个拍摄光学系统各自耦合到CCD图像传感器，并且所述多个拍摄光学系统包括具有较短焦距的第一系统和具有较长焦距的第二系统。在该公开中所说明的各实施例中，两个镜头可以提供不同的焦距范围(包括一个系统具有固定焦距，另一个系统具有变焦镜头)，或者这两个镜头均可以是被设置为两个不同焦距设置的固定焦距镜头。在各自的每种情况下，选择单元都基于由拍摄状态获取单元确定出的诸如测量出的距离或亮度的拍摄状态，自动选择来自拍摄光学系统的其中一个的拍摄信号，而非获得用户输入。使用单独的距离传感器来提供这些系统的自动调焦。两个CCD图像传感器均未用于自动调焦操作。

于2003年8月23日公开的美国专利申请公开号US 2003/0160886公开了具有相互独立的两个拍摄系统的数字照相机。一个实施例示出了各自生成图像的包括单焦距“普通模式”镜头的一个系统和包括变焦“远距模式”的另一个系统。操作者致动切换开关判断要记录哪个图像。还结合单独的拍摄系统公开了自动调焦，其中用于一个系统中的“爬坡”对比度比较技术补充用于另一个系统中的“爬坡”对比度比较技术。当期望从远距模式光学系统拍摄图像时，通过普通模式光学系统(其中焦深相对大)进行粗略自动调焦搜索(其中可以以多步间隔来驱动步进电动机)。该粗略搜索导致包括聚焦位置的焦距范围的减小。使用普通模式光学系统所提供的焦距范围信息，将远距模式光学系统驱动到减小的焦距范围的一端处的自动调焦搜索开始位置。然后，仅在由普通模式自动调焦搜索所确定出的减小的焦距范围中，通过远距模式光学系统(其中焦深相对较短)进行精细自动调焦搜索。(当期望从普通模式光学系统拍摄图像时，仅通过普通模式光学系统进行自动调焦搜索，而远距模式光学系统不参与自动调焦搜索。)

在不依赖于上述粗略搜索和精细搜索的美国专利申请公开号US2003/0160886中的另一实施例中，在逐步地驱动第一光学系统的调焦镜头以从无穷远距离设置向着最近距离位置移动的同时进行“爬坡”对比度比较搜寻，并在逐步地驱动第二光学系统的调焦镜头以从最近位置向着无穷远设置移动的同时进行第二“爬坡”对比度比较搜寻。尽管系统通常都不需要移动通过其整个范围，然而该过程继续，直到定位了最大对比度位置为止。这导致减少了用于检测聚焦位置的时间段。在该实施例中，每一个光学系统可以用于拍摄图像和聚焦调节，或者一个光学系统可以用于拍摄图像和焦距调节，另一个光学系统可以仅用于摄像光学系统的焦距调节。在另一实施例中，在非拍摄光学系统首先确定聚焦位置的情况下，将拍摄光学系统驱动到该位置，然后通过摄像光学系统进行精细调节。

这些现有技术的系统的问题在于或者必须使用单独的自动调焦传感器(因此增加成本)或者由于使用用于拍摄图像的相同传感器来进行自动调焦由此通常存在显著的“快门延迟”。而且，单独的自动调焦传感器通常是测距器，并且如上所述，双镜头测距器模块和可调焦距镜头位置之间的校准在数字照相机的常规操作环境下不稳定。在利用“通过透镜”拍摄系统进行自动调焦的情况下，由于必须拍摄和比较大量自动聚焦图像，因而在确定聚焦设置时处理可能相对慢。根据前述美国专利申请公开号US 2003/0160886，该问题可以多少被缓和，但是在随着被摄体改变或运动而快速实现聚焦时，或者当操作者选择将拍摄功能从一个拍照系统改变到另一个时快速交换光学系统的调焦需求时，仍然存在困难。

在视频拍摄时出现一个特殊问题，其中从相同的一系列静止图像或组成视频图像的帧来得到自动聚焦图像。因此，自动调焦的处理可能导致每当场景改变时在视频中生成5-20个或更多的离焦视频图像。结果，在随着照相机的平移运动(其中场景连续变化)进行视频拍摄期间，在自动调焦系统搜索正确的聚焦时大部分视频实际上离焦。进一步的问题在于在视频拍摄期间，许多帧由于利用使用“爬坡方法”进行聚焦的自动调焦系统而离焦。

在发明名称为“使用多个镜头和图像传感器提供改善的调焦能力的照相机(Camera Using Multiple Lenses and Image Sensors to Provide ImprovedFocusing Capability)”且以John Border等人的名义与本发明同日提交的共同待决、共同转让的美国专利申请序列号(案卷号93231)中，前述问题在多镜头数字照相机中得到解决，在该多镜头数字照相机中，使用两个(或更多)摄像平台来单独拍摄相同场景的图像，以使得一个摄像平台可以用于自动调焦，而其它平台用于拍摄静止图像或视频。这可以在不过度增大数字照相机的大小和成本的情况下在静止和视频模式这两者下提供精确、快速的自动调焦。

在本发明所公开的实施例中的一个中，这样的照相机提供两个可工作在测距器配置中的分离的摄像平台，以对用于拍摄图像的平台进行自动调焦。除自动调焦，该方法还提供用于使用图像来识别和映射到图像区域的各个部分的距离的多个其它可能性。因此需要一种通过利用两个图像来提供改进的和扩展的测距能力以支持范围映射功能的具有双拍摄系统的数字照相机。

发明内容

本发明的一个目的是在多镜头数字照相机中提供用于测量到正在拍摄的场景的各个部分的距离的改进的能力。

本发明的另一个目的是根据到正在拍摄的场景的各个部分的距离提供范围映射。

本发明的又一目的是利用正在拍摄的场景的各个部分的GPS坐标来填充范围映射。

致力于克服上面提出的问题中的一个或多个的本发明涉及一种电子照相机，该电子照相机用于从所拍摄的图像信号产生场景的输出图像。简而言之，根据本发明的第一实施例，本发明包括：

第一摄像平台，其包括用于生成第一传感器输出的第一图像传感器和用于在所述第一图像传感器上形成场景的第一图像的第一镜头；

第二摄像平台，其包括用于生成第二传感器输出的第二图像传感器和用于在所述第二图像传感器上形成场景的第二图像的第二镜头；以及

处理平台，用于使用来自摄像平台中的一个的传感器输出作为所拍摄的图像信号并使用来自这两个摄像平台的图像来生成标识到所述场景的不同部分的距离的范围映射。

为了生成范围映射，处理平台可以将第一图像和第二图像相关联，以针对图像的不同部分确定图像之间的像素偏移，将所述像素偏移转换成距离所述电子照相机的距离，并生成示出到图像的不同部分的距离的范围映射。另外，当第一和第二镜头具有不同的焦距时，处理平台对来自较小焦距的镜头的图像进行剪切和上采样，以使得两个图像中的相应的特征跨越相同数量的像素。另外，所述处理平台可以使用测距器校准曲线来将像素偏移转换成距离电子照相机的距离。

在本发明的另一个方面中，所述照相机还包括用于提供电子照相机的位置的GPS坐标的全球定位(GPS)单元和用于提供照相机的指向方向的电子罗盘。因此，处理平台使用照相机的位置的GPS坐标、照相机的指向方向和来自范围映射的距离偏移，以便生成场景的各部分的GPS坐标。在每种情况下，可以使用范围映射来修改所拍摄的图像。

简而言之，本发明一般地包括在多镜头数字照相机中使用两个(或更多)摄像平台，其中摄像平台包括传感器、镜头和镜头聚焦调节器，在多镜头数字照相机中，所述摄像平台被用于测距器配置中以分离地拍摄相同场景的部分的图像。可以将由这两个(或更多)摄像平台所拍摄的图像进行相互比较，以为了自动调焦控制和产生范围映射的目的而测量到场景的各部分的距离。另外，可以利用场景的各部分的GPS位置来填充范围映射。

因此，在利用本发明时，有益地数字照相机提供静止和视频模式两者下的精确、快速的自动调焦，而不会过分地增大数字照相机的大小或成本。另外，另一个优点在于这两个摄像平台可以一起用于测距器模式下以产生范围映射，照相机可以被配置为在范围映射中确定场景的各个部分的GPS位置，如果给定了GPS位置，则可以识别场景中的被摄体的身份，并对其进行分类。

通过对优选实施例和所附权利要求的以下详细说明的回顾并且参考附图，可以更清楚地理解和领会到本发明的这些和其它方面、目的、特征和优点。

附图说明

图1示出根据本发明的使用具有第一图像传感器的第一变焦镜头和具有第二图像传感器的第二变焦镜头的数字照相机的第一实施例的框图。

图2A和2B是图1所示的数字照相机的两个全景图。

图3示出表示根据图1所示的数字照相机的第一实施例的、用于进行自动调焦并拍摄数字静止图像的方法的流程图。

图4示出表示用于使用利用两个摄像平台的测距器方法进行自动调焦的方法的流程图。

图5示出表示用于使用利用两个摄像平台的“爬坡方法”进行自动调焦的方法的流程图。

图6示出表示用于生成自动调焦测距器校准曲线的方法的流程图。

图7示出表示用于生成自动调焦“爬坡方法”校准曲线的方法的流程图。

图8示出表示用于使用图1所示的数字照相机进行自动调焦并拍摄数字视频图像的方法的流程图。

图9示出表示用于以利用两个摄像平台的测距器方法进行自动调焦的方法的流程图。

图10示出表示用于以利用两个摄像平台的“爬坡方法”进行自动调焦的方法的流程图。

图11示出根据本发明的一个实施例的用于利用两个摄像平台生成范围映射的方法。

图12示出使用具有第一图像传感器的第一固定焦距镜头和具有第二图像传感器的第二(变焦)镜头的数字照相机的另一实施例的框图。

图13示出使用具有第一图像传感器的第一固定焦距镜头、具有第二图像传感器的第二(变焦)镜头以及具有第三图像传感器的第三(变焦)镜头的数字照相机的另一实施例的框图。

图14示出表示用于通过使用来自两个摄像平台的图像来增强图像景深的方法的流程图。

图15A和图15B示出根据数字照相机的另一实施例的具有两个摄像平台的移动电话照相机的图。

图16A和图16B示出移动电话照相机的在单个平台中包括两个摄像平台的平台的图。

图17A和图17B是利用两个摄像平台拍摄的、示出用来根据本发明确定到场景的部分的距离的两个图像之间的偏移的图像的代表。

图18示出根据本发明的用于确定场景的部分的GPS位置的方法的流程图。

图19示出用于选择双镜头照相机系统中的摄像平台的其中一个作为主拍摄单元、而将另一摄像平台降级为其它功能(诸如场景分析)的流程图。

图20示出表示用于场景分析的非主拍摄单元的使用的流程图。

图21示出表示无论何时场景状态的变化超过阈值时用于场景分析的非主拍摄单元的使用的流程图。

图22示出表示主拍摄单元和用于场景分析的非主拍摄单元这两者的使用的流程图。

图23示出表示拍摄单元的功能的转换的流程图，即将当前的场景分析和主拍摄单元分别重设为主拍摄单元和场景分析拍摄单元。

图24示出表示具体地在拍摄处理期间使用由主拍摄平台拍摄的预览图像来设置主拍摄平台的拍摄单元参数的流程图。

图25示出表示具体地在拍摄处理期间使用由主拍摄平台拍摄的预览图像和由非拍摄平台拍摄的场景分析图像来设置主拍摄平台的拍摄单元参数的流程图。

图26示出表示使用由主拍摄平台拍摄的主图像和由非拍摄平台拍摄的补充图像来产生增强图像的流程图。

图27示出表示传统的双镜头测距器的操作的图。

图28示出传统的“爬坡”对比度自动调焦算法的流程图。

图29示出从用于分离图像的成分的滤波器中获得的聚焦值和“爬坡”自动调焦方法的镜头位置之间的关系。

具体实施方式

因为采用摄像装置和用于信号处理的相关电路的数字照相机众所周知，因此本说明书将尤其针对形成根据本发明的设备的部分的元件，或更直接地与该设备相互协作的元件。这里没有具体示出或说明的元件可以从现有技术已知的元件中选择。要说明的实施例的特定方面可以设置在软件中。假定根据本发明在以下材料中所示和所述的系统，这里没有具体示出、说明或建议出的对实现本发明有用的软件是传统的，且属于这些技术的常用手段。

这里说明的若干实施例中的每个均包括诸如数子照相机(静止的或视频的)或者数字扫描器的具有多个摄像平台的摄像组件，每个摄像平台包括镜头和图像传感器，其中，多个摄像平台的镜头具有不同的焦距以为摄像组件提供扩展的光学变焦范围。本发明构思使用多个摄像平台，以附加地提供增强的测距性能。通过使用用于摄像和自动调焦的摄像平台，在提高拍摄到的静止和视频图像的清晰度并提高自动调焦系统的响应速度的同时，能够消除专用的自动调焦模块，从而降低摄像组件的成本和大小。除它们的自动调焦用途外，根据本发明这些相同的图像还可以用于提供范围映射。

存在可以使用一个摄像平台用于拍摄数字静止图像或视频图像而同时使用另一摄像平台用于诸如增强的自动调焦、生成副图像、产生范围映射等的其它目的的多个实施例。在这里所述的第一实施例中，当用户已经将变焦位置设置到第一光学变焦范围内时，包含第一(例如，变焦)镜头的第一摄像平台用于拍摄静止图像或视频序列中的一系列图像，而第二摄像平台为了第一摄像平台的自动调焦而同时提供图像。由于第二摄像平台没有用于拍摄图像，因此第二摄像平台中的镜头的聚焦状态能够在例如峰对比度位置的周围(例如，“爬坡”自动调焦)或从附近的聚焦位置到无穷远聚焦位置(例如，“整体方式”自动调焦)的更广的范围上进行调整，以在不会不利地影响由第一摄像平台拍摄的图像的聚焦质量的情况下确定第一摄像平台中的镜头的新的最佳聚焦设置。当已使用第二摄像平台确定了新的最佳聚焦状态时，第一摄像平台的聚焦状态从先前的最佳聚焦状态改变为新的最佳聚焦状态。

当用户将摄像组件上的变焦位置调整为第二光学变焦范围时，照相机自动进行切换以使用第二摄像平台(包含例如第二变焦镜头)来拍摄图像，并且开始使用第一摄像平台用于第二摄像平台的自动调焦。因为两个镜头具有不同的焦距，因此它们具有不同的放大率。因此，可以根据放大率的这种不同调整用于确定自动调焦的数字滤波器，以补偿放大率的不同。

在该实施例的变形中，一起使用两个摄像平台来形成类似于双镜头测距器但具有更高的分辨率的高分辨率测距器，该更高的分辨率由这两个高分辨率摄像平台以及两个摄像平台中的两个镜头之间的更大的分离距离而提供。在该变形中，可以使用第一摄像平台来使用“爬坡”对比度比较方法来提供初始的精确自动调焦；随后，可以结合作为以差分模式工作的高分辨率测距器的第二摄像平台来使用第一摄像平台，以在拍摄数字静止图像之前或在视频拍摄之前或期间检测需要重新调焦的到场景的距离的变化。通过使用差分模式下的测距器，即，辨别从已聚焦的位置到在附近改变的聚焦位置的距离的变化，降低了环境变化对测距器的精度的影响。

在这里所述的另一实施例中，在通过第一摄像平台拍摄数字静止图像或拍摄视频图像之前，使用“爬坡”对比度比较方法来同时对两个摄像平台进行自动调焦。然后，第二摄像平台通过测量图像的对比度来继续检查聚焦；当检测到对比度的变化时，使用第二摄像平台执行使用“爬坡”对比度比较方法的第二自动调焦操作，以确定聚焦状态的变化。然后，将第一摄像平台的聚焦改变与使用第二摄像平台确定出的聚焦变化成比例的量。同样，从由“爬坡”自动调焦所建立的位置开始执行差分聚焦改变测量，以提高自动调焦处理的准确度。

如在本发明的背景技术中提到的，在视频拍摄期间出现一个特殊问题，其中从一系列相同的静止图像或构成视频图像的帧中得到自动聚焦图像。例如，在随着照相机的平移运动(其中场景连续变化)进行视频拍摄期间，在自动调焦系统搜索正确的聚焦时大部分视频实际上离焦。而且，由于利用使用“爬坡方法”进行聚焦的自动调焦系统进行聚焦而使得许多帧离焦，如前所述，在感兴趣的被摄体在场景中突然移动的特定情况下可能不能辨别改变的聚焦。

因此，在前述实施例的变形中，当用户已将变焦位置设置在第一光学变焦范围内时，使用包括第一变焦镜头和与其相关联的图像传感器的第一摄像平台来设置用于拍摄诸如视频图像的图像的初始聚焦，而包括第二变焦镜头和与其相关联的图像传感器的第二摄像平台同时提供连续的“整体方式”自动调焦输入图像，以判断是否应该由于被摄体运动而调节第一变焦镜头的聚焦。由于第二变焦镜头和与其相关联的图像传感器没有用于拍摄运动图像，因而能够将焦距从近聚焦调整到无穷远位置，以便在不影响所拍摄的运动图像的情况下确定最佳聚焦设置。当用户将变焦位置调整到第一变焦范围的外部时，照相机自动切换至第二摄像平台，使用第二变焦镜头和与其相关联的图像传感器拍摄运动序列，并开始使用具有第一变焦镜头和与其相关联的图像传感器的第一摄像平台来同时判断是否应该由于被摄体运动而调节第二变焦镜头的聚焦。

在如这里所述的根据本发明的一个实施例中，将两个摄像平台配置为高分辨率测距器，以确定到以范围映射的形式的场景的不同部分的距离。然后，为了多种目的，使用范围映射来更改拍摄到的图像信号或输出图像，其中，所述多种目的诸如(但不限于)：改善图像处理并使得能够改善图像质量；改进图像内的被摄体识别；使得能够从图像中提取被摄体；使能在多个图像内对被摄体的运动追踪；使得能够通过模糊期望景深外的被摄体而降低图像的景深；改善图像内的动态范围；降低由使用闪光灯而引起的曝光问题；以及改善图像内的场景平衡。

如上面提到的，可以使用来自两个摄像平台的图像来产生标识到场景的不同部分的距离的范围映射。在这里所述的根据本发明的另一实施例中，照相机还包括用于提供照相机的位置的GPS坐标的GPS单元和用于提供照相机的指向方向的电子罗盘。因此，可以使用照相机的位置的GPS坐标、照相机的指向方向以及来自范围映射的距离偏移，以便产生场景的各部分的GPS坐标。

在这里所述的另一个实施例中，使用包括第一变焦镜头和第一图像传感器的第一摄像平台来拍摄第一(即，主)焦距处的第一(即，主)静止图像，而使用包括第二变焦镜头和第二图像传感器的第二摄像平台来同时拍摄第二(即，副)焦距处的第二(即，副)静止图像。使用来自第二摄像平台的传感器输出用作用于修改主输出图像的副输出图像，从而生成增强的主图像信号。例如，使用副静止图像来提供增强信号，该增强信号可以例如对位于副焦距附近的主静止图像的部分进行锐化或者可以修改主静止图像的动态范围。

图1示出根据本发明第一实施例的摄像组件10A的框图。尽管不是本发明的基本方面，然而摄像组件10A优选地为便携式电池供电的装置，足够小以使得在拍摄和回放图像时用户能够容易地手持。在优选实施例中，摄像组件10A是生成存储在可移除存储卡54上的静止图像和运动视频图像这两者的数字照相机。可选地，数字照相机可以仅生成并存储运动图像或仅生成并存储静止图像。

摄像组件10A包括两个摄像平台1和2，它们具有变焦镜头3和变焦镜头4。(尽管在大多数情况下每次仅一个平台正在拍摄存储在可移除存储卡54上的图像，然而以下在本说明书中将这些平台称为摄像平台。)第一变焦镜头3由第一镜头聚焦调节器例如变焦和聚焦电动机5a来控制，并将图像提供给第一图像传感器12。第二变焦镜头4第二镜头聚焦调节器由例如变焦和聚焦电动机5b来控制，并将图像提供给第二图像传感器14。每个变焦镜头中的可调光圈和快门组件(未示出)用于控制向图像传感器12和14的曝光。

图2A和2B示出关于图1所述的摄像组件10A的全景图。图2A是摄像组件10A的前视图，示出第一变焦镜头3、第二变焦镜头4和闪光灯48。图2B是摄像组件10A的后视图，示出彩色LCD图像显示器70和多个用户控制器42，所述多个用户控制器42包括用于使能摄像序列的快门按钮42a、用于使得能够选择变焦设置的变焦按钮42c以及用于对在彩色LCD图像显示器70上显示的图像和菜单选项等进行导航的多位置选择器42d。

如图1所示，摄像平台1和2包括变焦镜头3和4以及图像传感器12和14。如图2A所示，尽管变焦镜头3和4是垂直地偏移，然而变焦镜头3和4可以在诸如水平方向的其它方向上偏移。另外，根据本发明的另一实施例，变焦镜头3和4中的其中一个(或两者)可以用固定焦距镜头来代替。在所有情况下，通常变焦镜头3和4以及传感器12和14的光轴相对于彼此对准以使得虽然通常具有不同视场但看到基本相同的场景。在前述共同转让的、其内容通过引用包含于此的美国专利申请序列号11/062,174中进一步说明了光学部件的配置，其中该专利包括使用两个以上的摄像平台的多个实施例。摄像平台1和2中的变焦镜头3和4的配置可以包括折叠光路以改变摄像平台1和2的整体尺寸；然而，折叠光路在本发明的实施中不是必要的。

在优选实施例中，图像传感器12和14是使用著名的拜尔(Bayer)彩色滤波器模式以拍摄彩色图像的单芯片彩色百万像素CCD传感器，但是可以同样好地根据本发明使用诸如CMOS传感器的其它传感器和诸如条纹滤波器的其它颜色滤波器阵列而没有限制。图像传感器12和14可以具有各种高宽比(例如4∶3图像高宽比)，以及各种分辨率，例如，总共6.1MP有效百万像素(兆像素)，在该特别的情况下具有2848有效像素列×2144有效像素行。还应该理解，图像传感器12和14不需要具有相同的规格。例如，在前述共同转让的美国专利申请序列号11/062,174中所公开的一些实施例中，图像传感器12和14的大小、分辨率、颜色滤波器阵列、光谱灵敏度和高宽比可以是不同的。

控制处理器和定时生成器40通过向时钟驱动器13提供信号来控制第一图像传感器12，并通过向时钟驱动器15提供信号来控制第二图像传感器14。控制处理器和定时生成器40还控制变焦和聚焦电动机5a和5b、自动曝光检测器46、用户控制器42、第一和第二数字多路转接器控制元件34和36以及用于发射光以照亮场景的闪光灯48。如在早前参考图2B所述那样，用户控制器42用于控制数字照相机10A的操作。

来自第一图像传感器12的模拟输出信号12e通过第一模拟信号处理器22被放大并转换成第一数字图像信号。将数字化的第一数字图像信号提供给第一数字多路转接器控制元件34的第一输入以及第二数字多路转接器控制元件36的第一输入。来自第二图像传感器14的模拟输出信号14e通过第二模拟信号处理器24被放大并转换成第二数字图像信号。将数字化的第二数字图像信号提供给第一数字多路转接器控制元件34的第二输入以及第二数字多路转接器控制元件36的第二输入。第一多路转接器34的功能是或者选择来自第一图像传感器12的第一传感器输出12e或者选择来自第二图像传感器14的第二传感器输出14e，作为摄像信号。第二多路转接器36的功能是或者选择来自第二图像传感器14的第二传感器输出14e或者选择来自第一图像传感器12的第一传感器输出12e，作为提供给图像处理器50的自动聚焦图像信号。

控制处理器和定时生成器40控制数字多路转接器34和36以便选择传感器输出中的一个(12e或14e)作为所拍摄的图像信号，并选择另一个传感器输出(14e或12e)作为自动聚焦图像信号。由第一数字多路转接器控制元件34提供的数字数据被暂时存储在DRAM缓冲存储器38中，并且随后由图像处理器50进行处理以生成可以包含静止数字图像或视频图像的处理后的数字图像文件。由第二数字多路转接器控制元件36提供的数字数据被提供给图像处理器50，图像处理器50进行如稍后参考图4、5、6和7所述的自动调焦计算。

简言之，图像处理器50生成驱动第一和第二聚焦调节器(即变焦和聚焦电动机5a和5b)的聚焦检测信号。控制处理器和定时生成器40与图像处理器50相结合地或者(a)选择来自第一摄像平台1的传感器输出12e作为所拍摄的图像信号并使用来自第二摄像平台2的传感器输出14e以生成用于所选择的摄像平台1的聚焦检测信号，或者(b)选择来自第二摄像平台2的传感器输出14e作为所拍摄的图像信号并使用来自第一摄像平台1的传感器输出12e以生成用于所选择的摄像平台2的聚焦检测信号。以这种方式，将聚焦检测信号应用于所选择的摄像平台的变焦和聚焦电动机5a和5b，以便调节图像的聚焦从而提供所拍摄的图像信号的传感器输出。

由图像处理器50进行的处理是由存储在固件存储器58中的固件进行控制的，该固件存储器58可以是闪速EPROM存储器或其它任何形式的适当的存储器。处理器50处理来自DRAM缓冲存储器38的数字输入图像，使用RAM存储器56存储处理阶段期间的中间结果。将处理后的数字图像文件提供给存储卡接口52，该存储卡接口52将数字图像文件存储在可移除存储卡54上。可移除存储卡54是一种可移除数字图像存储介质，且可以以不同的物理格式使用。例如，可移除存储卡54可以包括(不限于)被配置为诸如致密型闪存、智能介质、存储棒、MMC、SD或XD存储卡格式的已知格式的存储卡。诸如磁性硬盘驱动、磁带或光盘的另一种可移除数字图像存储介质可以可选地用于存储静止或运动数字图像。可选地，数字照相机10A可以使用诸如内部闪速EPROM存储器的内部非易失性存储器(未示出)来存储处理后的数字图像文件。在这样的实施例中，不需要存储卡接口52和可移除存储卡54。

图像处理器50还接收来自全球定位系统(GPS)单元57的输入，这使得图像处理器50能够在任何恰当的时间(例如在拍摄图像时)确定照相机的GPS坐标(即位置)。图像处理器还接收来自电子罗盘59的方向输入，这使得图像处理器50能够例如在拍摄图像时确定照相机指向哪个方向。图像处理器50进行包括颜色和色调校正前的颜色插值的各种其它图像处理功能，以便生成渲染的sRGB图像数据。然后，渲染的sRGB图像数据被进行JPEG压缩并作为JPEG图像文件被存储在可移除存储卡54上。渲染的sRGB图像还可以经由通过诸如SCSI连接、USB连接或Firewire连接的适当的互连接64进行通信的主机接口62而提供给主机PC 66。JPEG文件优选使用由日本东京的日本电子信息技术工业协会(Japan Electronics and Information Technology IndustriesAssociation，JEITA)在“数字静止照相机图像文件格式(Exif)”版本2.2中定义的所谓的“Exif”图像格式。该格式包括存储特定图像元数据的Exif应用部分，该特定图像元数据包括拍摄图像的日期/时间以及镜头f/数、拍摄图像时的GPS位置和指向方向和其它照相机设置。

应该注意，通常为可编程图像处理器的图像处理器50能够可选地地例如为硬接线定制集成电路(IC)处理器、通用微处理器或硬接线定制IC和可编程处理器的组合。此外，可以将诸如数字多路转接器控制元件34和36、DRAM缓冲存储器38和RAM存储器58的图1中的各个模块所示的功能中的一个或多个包含在包括图像处理器50的IC中。还应该注意，控制处理器40和图像处理器50的至少某些部分的功能可以为了某些应用和讨论的目的的需要而进行合并，例如参考本说明书和权利要求书的一部分中的处理平台，其中例如参考传感器输出的选择(通过控制处理器40)和聚焦信号的生成(通过图像处理器50)。换句话说，处理平台的引用意在包含所引用的功能，不管在一个或多个实际处理元件、电路等中发现这些功能还是其它情况。

在本发明的又一实施例中，包括数字照相机10A作为照相机手机的一部分。在该实施例中，图像处理器50还接口到蜂窝处理器90，该蜂窝处理器90使用蜂窝调制解调器92来利用经由天线94的射频传输来将数字图像发送到蜂窝网络(未示出)。在本发明的一些实施例中，两个摄像平台1和2以及变焦和聚焦电动机5a和5b可以是集成组件的一部分。另外，时钟驱动器13和15以及模拟信号处理器22和24和包括在其内的模拟/数字转换器可以是集成组件的一部分。

图3示出表示用于使用图1的摄像组件拍摄数字图像的方法的流程图。在块100中，当使用电源开关(未示出)接通照相机10A时，变焦镜头3和4被设置成其默认位置，该位置优选地为在那里使用第一图像传感器12的输出来以预览模式拍摄图像以显示在彩色LCD图像显示器70上从而使得用户能够合成要拍摄的图像的广角位置。作为合成图像的一部分，在块102中，用户通常按下变焦按钮42c以便设置数字照相机10A的期望的视场。

在块102中，将变焦位置设置与值X进行比较，在值X处，摄像功能从第一摄像平台切换到第二摄像平台。在块104中，如果变焦位置设置小于X(对块102的响应为否)，则使用第一摄像平台1在预览模式下拍摄图像，而使用第二摄像平台2来拍摄自动聚焦图像。第一摄像平台1继续拍摄图像以用于显示器70上的预览(块110)，而在块106中，使用第二摄像平台2来拍摄自动聚焦图像，以用于第一摄像平台1的自动调焦，该自动聚焦图像由图像处理器50进行处理并在块108中被使用以聚焦第一摄像平台1。

在块112中，如果没有按下变焦按钮42c且在块104中如果按下了拍摄按钮，则利用第一摄像平台1在块116中拍摄数字图像。可选地，如果在块112中按下了变焦按钮，则控制返回到块102，并且如果在块114中没有按下拍摄按钮，则控制返回到块106。

在块124中，如果变焦位置设置大于X(对块102的响应为是)，则使用第二摄像平台2在预览模式下拍摄图像，同时使用第一摄像平台1来拍摄自动聚焦图像。第二摄像平台2继续拍摄图像以用于显示器70上的预览(块130)，而在块126中，使用第一摄像平台1来拍摄自动聚焦图像以用于第二摄像平台2的自动调焦，该自动聚焦图像由图像处理器50进行处理以生成在块128中被使用以聚焦第二摄像平台2的聚焦检测信号。

在块132中，如果没有按下变焦按钮42c且在块134中如果按下了拍摄按钮，则利用第二摄像平台2在块136中拍摄数字图像。可选地，如果在块132中按下了变焦按钮，则控制返回到块102，且如果在块134中没有按下拍摄按钮，则控制返回到块126。

在图4中示出使用测距器配置中的图3所示的两个摄像平台的自动调焦处理的流程图，其中在图3的块108和128中使用测距器方法，以对来自第一和第二摄像平台的图像进行自动调焦。在块250中，用户通过调节照相机上的变焦控制器42c来确定变焦位置，该变焦位置如上所述继而规定将使用哪个摄像平台拍摄最终图像和哪个摄像平台将仅用于自动聚焦图像(块252)。将未用于拍摄最终图像的摄像平台变焦到与在两个摄像平台中的两个变焦镜头系统之间的过渡变焦位置最接近的位置(块254)。将两个摄像平台的聚焦镜头移动到它们各自的超焦距位置，其中产生最大聚焦范围(块256)。在块258中，用户将拍摄按钮42a从位置S0按到位置S1以便开始自动调焦序列(以及自动曝光序列)。(拍摄按钮具有3个位置：S0是在操作者触摸摄像按钮之前该按钮所保持的中立位置；S1是照相机进行自动调焦和自动曝光的中间位置；S2是照相机进行最终曝光并拍摄最终图像的最终位置。)

然后，通过其变焦镜头在各自的变焦位置处的两个摄像平台拍摄自动聚焦图像(块260)。然后，对来自较低变焦位置(即变焦位置小于X(参见图3中的块102)的变焦位置)处的摄像平台的自动聚焦图像进行剪切和上采样，从而两个自动聚焦图像中的相应特征跨越相同数量的像素(块262)。然后，对剪切和上采样后的自动聚焦图像与其它自动聚焦图像相关联，以便识别两个自动聚焦图像之间的像素偏移(块264)，并由此生成聚焦检测信号。图17A示出作为从更高变焦位置的图像平台所拍摄的自动聚焦图像350的代表。图17B示出来自较低变焦位置的图像平台的剪切和上采样后的自动聚焦图像352的代表。这些代表示出两个图像之间的偏移，所述偏移被用来确定到场景的各部分的距离。在块266中，然后将校准因子应用于聚焦检测信号以确定必须移动聚焦镜头以生成摄像用的最佳聚焦状态的距离。在块268中，将聚焦检测信号应用于变焦和聚焦电动机5a，然后，将聚焦镜头在将用于最终摄像的摄像平台中移动所确定出的距离以生成最佳聚焦的状态(268)。当用户把拍摄按钮从S1推到S2时，摄像平台拍摄最终图像。

在图5中示出众所周知的“爬坡”对比度比较方法中的图3所示的使用两个摄像平台的自动调焦处理的流程图，其中在图3的块108和128中使用“爬坡”对比度比较方法以自动调焦来自第一和第二摄像平台的图像。在块250中，用户选择变焦位置。变焦位置确定将使用哪个摄像平台作为拍摄平台(块252)。然后，在块254中，将未用于拍摄的摄像平台变焦到与来自块250的用户选择的变焦位置最接近的点。在块258中，用户将拍摄按钮42a从S0位置推到S1位置，以开始自动调焦序列。然后，在块272中，通过“爬坡”方法来对两个摄像平台进行自动调焦。当用户将拍摄按钮从S1位置推到S2位置(块274)时，通过拍摄平台连续拍摄视频图像(块276)。

为了在最小搜索量的情况下维持聚焦，使用“爬坡”对比度比较方法利用未用于拍摄的摄像平台在块278中连续检查聚焦。然后，在判断块280中，如果聚焦良好，则控制返回到块276并通过拍摄平台连续拍摄视频图像。在判断块280中，如果聚焦不好，则识别需要的聚焦镜头调节(块282)，以在没有用于拍摄的摄像平台上生成最佳聚焦。在块284中，使用自动调焦“爬坡”方法校准曲线和识别出的聚焦镜头调节来确定在拍摄平台中用以产生最佳聚焦所需的聚焦镜头的移动，从而生成聚焦变化检测信号。最后，在块286中，将聚焦变化检测信号应用于变焦和聚焦电动机5a或5b，并将拍摄平台中的聚焦镜头移动到新的最佳聚焦位置，且控制返回到块276并且通过拍摄平台连续拍摄视频图像。

可选地，且还为了在最小搜索量的情况下保持聚焦，使用“整体方式”自动调焦方法利用未用于拍摄的摄像平台在块278中连续检查聚焦。因此，在块284中，使用自动调焦“整体方式”方法校准曲线和识别出的聚焦镜头调节来确定在拍摄平台中用以生成最佳聚焦所需的聚焦镜头的移动，从而生成聚焦变化检测信号。最后，在块286中，将聚焦变化检测信号应用于变焦和聚焦电动机5a或5b，并将拍摄平台中的聚焦镜头移动到新的最佳聚焦位置，且控制返回到块276并且通过拍摄平台连续拍摄视频图像。

在图4和5中均使用校准曲线来确定在拍摄平台中用以生成最佳聚焦所需的聚焦镜头的移动。图6和7示出用于计算这些曲线的流程图。更具体地，图6示出在图4的块266中使用的自动调焦测距器校准曲线的计算。在图6的块300中，使用位于一系列聚焦镜头位置的较短焦距的第一摄像平台和较长焦距的第二摄像平台，利用已知距离处的被摄体拍摄一系列图像组。然后，在块302中，来自较低焦距的第一图像平台的自动聚焦图像被剪切和上采样，从而如图17A和17B所示两个自动聚焦图像中的相应特征跨越相同数量的像素。在块304中，来自第二摄像平台的图像与来自第一摄像平台的剪切和上采样后的图像的相应的图像部分相关联，以确定每个图像组中的图像之间的像素偏移。因此，在块306中，将每个图像组中的图像之间的像素偏移相对于到被摄体的已知距离的数据存储为自动调焦测距器校准曲线以供在图4的块266中使用。

图7示出在图5的块284中使用的“爬坡”校准曲线的计算。在图7的块400中，使用第一摄像平台和第二摄像平台，利用已知距离处的被摄体拍摄一系列图像组，其中通过用于每个图像的“爬坡”方法进行自动调焦。然后，在块402中，为两个摄像平台比较聚焦镜头位置与到图像组中的聚焦被摄体的距离。然后，将针对到图像中的聚焦被摄体的相同距离的第一摄像平台的聚焦镜头位置相对于第二摄像平台的聚焦镜头位置的数据存储为自动调焦“爬坡”方法校准曲线以供在图5的块284中使用。

图8示出表示用于使用图1的摄像组件拍摄视频图像的方法的流程图。流程图的大部分与图3所示的功能元素重复，并且在表示相同的功能和附图标记的情况下将不会在此重复。如果变焦位置设置小于X(对块102的响应为否)，则使用第一摄像平台1来拍摄视频图像，而使用第二摄像平台2来拍摄自动聚焦图像。如图3所述进行第一摄像平台的聚焦，不同的是现在其是用于视频图像的。随后，在图8的块112中，如果没有按下变焦按钮42c，且在块114中如果按下了拍摄按钮，则在块118中通过第一摄像平台1拍摄视频图像。在块119中检查视频图像的聚焦质量，且如果需要重新聚焦，则控制返回到块106并且生成聚焦变化检测信号，该聚焦变化检测信号在块108中被使用以驱动第一摄像平台1的聚焦电动机5a。如果不需要重新聚焦，则控制返回到块112。

如果变焦位置设置大于X(对块102的响应为是)，则使用第二摄像平台2来拍摄视频图像，而使用第一摄像平台1来拍摄自动聚焦图像。如图3所述进行第二摄像平台的聚焦，不同的是现在其是用于视频图像的。随后，在块132中，如果没有按下变焦按钮42c，且如果在块134中如果按下了拍摄按钮，则在块138中利用第二摄像平台2拍摄视频图像。在块139中检查视频图像的聚焦质量，且如果需要重新聚焦，则控制返回到块126并且生成聚焦变化检测信号，该聚焦变化检测信号在块128中被使用以驱动第二摄像平台2的聚焦电动机5b。如果不需要重新聚焦，则控制返回到块132。

图9中示出使用测距器配置中的图8所示的两个摄像平台的自动调焦处理的流程图，其中在图8的块108和128中使用测距器方法来对来自第一和第二摄像平台的图像进行自动调焦。在图9的块440中，利用较低焦距的摄像平台来拍摄第一自动聚焦图像。然后，在块442中，剪切和上采样来自较低焦距下的图像平台的自动聚焦图像，从而两个自动聚焦图像中的相应特征跨越相同数量的像素。同时，在块448中，利用较长焦距的摄像平台拍摄第二自动聚焦图像。在块444中将第二自动聚焦图像与所述剪切和上采样后的图像相关联以为不同的图像部分确定图像之间的像素偏移。然后，在块446中，根据该偏移和自动调焦测距器校准曲线(其在图6中计算出)来确定需要的聚焦校正。

在图10中示出“爬坡”对比度比较方法中的图8中所示的使用两个摄像平台的自动调焦处理的流程图，其中在图8的块108和128中使用“爬坡”对比度比较方法来自动调焦来自第一和第二摄像平台的图像。在图10的块460中，利用第一摄像平台拍摄第一图像，其中通过“爬坡”方法进行自动调焦。然后，在块462中，提供来自第一摄像平台的图像作为显示器上的预览图像。同时，在块466中，利用第二摄像平台拍摄第二图像，其中通过“爬坡”方法进行自动调焦。然后，在块468中，利用第二摄像平台拍摄另一随后的图像，其中也通过“爬坡”方法进行自动调焦。在块470中，将第二图像的聚焦状态与随后的图像的聚焦状态进行比较。然后，如果聚焦状态已经改变(对块472的响应为是)，则基于第二摄像平台的聚焦状态的变化和(在图7中算出的)自动调焦“爬坡”方法校准曲线来改变第一摄像平台的聚焦状态。如果聚焦状态没有改变(对块472的响应为否)，则控制返回到块468并且利用第二摄像平台拍摄另一图像。

可选地，且为了在最小搜索量的情况下维持聚焦，使用“整体方式”自动调焦方法利用第二摄像平台在块470中连续检查聚焦。因此，如果聚焦状态已经改变(对块472的响应为是)，则基于第二摄像平台的聚焦状态的变化和自动调焦“整体方式”方法校准曲线来改变第一摄像平台的聚焦状态。如果聚焦状态没有改变(对块472的响应为否)，则控制返回到块468并且利用第二摄像平台拍摄另一图像。

图11示出表示根据本发明的其中生成范围映射的一个实施例的、用于处理使用图3或图8的摄像组件所拍摄到的图像的方法的流程图。(图的特定部件具有与图9中所使用的相同的功能和附图标记。)生成范围映射的方法对于本领域的技术人员来说是众所周知的；例如，在通过引用包含于此的美国专利申请公开号2006/0193509(以AntonioCriminisi等人的名义在2006年8月31日公开，发明名称为“基于立体的图像处理(Stereo-based Image Processing)”)中说明了如下方法：该方法用于从根据通过具有类似视场的多个照相机所拍摄的一组图像的像素偏移信息而生成的差异映射来生成范围映射和深度映射。在本专利申请中所述的发明的情况下，两个或多个摄像装置包括在单个电子照相机中。由于两个或多个摄像置具有不同的焦距，因而必须修改图像中的至少一个图像，以使两个或多个图像可比较，从而使得能够确定像素偏移。现在参考图11，在块440中利用较低焦距的摄像平台拍摄第一自动聚焦图像，且在块442中，对来自较低变焦位置的摄像平台的自动聚焦图像进行剪切和上采样，从而两个自动聚焦图像中的相应特征跨越相同数量的像素。同时，在块448中，利用较高焦距的摄像平台拍摄第二自动调焦图片。然后，在块480中，将第二自动聚焦图像与所述剪切和上采样后的图像相关联，以确定图像的不同图像部分之间的像素偏移。然后，在块482中，使用自动调焦测距器校准曲线将像素偏移转换成离摄像装置的距离。在块484中生成示出到不同图像部分的距离的映射。

可以根据第一和第二自动聚焦图像的相应部分之间(即来自第一自动聚焦图像的在块442中获得的剪切和上采样后的图像和从块448获得的第二自动聚焦图像的相应部分之间)的测量到的像素偏移来计算从摄像装置到场景的各部分的距离。图像传感器上所经历的像素偏移p、像素大小m、镜头之间的空隙s、镜头的有效焦距f以及到场景的部分的距离d之间的关系如下：

d＝s·f/(p·m)

表1示出如上所述的摄像装置的典型像素偏移。在优选实施例中，相对在已知距离的场景中的被摄体校准像素偏移和到场景的部分的距离之间的关系，以补偿两个镜头组件之间的任何角倾斜和尺寸的任何不期望的变化。

表1

像素大小(mm) 0.002

镜头之间的分离(mm) 20

焦距(mm) 6

距离(ft) 距离(mm) 偏移(像素)

0.5 152.4 393.7

1 304.8 196.9

2 609.6 98.4

4 1219.2 49.2

8 2438.4 24.6

16 4876.8 12.3

32 9753.6 6.2

64 19507.2 3.1

128 39014.4 1.5

如先前所述，为了各种目的，使用范围映射来修改所拍摄的图像信号或输出图像，这些目的诸如(不限于)：

a)通过识别被摄体的连续边界来使得可以限定被摄体的形状，从而改进图像内的被摄体识别；

b)通过识别被摄体的连续边界使得可以在图像内分割被摄体，从而使得能够从图像提取被摄体；

c)通个识别被摄体使得可以将被摄体作为图像之间的相同的对象来追踪，从而使得能够在多个图像中进行被摄体的运动追踪；

d)通个模糊化与处于期望的景深外面的场景区域相对应的图像的部分，使得能够得到动态景深图像；

e)通过将增益调节应用于作为整体的被摄体来提高图像内的动态范围；

f)通过降低与前景中的被摄体相对应的图像部分的增益并增大背景中的被摄体的增益来减少由使用闪光灯而引起的曝光问题；

g)通过使得前景中的被摄体被强调来提高图像内的场景平衡。

为了理解为了诸如上述目的而使用范围映射，考虑一个例子是有帮助的。假定用户/拍摄者具有一张阿拉斯加山脉的很好的照片-在最远距离范围中有美丽的布满云彩的天空和白雪覆盖的山脉，在中间范围中鲜花铺满区域，并且在大约5英尺远的前景中蹲着黑狗。然而，云被过补光(过度曝光)，白雪覆盖的山脉也一样。黑狗很黑(曝光不足)且处于离焦(因为例如照相机被设置为风景模式)。使用范围数据，可以修改图像的几个特征。通过将增益调节应用于图像的所选择的被摄体部分，特别地应用于例如云彩细节、雪细节以及黑狗上的皮毛，可以提高各个位置的曝光。更普遍地，通过与范围映射中的被摄体位置无关地将增益调节应用于输出图像内作为整体的被摄体上，可以使用范围映射来提高输出图像内的动态范围。此外，可以调节景深，从而使得例如狗处于对焦，山脉处于对焦且鲜花也处于对焦。或者，如果用户真的想要强调狗而不是美丽的风景，则可以使用范围数据来分离可以被模糊化的山脉和鲜花，且更进一步分离狗，其中可以锐化狗以获得好的锐化图像。可以理解，假定根据本发明的范围映射的可用性，则可用来艺术地优化图像的许多其它用途。例如，用户可以做出动态景深，即，使范围的混合区域对焦。更普遍地，通过与范围映射中的各部分的位置无关地模糊化输出图像的与处于图像的特征部分的期望景深外部的场景区域相对应的各部分，可以使用范围映射来使能动态景深图像。例如，尽管狗和山脉处于相对的范围极端，然而由于狗和山脉是感兴趣的区域且中间范围的花可以被平滑地模糊化，因而可以使狗和山脉处于对焦。

图12和13示出使用光学摄像平台的不同变形的数字照相机的框图。摄像平台后的大多数部件和相关于图1所述的部件相同，且这里将不会对其进行进一步说明。图12示出具有第一摄像平台71和第二摄像平台2的数字照相机的框图。第一平台71包括第一固定焦距镜头73和第一图像传感器12，第二平台2包括第二(变焦)镜头4和第二图像传感器14。在第一和第二摄像平台71和2的聚焦调节之间执行调焦。

因为固定焦距镜头的焦距通常生成超广角视场，例如22mm等效的，因而可以将固定镜头设置到例如8英尺的镜头超焦距附近的距离，以使得从4英尺起到无穷远的被摄体处于对焦。因此，固定焦距镜头不需要包括聚焦调节。固定聚焦镜头包括可调光圈和快门组件(未示出)以控制图像传感器的曝光。

图13示出具有第一摄像平台71、第二摄像平台2以及第三摄像平台74的数字照相机的框图。第一平台71包括具有第一图像传感器12的第一固定焦距镜头73，第二平台2包括具有第二图像传感器14的第二(变焦)镜头4，第三摄像平台74包括具有第三图像传感器16的第三(变焦)镜头75。根据该配置，第一镜头73通常是超广角镜头，第二(变焦)镜头4通常是广角变焦镜头，第三(变焦)镜头75通常是远摄变焦镜头。如在前一段所述，由于作为超广角镜头的第一固定焦距镜头73通常不被聚焦，因而在第二和第三摄像平台2和74之间执行调焦。

图14示出表示用于通过使用来自图1中两个摄像平台的图像来增强图像的景深的方法的流程图。在图14的块500中，当照相机接通电源时，将变焦位置设置为默认位置。在块502中，将变焦位置设置与值X进行比较，在值X处，摄像功能从第一摄像平台切换至第二摄像平台。在块504中，如果变焦位置设置小于X(对块502的响应为否)，则在预览模式下使用第一摄像平台1拍摄图像，而使用第二摄像平台2来拍摄自动聚焦图像。第一摄像平台1继续拍摄用于在显示器70上进行预览的图像(块506)，而使用第二摄像平台2来拍摄用于第一摄像平台1的自动调焦的自动聚焦图像，其中这些图像由图像处理器50进行处理并用于聚焦第一摄像平台1。如果没有按下变焦按钮(对块508的响应为否)，且当按下了快门按钮42a时，使用设置到主聚焦位置的第一摄像平台在块510中拍摄主静止图像。然后，在块512中，使用设置到副聚焦位置的第二摄像平台拍摄副静止图像。然后，在块514中，使用副静止图像来增强主图像的景深，例如，其中使用副静止图像来提供可以用于锐化位于副焦距附近的主静止图像的部分的增强信号。

在块524中，如果变焦位置设置大于X(对块502的响应为是)，则在预览模式下使用第二摄像平台2拍摄图像，而使用第一摄像平台1来拍摄自动聚焦图像。第二摄像平台2继续拍摄用于在显示器70上进行预览的图像(块526)，而使用第一摄像平台1来拍摄用于第二摄像平台2的自动调焦的自动聚焦图像，其中这些图像由图像处理器50进行处理并用于聚焦第二摄像平台2。如果按下了变焦按钮(对块508的响应为是)，且当按下了快门按钮42a时，使用设置到主聚焦位置的第二摄像平台在块530中拍摄主静止图像。然后，在块532中，使用设置到副聚焦位置的第一摄像平台拍摄副静止图像。然后，在块534中，使用副静止图像来增强主图像的景深，例如，使用副静止图像来锐化位于副焦距附近的主静止图像的部分。

如上所示，由照相机生成增强信号以锐化位于副焦距附近的主静止图像的部分。然而，可以将主和副静止图像提交给诸如图1所示的主机PC 66的外部处理器，且可以由外部处理器生成增强信号以锐化位于副焦距附近的主静止图像的部分。

多个镜头和多个传感器的概念和集成摄像组件的使用可以适用于具有图片拍摄功能的类型的移动电话中。因此，如图15A所示，移动电话600包括包含用于捕获呼叫者的语音的麦克风602的电话平台、用于处理呼叫者和被叫人的语音信号的相关电子器件(未示出)、以及用于再现被叫者的语音的扬声器604。提供用于输入电话号码和摄像命令的键盘606，并提供用于显示与电话相关的数据并再现通过电话拍摄到的或通过蜂窝网络接收到的图像的(LCD)显示器608。图15B示出的移动电话600的后视图识别出一些内部部件，包括通过图像处理器50连接到包括蜂窝处理器90和调制解调器92的蜂窝处理平台的蜂窝摄像组件610。蜂窝处理器90接收和处理来自图像处理器50的图像数据和通过麦克风602捕获的语音数据，并将图像和语音数据传送到蜂窝调制解调器92。蜂窝调制解调器92将数字图像和语音数据转换成适当的格式以用于通过天线94发送到蜂窝网络。

在图16A和16B中示出蜂窝摄像组件610，其中图16A是沿着图16B中的线24B-24B所取的组件610的俯视图，组件610包括共用基板620上的光学部件和摄像部件的集成包。更具体地，组件610包括第一固定焦距镜头612和第一图像传感器614以及第二固定焦距镜616头和第二图像传感器618。优选为固定焦距广角镜头(诸如40mm等效的镜头)的第一镜头612在第一图像传感器614上形成图像，优选为固定焦距远摄镜头(诸如100mm等效的镜头)的第二镜头616在第二图像传感器618上形成图像。这两个镜头均在相同的方向上定向，以使得尽管具有不同的视场，但形成这两个镜头前面的全部场景的相同部分的图像。

各镜头612和616和与其相关联的图像传感器614和618被安装到基板620，且在它们之间具有IR截止滤波器622以减少IR辐射到图像像素上的入射。诸如电阻器、电容器和电源管理部件的电子部件624也被安装在基板620上。通过挠性连接器626从基板620得到图像信号。从组件610取得的数据可以是原始图像数据，或者如果适合的处理器(未示出)处于基板620的板上，则数据可以是YUV图像数据或JPEG图像数据。而且，图像处理器50可以在广角和远摄焦距之间提供数字变焦；用户可以通过显示在(LCD)显示器608上的用户界面并通过在键盘606上键入适当的按钮来开始这种变焦。此外，广角图像传感器614可以具有例如比远摄图像传感器618的分辨率高的高分辨率，以便为数字变焦提供更高质量的源图像。

在一个实施例中，其中两个镜头612和616均为可调焦距镜头，图像处理器50或者(a)选择来自广角镜头612的传感器输出作为所拍摄的图像信号并使用来自远摄镜头616的传感器输出来生成用于广角镜头612的聚焦检测信号，或者(b)选择来自远摄镜头616的传感器输出作为所拍摄的图像信号并使用来自广角镜头612的传感器输出来生成用于远摄镜头616的聚焦检测信号。然后将聚焦检测信号应用于远摄镜头616的自动调焦子系统628以调整图像聚焦从而提供所摄图像信号的传感器输出。在该实施例中，广角镜头612可以代替地为变焦镜头，诸如广角到普通角的变焦镜头。

在另一实施例中，广角镜头612被设置为其超焦距，这意味着镜头不需要用户的任何聚焦调节而从几英尺到无限远均处于对焦。通过自动调焦子系统628对远摄镜头616进行自动调焦。这是必须的，因为随着焦距增大超焦距也增大，并且因此需要调节聚焦以便获得典型(例如4’～12’)距离处的被摄体的正确聚焦。通过对远摄镜头616仅使用一个调焦子系统628，可以降低成本和大小。

该实施例中的重要限制是必须保持为与移动电话布局和结构相符合的非常小的外形的“z”尺寸630。这可以通过远摄焦距和传感器的大小的仔细选择来获得。例如，可以将传感器616的大小以及由此必须被生成以填充传感器的图像的大小制造得足够小以将焦距降低到可接受的z尺寸630。

在另一实施例中，两个镜头可以具有大致相同的焦距，其中摄像阵列具有不同的大小。利用大小不同的摄像阵列，每个镜头被设计成填充摄像阵列的区域，并且每个镜头-阵列组合将具有基本相同的实际焦距，即相同的镜头到阵列的距离。然而，各镜头的35mm等效将不同；因此，各镜头将具有不同的视场。

虽然在图16A和16B中未详细示出，然而类似于与图1相关地说明的那样，来自第一图像传感器614的模拟输出信号通过第一模拟信号处理器被放大并提供给控制元件的第一输入，所述控制元件例如作为基板620上的电子部件624中的一个而提供的模拟多路转接器控制元件。来自第二图像传感器618的模拟输出信号通过第二模拟信号处理器被放大并提供给控制元件的第二输入。控制元件的功能是根据关于变焦选择的来自键盘606的用户输入，或者选择来自第一图像传感器614的第一传感器输出或者选择来自第二图像传感器618的第二传感器输出，从而将来自蜂窝摄像组件600的所选择的传感器输出提供给图像处理器50。

在本发明的使用(根据图11而生成的)范围映射的另一个实施例中，将由照相机的GPS单元57和电子罗盘59提供的照相机的GPS位置和指向方向与从照相机到场景的各部分的距离和方向相结合来确定场景的各部分的GPS位置。图18示出用于确定场景的各部分的GPS位置的方法的流程图。在块750中，由照相机中的GPS单元57确定照相机的GPS位置。在块752中由照相机中的电子罗盘59确定照相机的指向方向。从照相机到场景的各部分的距离偏移由在来自诸如图11所示的过程的块754中获得的范围映射来提供。在块756中，相对于(由电子罗盘59提供的)照相机的指向方向的角度偏移根据图像中的视场中的场景的各部分的位置被确定。在块758中，通过将距离偏移和角度偏移添加到照相机的GPS位置和指向方向来确定场景的各部分的GPS位置。然后在块760中，将场景的各部分的GPS位置存储在图像的元数据中或显示为以GPS位置映射的形式的图像上的标签。可选地，可以将图像的部分的GPS位置显示在电子照相机上。那些本领域技术人员将意识到场景的各部分的GPS位置可以用于各种目的，包括而不限于：确定被摄体的身份；向场景中的位置提供导航方向；辨别相对于映射或其它地理数据库等的照相机的视场。

图19示出表示如下处理的流程图：该处理用于选择双镜头照相机系统中的摄像平台中的一个作为主拍摄单元，而使另一个摄像平台降级为诸如场景分析的一些其它功能。更具体地，照相机的电源接通并开始初始化处理(块1100)。在初始化处理完成之后，将第一和第二摄像平台1和2设置到它们的默认变焦位置(块1102)，这些默认变焦位置是确定初始拍摄和显示的图像的预定初始变焦位置。因此，第一和第二摄像平台拍摄并在图像显示器70上显示第一和第二预览图像(块1104)。这些图像可以以例如作为缩略图等在显示器上一个挨一个、一个在另一个内、顺次显示等的多个方式进行显示。接下来，请照相机使用者决定是第一预览图像还是第二预览图像应当为主图像(块1106)，其中主图像将是拍摄并存储的图像。给予操作者进行该决定的显示时间间隔x(块1110)。如果在该间隔期间按下快门按钮(块1108)，或者如果在该间隔期间操作者未能作出决定(块110为是)，则将摄像平台中的预定摄像平台(默认摄像平台)自动设置为主拍摄单元(块1112)。(默认摄像平台可以因为各种原因而预先选择出，一个原因是为了提供广泛的更宽角度的场景视野作为初始图像。)否则，如果操作者选取了其中一个平台(块1106为是)，则将所选择的摄像平台设置为主拍摄单元(块1124)。在这两种情况中的任一情况下，将另一(未选择的)摄像平台指定为场景分析拍摄单元(块1114)。因此，如随后与图20-22相关地所述的，使主拍摄单元工作在预览模式下。

图20-22和图24-26示出表示使用或分析来自双(或更多)镜头照相机系统的一个摄像平台的图像以修改由另一摄像平台生成的图像(即影响、分析、补充或者改变由其它摄像平台生成的图像)的流程图。例如，在图20中，一旦主拍摄单元被置于预览模式下(如图19所示)，则场景分析拍摄单元分析场景(块1200)并且图像处理器50利用通过场景分析拍摄单元获得的场景分析数据来设置主拍摄单元参数(块1202)。这样的场景分析数据可以包括而不限于曝光数据、动态范围数据、景深数据、颜色平衡、对包括面部、草地、日落、雪等场景的不同方面的识别，并且拍摄单元参数可以包括而不局限于光圈值、曝光时间、聚焦位置、白平衡、ISO设置等。然后通过主拍摄单元拍摄预览图像，并将其显示在显示器70上(块1204)。然后，场景分析拍摄单元继续分析场景(块1206)，并且如果场景状态没有改变(块1208为否)，则处理返回到块1204，并且由主拍摄单元再次拍摄预览图像并将其显示在显示器70上(在不改变拍摄参数的情况下)。如果场景状态已改变(块1208为是)，则处理返回到块1202，并且图像处理器50利用由场景分析拍摄单元获得的场景分析数据来重新设置主拍摄单元参数，并且如前所述重复随后的处理。

在图21中，主拍摄单元参数仅在场景状态的变化超过阈值x时才改变。因此，在使用利用阈值的预览模式时，场景分析拍摄单元拍摄图像并分析场景(块1300)。然后，图像处理器50利用由场景分析拍摄单元获得的场景分析数据来设置主拍摄单元参数(块1302)。然后，通过主拍摄单元拍摄预览图像，并将其显示在显示器70上(块1304)。然后，从场景分析拍摄单元拍摄另一图像(块1306)。如果该后一图像的场景状态并未改变等于x的阈值(块1308为否)，即场景状态被认为在图像之间是稳定的，则处理返回块到1304，并且由主拍摄单元拍摄另一预览图像，并将其显示在显示器70上(在不改变拍摄参数的情况下)。然后，从场景分析拍摄单元拍摄另一图像(块1306)。或者，当场景状态变化大于阈值x并且状况被认为是不稳定的时(块1308为是)，则处理返回到块1302并且图像处理器50利用由场景分析拍摄单元获得的场景分析数据来重新设置主拍摄单元参数。然后如前所述重复处理。

在图22中，通过考虑拍摄单元的相对变焦位置和利用来自由两个拍摄单元拍摄的图像的场景信息来增强对阈值场景状态的考虑。在利用该增强的预览模式时，相对于主拍摄单元的变焦位置来设置场景分析拍摄单元的变焦位置(块1400)。然后，场景分析拍摄单元拍摄图像(块1402)，并且图像处理器50利用由场景分析拍摄单元获得的场景分析数据来设置主拍摄单元参数(块1404)。然后，通过主拍摄单元拍摄预览图像(块1406)，并利用拍摄到的预览图像和场景分析数据来分析场景(块1408)。然后，图像处理器50利用先前的场景分析的结果(即通过分析来自两个拍摄单元的图像而获得的结果)来设置主拍摄单元参数(块1410)。接着，通过主拍摄单元拍摄预览图像并将其显示在显示器70上(块1412)，并且从场景分析拍摄单元拍摄另一图像(块1414)。然后，通过利用拍摄到的预览图像数据和场景分析数据来分析场景(块1416)。如果场景状态并未改变与x相等的阈值(块1418为否)，即场景状态被认为是稳定的，则处理返回到块1412，并由主拍摄单元和场景分析拍摄单元分别拍摄另一预览图像和场景分析图像(块1412和1414)，并且继续进行前述处理。或者，在场景状态变化大于阈值(块1400为是)并且状况被认为不稳定时，处理返回到块1410，并且图像处理器50利用(在块1416中由场景分析拍摄单元获得的)新的场景分析数据的结果重新设置主拍摄单元参数，并且重复处理。

在前面图19-22所示的操作期间，除非按下了快门按钮42a或变焦按钮42c，否则如图所示继续进行预览处理。如图23所示，如果按下了变焦按钮42c(块1500)，并且如果要求的变焦位置没有位于主拍摄单元的变焦范围内(块1502为是)，则拍摄单元的功能反转，即将当前场景分析和主拍摄单元分别重新设置为主拍摄单元和场景分析拍摄单元。然后，如图20-23所示，主拍摄单元的变焦位置被设置为选择的变焦位置(块1506)并且处理返回到预览模式。然而，如果按下了变焦按钮42c(块1500为是)，并且如果要求的变焦位置位于主拍摄单元的变焦范围内(块1502为否)，则各拍摄单元的功能和之前保持相同，并且主拍摄单元的变焦位置被设置为选择的变焦位置(块1506)，并且处理返回到预览模式。

图24-26示出表示具体地在拍摄处理期间使用或分析来自双(或更多)镜头照相机系统的一个摄像平台的图像以修改由另一摄像平台生成的图像(即影响、分析、补充或者改变由其它摄像平台生成的图像)的流程图。参考图24，根据第一拍摄实施例，为了进入拍摄模式将快门按钮42a按下半程(S1)(块1600)，否则处理返回到预览模式。在拍摄模式中，从主拍摄单元拍摄预览图像(块1602)。接着，利用拍摄到的预览图像分析场景(块1604)。当分析完成时(块1606为是)，图像处理器50利用场景分析的结果来设置主拍摄单元参数(块1608)。然后，使用所设置的参数，从主拍摄单元拍摄并显示预览图像(块1610)。当全按下快门按钮42a(S2)以便开始摄像时(1612为是)，使用所设置的参数从主拍摄单元拍摄主图像(块1614)，并且处理返回到预览模式。如果没有全按下快门按钮42a(块1612为否)，则照相机查看是否设置了聚焦和曝光锁定(块1616)。如果是(块1616为是)，则处理返回到块1610并且从主拍摄单元拍摄并显示另一预览图像，再次检查快门按钮42a的状态(块1612)，并且如前所述继续进行处理。如果没有设置聚焦或曝光锁定(块1616为否)，则处理返回到块1602，并且从主拍摄单元拍摄预览图像，并利用拍摄到的预览图像来分析场景(块1604)。然后，如前所述继续进行处理。

参考图25，根据第二拍摄实施例，为了进入拍摄模式将快门按钮42a按下半程(S1)(块1700)。然后，从主拍摄单元拍摄预览图像(块1702)。接着，通过场景分析拍摄单元拍摄图像(块1704)，并且利用拍摄到的预览图像和拍摄到的场景分析图像这两者来分析场景(块1706)。接着，图像处理器50利用组合的场景分析的结果来设置主拍摄单元参数(块1708)。然后，使用所设置的参数，从主拍摄单元拍摄并显示预览图像(块1710)。接着，如之前图24所示，当全按下快门按钮42a(S2)(块1712为是)时，使用所设置的参数从主拍摄单元拍摄主图像(块1714)，并且处理返回到预览模式。如果没有全按下快门按钮42a，则照相机查看是否设置了聚焦和曝光锁定(块1716)。如果是，则处理返回到块1710并且从主拍摄单元拍摄并显示另一预览图像(块1710)，检查快门按钮42a的状态(块1712)，并且如前所述继续进行处理。如果没有设置聚焦或曝光锁(块1716为否)，则处理返回到块1702，并且从主拍摄单元拍摄预览图像(块1702)，并利用拍摄到的预览图像来分析场景(块1704)。然后，如前所述继续进行处理。

参考图26，根据第三拍摄实施例，为了进入拍摄模式将快门按钮42a按下半程(S1)(块1800)。然后，从主拍摄单元拍摄预览图像(块1802)并从场景分析拍摄单元拍摄图像(块1804)。接着，利用拍摄到的预览图像和拍摄到的场景分析图像这两者来分析场景(块1806)，并且图像处理器50利用组合的场景分析的结果来设置主拍摄单元参数(块1808)。接着，将场景分析拍摄单元指定为副拍摄单元(块1810)，并且图像处理器50利用组合的场景分析的结果来设置副拍摄单元参数(块1812)。接着，当全按下快门按钮42a(S2)(块1814为是)时，使用所设置的参数从主拍摄单元拍摄主图像(块1816)，并且从现在被指定为副拍摄单元的场景分析拍摄单元拍摄补充图像(块1818)。然后，图像处理器50从主图像和补充图像生成增强图像(块1820)，并且处理返回到预览模式。如果没有全按下快门按钮42a(块1814)，则处理返回到块1802并且通过再次从主拍摄单元和场景分析拍摄单元拍摄图像来重新开始处理(块1802和1804)。

关于图26考虑不同类型的补充或修改。在第一类型的补充或修改中，并且如关于图像14所示的那样，在一个聚焦位置从主拍摄单元拍摄图像，并且在另一聚焦位置从场景分析拍摄单元(副摄像单元)拍摄另一图像。然后，将两个图像合成为具有加宽的景深的修改后的图像。优点是这可以在无需必须缩小主镜头的光圈的情况下完成以获得更大的景深，该优点对于优先大光圈的低亮度拍摄特别有用。

在另一类型的补充或修改中，图像处理器50能够检查图像的动态范围。当动态范围超过预定阈值时，使用场景分析拍摄单元来生成具有与主图像的动态范围不同的动态范围的副图像。例如，可以以普通曝光拍摄主图像，而可以以更极端的曝光(即曝光不足或过曝光)来拍摄副图像。然后，如果例如在主曝光中对高亮过补光，则可以使副曝光曝光不足，以拍摄高亮区中的细节。可选地，如果阴影在主曝光中被加深，则可以使副曝光过曝光，以拍摄阴影中的细节。然后，通过将主图像的部分替换为副图像的部分，来创建具有加宽的动态范围的修改后的图像。

应该理解，由主拍摄单元和副拍摄单元拍摄的图像可以是静止图像或视频图像，并且在视频图像情况下可以是一系列图像。在这两种情况的任一个下，可以根据所述的特定形式的补充来修改静止图像或构成视频信号的一系列图像。例如，包含拍摄单元的电子照相机可以生成视频图像信号，并且使用副输出图像来修改至少例如构成视频图像信号的一系列图像的景深和/或动态范围。

可以更改图14所示的流程图以获得具体地对动态范围进行增强的主图像。例如，参考图14，当按下了快门按钮42a时，使用被设置到主曝光级的第一(或第二)摄像平台来拍摄主静止图像(与块510或530类似)。然后，(与块512或532类似)使用被设置到第二曝光级的第二(或第一图像)拍摄平台来拍摄副静止图像。然后，(与块514或534类似)使用副静止图像来增强主图像的动态范围，例如，其中将曝光不足以拍摄高亮下的细节的副曝光与主图像相结合，以获得扩展的动态范围的主图像。

如在通过引用包含于此的共同转让的共同待决的美国专利申请序列号11/460,364(其以John Border和Efrain Morales的名义于2006年7月27日提交，发明名称为“生成扩展的动态范围数字图像(Producing anExtended Dynamic Range Digital Image)”)中所述的那样，在用于生成经修改的图像的优选方法中，使用按比例缩放来创建通过考虑主图像和副图像二者的像素值来确定像素值的经修改的图像。应该注意，当使用闪光灯时(其中常常产生过曝光状况)，具有两个曝光级来使得能够校正动态范围是特别重要的。因此，拍摄平台中的一个拍摄平台的曝光时间将被设置为非常短的曝光，或者曝光的定时将被偏移为恰在闪光之前或恰在闪光之后。

可以与具有不同分辨率的图像对相结合地应用补充处理。例如，在通过引用包含于此的共同转让的共同待决的美国专利申请序列号11/461,574(其以John Border，Scott Cahall和John Griffith的名义于2006年8月1日提交，发明名称为“生成具有不同分辨率部分的数字图像(Producing Digital Image with Different Resolution Portions)”)中，通过两个拍摄平台来拍摄场景的第一广角数字图像和基本相同的场景的部分的第二远摄数字图像。然后，通过将第一广角数字图像的部分和远摄数字图像的部分进行组合来形成合成图像，以生成在数字变焦期间具有提高的分辨率的数字图像。更具体地，合成图像的数字变焦产生在整个变焦范围内具有高分辨率且具有改善的图像质量的变焦图像。

在有关补充主题的又一实施例中，设置主拍摄平台和副拍摄平台以用于不同的曝光时间，从而使得不同程度的噪声和运动模糊存在于各自的图像中。例如：设置主拍摄平台以用于相对长的曝光从而使得图像中的数字噪声低，但是或者来自照相机的移动或者来自场景中的被摄体的移动的任意移动均导致运动模糊。同时，设置副拍摄平台以用于相对快的曝光从而使得图像中的数字噪声较高，而运动模糊较少。然后，将主图像和副图像彼此进行比较，以识别运动模糊。增大副图像的增益，因此副图像中的平均像素值与主图像的平均像素值相匹配。然后，通过将主图像的部分替换为副图像的部分来创建经修改的图像。实际上，主图像的部分(具有较低噪声但是具有一定运动模糊的区域)被替换为副图像的相应部分(具有较高噪声但是具有很少或没有运动模糊的区域)，以获得具有相对低的噪声和良好的锐度的经修改的图像。

已经特别参考本发明的特定优选实施例详细说明了本发明，然而应该理解，各种修改和变形在本发明的精神和范围内可以实现。

部件列表

1 第一摄像平台

2 第二摄像平台

3 第一变焦镜头

4 第二变焦镜头

5a 变焦和聚焦电动机

5b 变焦和聚焦电动机

10A 数字照相机

12 第一图像传感器

12e 第一传感器输出

13 时钟驱动器

14 第二图像传感器

14e 第二图像输出

15 时钟驱动器

16 第三图像传感器

17 时钟驱动器

22 第一模拟信号处理器(ASP1)&A/D转换器

24 第二模拟信号处理器(ASP2)&A/D转换器

25 第三模拟信号处理器(ASP2)&A/D转换器

34 第一数字多路转接器控制元件

36 第二数字多路转接器控制元件

37 第三数字多路转接器控制元件

38 DRAM缓冲存储器

40 控制处理器和定时发生器

42 用户控制器

42a 快门按钮

42c 变焦按钮

42d 多位置选择器

46 自动曝光检测器

48 电子闪光灯

50 图像处理器

52 存储卡接口

54 可移除存储卡

56 RAM存储器

57 GPS单元

58 固件存储器

59 电子罗盘

62 主机接口

64 互连接

66 主机PC

70 彩色LCD图像显示器

71 第一摄像平台

73 第一固定焦距镜头

74 第三摄像平台

78 第三图像传感器

90 蜂窝处理器

92 蜂窝调制解调器

94 天线

100 变焦镜头设置块

101 输入变焦位置块

102 变焦位置检查块

104 拍摄平台设置块

106 第二平台自动聚焦图像拍摄块

108 第一平台聚焦块

110 第一平台预览拍摄和显示块

112 变焦按钮检查块

114 拍摄按钮检查块

116 第一平台拍摄块

118 第一平台视频拍摄块

119 聚焦质量检查块

120 重新聚焦检查块

124 拍摄平台设置块

126 第一平台自动聚焦图像拍摄块

128 第二平台聚焦块

130 第二平台预览拍摄和显示块

132 变焦按钮检查块

134 拍摄按钮检查块

136 第二平台拍摄块

138 第二平台视频拍摄块

139 聚焦质量检查块

140 重新聚焦检查块

151 被摄体

152 第一镜头

153 第二镜头

154 第一路径

155 第二路径

156 焦平面

157 第一图像

158 第二图像

170 第一基准位置

171 第一偏移位置

180 第二基准位置

181 第二偏移位置

190 第一传感器阵列

191 第二传感器阵列

197 低频带通滤波器加载步骤

198 比较步骤

199 高频带通滤波器加载步骤

250 变焦位置选择块

252 摄像平台确定块

254 非拍摄平台变焦块

256 超焦距设置块

258 开始自动调焦序列块

260 拍摄自动聚焦图像块

262 剪切和上采样块

264 图像相关联块

266 最佳聚焦确定块

268 聚焦镜头移动块

270 摄像块

272 “爬坡”自动调焦块

274 拍摄按钮启动块

276 拍摄视频块

278 连续“爬坡”聚焦检查块

280 聚焦检查块

282 最佳聚焦确定块

284 聚焦镜头移动块

286 拍摄平台重新聚焦块

300 图像组拍摄块

302 剪切和上采样块

304 关联图像块

306 自动调焦测距器校准曲线生成块

350 自动聚焦图像的代表

352 变焦和剪切后的自动聚焦图像的代表

400 图像组拍摄块

402 位置与距离比较块

404 自动调焦“爬坡”校准曲线生成块

440 较低焦距拍摄块

442 剪切和上采样较低焦距图像块

444 关联图像块

446 确定聚焦校正块

448 较长焦距拍摄块

460 第一平台“爬坡”第一摄像块

462 第一平台预览图像块

464 重新聚焦第一平台块

466 第二平台“爬坡”第二摄像块

468 第二平台另一摄像块

470 第二平台聚焦状态比较块

472 聚焦改变检查块

480 确定像素偏移的关联图像块

482 使用测距器校准曲线的像素偏移转换块

484 范围映射产生块

500 默认变焦位置块

502 变焦位置检查块

504 拍摄平台设置块

506 第二平台预览拍摄、显示和自动调焦块

508 变焦按钮检查块

510 主聚焦处的第一平台主摄像块

512 副聚焦处的第二平台副摄像块

514 使用副图像的主图像增强块

524 拍摄平台设置块

526 第一平台预览拍摄、显示和自动调焦块

528 变焦按钮检查块

530 主聚焦处的第二平台主图像拍摄块

532 副聚焦处的第一平台副图像拍摄块

534 使用副图像的主图像增强块

600 移动电话

602 麦克风

604 扬声器

606 键盘

608 (LCD)显示器

610 蜂窝摄像组件

612 第一固定焦距镜头

614 第一图像传感器

616 第二固定焦距镜头

618 第二图像传感器

620 基板

622 IR截止滤波器

624 电子部件

626 挠性连接器

628 自动调焦子系统

630 z尺寸

750 照相机GPS位置块

752 照相机指向方向块

754 距离偏移块

756 角度偏移块

758 场景GPS位置块

760 GPS位置存储块

1100 通电块

1102 默认设置块

1104 拍摄和显示块

1106 预览选择块

1108 快门检查块

1110 显示时间检查块

1112 设置默认拍摄单元块

1114 设置场景分析拍摄单元块

1124 设置所选择的主拍摄单元块

1200 场景分析块

1202 设置拍摄参数块

1204 拍摄和显示预览图像块

1206 场景分析块

1208 场景状态检查块

1300 拍摄场景分析图像块

1302 设置拍摄参数块

1304 拍摄和显示预览图像块

1306 场景分析块

1308 场景状态阈值检查块

1400 变焦位置设置块

1402 拍摄场景分析图像块

1404 设置拍摄参数块

1406 拍摄预览图像块

1408 使用预览和场景分析数据的场景分析块

1410 设置主拍摄参数块

1412 拍摄和显示预览图像块

1414 拍摄场景分析图像块

1416 使用预览和场景分析数据的场景分析块

1418 场景状态阈值检查块

1500 变焦按钮检查块

1502 变焦位置检查块

1504 反转拍摄单元分配块

1506 设置主拍摄单元变焦位置块

1600 快门按钮检查块

1602 拍摄预览图像块

1604 使用预览图像的场景分析块

1606 分析完成检查块

1608 设置主拍摄参数块

1610 拍摄和显示预览图像块

1612 快门按钮检查块

1614 拍摄主图像块

1616 聚焦/曝光锁定检查块

1700 快门按钮检查块

1702 拍摄预览图像块

1704 拍摄场景分析图像块

1706 使用预览和场景图像的场景分析块

1708 设置主拍摄参数块

1710 拍摄和显示预览图像块

1712 快门按钮检查块

1714 拍摄主图像块

1716 聚焦/曝光锁定检查块

1800 快门按钮检查块

1802 拍摄预览图像块

1804 拍摄场景分析图像块

1806 使用预览和场景图像的场景分析块

1808 设置主拍摄参数块

1810 设置场景分析拍摄单元作为副拍摄单元块

1812 设置副拍摄参数块

1814 快门按钮检查块

1816 拍摄主图像块

1818 拍摄补充图像块

1820 生成增强图像块

Claims

1.一种电子照相机，用于从所拍摄的图像信号产生场景的输出图像，该电子照相机包括：

第一摄像平台，其包括用于生成第一传感器输出的第一图像传感器和用于在所述第一图像传感器上形成所述场景的第一图像的第一镜头；

第二摄像平台，其包括用于生成第二传感器输出的第二图像传感器和用于在所述第二图像传感器上形成所述场景的第二图像的第二镜头，其中所述第一和第二镜头具有不同的焦距；以及

处理平台，用于使用来自所述摄像平台中的一个摄像平台的传感器输出作为所拍摄的图像信号并使用来自所述两个摄像平台的图像来生成标识到所述场景的不同部分的距离的范围映射。

2.根据权利要求1所述的电子照相机，其中所述处理平台将第一图像和第二图像相关联，以针对所述图像的不同部分确定所述图像之间的像素偏移，将所述像素偏移转换成距离所述电子照相机的距离，并生成示出到图像的不同部分的距离的所述范围映射。

3.根据权利要求2所述的电子照相机，其中所述处理平台对来自较小焦距的镜头的图像进行剪切和上采样，以使得所述两个图像中的相应的特征跨越基本相同数量的像素。

4.根据权利要求1所述的电子照相机，其中处理平台使用测距器校准曲线来将所述像素偏移转换成距离所述电子照相机的距离。

5.根据权利要求1所述的电子照相机，其中所述照相机还包括用于提供所述照相机的位置的GPS坐标的GPS单元和用于提供所述照相机的指向方向的电子罗盘。

6.根据权利要求5所述的电子照相机，其中所述处理平台使用所述照相机的位置的GPS坐标、所述照相机的指向方向和来自所述范围映射的距离偏移，来生成所述场景的各部分的GPS坐标。

7.根据权利要求1所述的电子照相机，其中所述范围映射被用来修改所拍摄的图像。

8.一种电子照相机，用于从所拍摄的图像信号产生场景的输出图像，该电子照相机包括：

第一摄像平台，其包括用于生成第一传感器输出的第一图像传感器、用于在所述第一图像传感器上形成所述场景的第一图像的第一镜头以及用于响应于第一聚焦检测信号而调节所述第一镜头的聚焦的第一镜头聚焦调节器；

第二摄像平台，其包括用于生成第二传感器输出的第二图像传感器、用于在所述第二图像传感器上形成所述场景的第二图像的第二镜头以及用于响应于第二聚焦检测信号而调节所述第二镜头的聚焦的第二镜头聚焦调节器；

处理平台，用于或者(a)选择来自第一摄像平台的传感器输出作为所拍摄的图像信号并使用来自至少第二摄像平台的传感器输出来生成用于所选择的摄像平台的所述第一聚焦检测信号，或者(b)选择来自第二摄像平台的传感器输出作为所拍摄的图像信号并使用来自至少第一摄像平台的传感器输出来生成用于所选择的摄像平台的所述第二聚焦检测信号，其中所述聚焦检测信号被应用于所选择的摄像平台的镜头聚焦调节器，以便调节图像的聚焦，从而提供所拍摄的图像信号的传感器输出；以及

其中所述处理平台还使用来自测距器配置中的所述第一和第二摄像平台两者的传感器输出来生成标识到所述场景的不同部分的距离的范围映射。

9.根据权利要求8所述的电子照相机，其中所述照相机还包括用于提供所述照相机的位置的GPS坐标的GPS单元和用于提供所述照相机的指向方向的电子罗盘。

10.根据权利要求9所述的电子照相机，其中所述处理平台使用所述照相机的位置的GPS坐标、所述照相机的指向方向和来自所述范围映射的距离偏移，来生成所述场景的各部分的GPS坐标。

11.根据权利要求8所述的电子照相机，其中所述范围映射被用来修改所述图像。

12.一种电子照相机，用于从所拍摄的图像信号产生场景的输出图像，该电子照相机包括：

第一摄像平台，其包括用于生成第一传感器输出的第一图像传感器、用于在所述第一图像传感器上形成所述场景的第一图像的第一镜头以及用于响应于聚焦改变检测信号而连续地重新调节所述第一镜头的聚焦的第一镜头聚焦调节器；

第二摄像平台，其包括用于生成第二传感器输出的第二图像传感器以及用于在所述第二图像传感器上形成所述场景的第二图像的第二镜头；以及

处理平台，用于使用来自第一摄像平台的传感器输出作为所拍摄的图像信号并使用来自测距器配置中的所述第一和第二摄像平台的传感器输出来检测所述场景的所述图像的聚焦，并产生用于第一摄像平台的聚焦检测信号以便聚焦所述图像，其中所述聚焦检测信号被应用于第一摄像平台的镜头聚焦调节器，以便调节所述图像的聚焦，从而提供所拍摄的图像信号；以及

其中所述处理平台还使用来自所述测距器配置中的所述第一和第二摄像平台两者的传感器输出来生成标识到所述场景的不同部分的距离的范围映射。

13.根据权利要求12所述的电子照相机，其中所述照相机还包括用于提供所述照相机的位置的GPS坐标的GPS单元和用于提供所述照相机的指向方向的电子罗盘。

14.根据权利要求13所述的电子照相机，其中所述处理平台使用所述照相机的位置的GPS坐标、所述照相机的指向方向和来自所述范围映射的距离偏移，来生成所述场景的各部分的GPS坐标。

15.根据权利要求12所述的电子照相机，其中所述范围映射被用来修改所拍摄的图像信号。

16.一种用于使用数字照相机的方法，所述数字照相机具有两个摄像平台并用于从所拍摄的图像信号产生场景的输出图像和范围映射，所述方法包括步骤：

根据位于第一摄像平台中的第一图像传感器的传感器输出形成所述场景的第一图像；

根据位于第二摄像平台中的第二图像传感器的传感器输出形成所述场景的第二图像，其中所述第一和第二图像具有不同的视角；

选择来自所述摄像平台中的一个的传感器输出作为所拍摄的图像信号；以及

使用来自所述两个摄像平台的图像来生成标识到所述场景的不同部分的距离的范围映射。

17.根据权利要求16所述的方法，还包括步骤：

将所述第一和第二图像相关联以针对所述图像的不同部分确定所述图像之间的像素偏移；

将所述像素偏移转换成距离电子照相机的距离；以及

生成示出到所述图像的不同部分的距离的范围映射。

18.根据权利要求17所述的方法，还包括步骤：

对来自较广角图像的图像进行剪切和上采样，以使得所述两个图像中的相应的特征跨越基本相同数量的像素。

19.根据权利要求16所述的方法，其中所述范围映射被用于通过识别被摄体的连续边界而使得可以限定所述被摄体的形状来改进所述输出图像内的被摄体识别。

20.根据权利要求16所述的方法，其中所述范围映射被用于通过识别被摄体的连续边界而使得该被摄体在所述输出图像内能够被分割来使得能够从图像提取被摄体。

21.根据权利要求16所述的方法，其中所述范围映射被用于通过识别被摄体而使得所述被摄体能够在所述输出图像之间作为相同的被摄体而被追踪来使能被摄体的运动追踪。

22.根据权利要求16所述的方法，其中所述范围映射被用于通过模糊化所述输出图像的与位于期望景深之外的场景区域相对应的部分来使能动态景深图像。

23.根据权利要求16所述的方法，其中所述范围映射被用于通过将增益调节应用于所述输出图像内作为整体的被摄体来改善所述输出图像内的动态范围。

24.根据权利要求16所述的方法，其中所述范围映射被用于通过减小对所述输出图像的与前景区域中的被摄体相对应的部分的增益并增大对背景区域中的被摄体的增益来减小由使用闪光灯而带来的曝光问题。

25.根据权利要求16所述的方法，其中所述范围映射被用于通过使得前景区域中的被摄体被强调来改善所述输出图像内的场景平衡。