CN114026841A - 自动焦距延伸 - Google Patents

Abstract

本公开的方面涉及用于包括多个相机的设备的图像对焦的系统和方法。示例方法包括估计与由第一相机捕捉的图像相关联的焦距，至少部分地基于估计的焦距确定从第一相机切换到第二相机，从第一相机切换到第二相机，使用第二相机完成对焦操作，和呈现由第二相机捕捉的更新图像。

Description

自动焦距延伸

相关申请的交叉引用

本专利申请要求申请号为PCT/CN2019/093939的专利合作条约(PCT)临时专利申请，其标题为“自动焦距延伸”，并且于2019年6月29日提交，转让给了本文件中的受让人。该在先申请的公开内容通过引用并入本专利申请中。

技术领域

本发明总体上涉及用于图像捕捉设备的系统和方法，并且更具体地涉及使用具有两个或更多个相机的设备来捕捉图像。

背景技术

包括或耦合到两个或更多个数码相机的设备使用相机镜头将入射光对焦到相机传感器上以捕捉数字图像。相机镜头的曲率将场景的深度范围置于焦点上。场景中离深度范围更近或更远的部分可能离焦，并且因此在捕捉的图像中可能显得模糊。相机镜头和相机传感器之间的距离(“焦长”)与场景深度范围和对焦的相机传感器之间的距离(“焦距”)直接相关。

例如，通过移动相机镜头以调节相机镜头和相机传感器之间的距离，许多设备能够调节相机的焦长。许多设备还可以自动确定相机的焦长。例如，用户可以触摸图像区域，诸如由设备提供的预览图像(诸如被预览场景中的人或地标)，以指示对焦场景中的部分。响应于用户输入，设备可自动执行自动对焦(AF)操作以调整焦长，使得由用户指示的场景的部分对焦。然后，设备可以使用所确定的焦长用于后续的图像捕捉(包括生成后续的预览图像)。

发明内容

提供本发明内容是为了以简化形式介绍以下在详细说明书中进一步描述的概念的选择。

本发明内容不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在限制所要求保护的主题的范围。

本公开的方面涉及用于在相机对焦操作期间补偿相机移动的系统和方法。

示例设备包括存储指令的存储器和处理器。处理器耦合到存储器，并且被配置为从第一相机接收图像，估计与图像相关联的焦距，至少部分地基于估计的焦距确定是否从第一相机切换到第二相机，从第一相机切换到第二相机，和使用第二相机完成对焦操作。在一些实施方式中，处理器还可以被配置为呈现由第二相机捕捉的更新的图像。

在一些实施方式中，处理器被配置为通过确定估计的焦距在与第一相机相关联的焦距的第一范围之外并且在与第二相机相关联的焦距的第二范围之内来确定是否从第一相机切换到第二相机。

在一些实施方式中，对焦操作在从第一相机切换到第二相机之前开始。

在一些实施方式中，处理器被配置为在对焦操作期间，通过调整第二相机的视场(FOV)以匹配第一相机的FOV来从第一相机切换到第二相机。在一些方面中，第一相机的FOV由图像捕捉设备的用户选择。

在一些其它方面中，处理器还被配置为使用第二相机在用户选择的FOV处捕捉图像。

在一些实施方式中，对焦操作可以包括粗糙对焦操作和精细对焦操作。

在一些方面中，处理器被配置为在粗糙对焦操作期间从第一相机切换到第二相机。

在一些其它方面中，处理器被配置成使用粗糙对焦操作在没有第二相机的情况下完成对焦操作。

在一些实施方式中，处理器被配置为通过确定估计的焦距低于与第一相机相关联的焦距阈值来确定是否从第一相机切换到第二相机。

在一些实施方式中，图像捕捉设备还包括第三相机，其中第一相机、第二相机和第三相机中的每一个与相应的焦距范围相关联。

在一些方面中，处理器还被配置为至少部分地基于估计的焦距来确定是否从第一相机切换到第三相机。

在一些实现方式中，处理器被配置为通过应用一个或多个空间变换来补偿第一相机和第二相机之间的对准或偏移的一个或多个差异，来从第一相机切换到第二相机。

在另一示例中，公开了一种由图像捕捉设备执行的方法。

示例方法包括估计与由第一相机捕捉的图像相关联的焦距，至少部分地基于估计的焦距确定是否从第一相机切换到第二相机，从第一相机切换到第二相机，使用第二相机完成对焦操作，和呈现由第二相机捕捉的更新图像。在一些实施方式中方法还可以包括呈现由第二相机捕捉的更新的图像。

在一些实施方式中，对焦操作在从第一相机切换到第二相机之前开始。

在一些实施方式中，确定是否从第一相机切换第二相机包括，确定估计的焦距在与第一相机相关联的焦距的第一范围之外并且在与第二相机相关联的焦距的第二范围之内。

在一些实施方式中，从第一相机切换到第二相机包括，调整第二相机的视场(FOV)以匹配第一相机的FOV。在一些方面中，第一相机的FOV由图像捕捉设备的用户选择。在一些方面中，方法还包括使用第二相机在用户选择的FOV处捕捉图像。

在一些实施方式中，对焦操作包括粗糙对焦操作和精细对焦操作。在一些方面中，从第一相机切换到第二相机发生在粗糙对焦操作期间。在一些其它方面中，使用粗糙对焦操作在没有第二相的情况下完成对焦操作。

在一些实施方式中，确定从第一相机切换到第二相机包括，确定估计的焦距低于与第一相机相关联的焦距阈值。

在一些实施方式中，图像捕捉设备包括第三相机，其中第一相机、第二相机和第三相机中的每一个与相应的焦距范围相关联。在一些方面中，方法还包括至少部分地基于估计的焦距来确定是否从第一相机切换第三相机。

在一些实现方式中，配置为通过应用一个或多个空间变换来补偿第一相机和相机之间的对准或偏移的一个或多个差异，来从第一相机第二相机。

在另一示例中，公开了一种非瞬态计算机可读存储介质。

非瞬态计算机可读存储介质可存储指令，指令在由图像捕捉设备的一个或多个处理器执行时使得图像捕捉设备估计与由第一相机捕捉的图像相关联的焦距，至少部分地基于所估计的焦距确定是否从第一相机切换到第二相机，从第一相机切换到第二相机，和使用第二相机完成对焦操作。在一些实施方式中，执行指令还可以使图像捕捉设备来呈现由第二相机捕捉的更新的图像。

在一些实施方式中，执行指令进一步使得图像捕捉设备在从第一相机切换到第二相机之前开始对焦操作。

在一些实施方式中，执行用于确定是否从第一相机切换到第二相机的指令，以使得图像捕捉设备确定估计的焦距在与第一相机相关联的焦距的第一范围之外并且在与第二相机相关联的焦距的第二范围之内。

在一些实施方式中，用于从第一相机切换到第二相机的指令使得图像捕捉设备调整第二相机的视场(FOV)以匹配第一相机的FOV。

在一些实施方式中，对焦操作包括粗糙对焦操作和精细对焦操作。在一些方面，执行从第一相机切换到第二相机的指令使得图像捕捉设备在粗糙对焦操作期间从第一相机切换到第二相机。

在一些实施方式中，执行确定是否从第一相机切换到第二相机的指令，使得图像捕捉设备来确定估计的焦距低于与第一相机相关联的焦距阈值。

附图说明

本公开的方面通过示例的方式，而非限制的方式在附图的图中示范，并且其中相同的附图标记指代相似的元件。

图1是设备示例的块图。

图2示出了图像传感器的视场(FOV)和图像传感器的焦长之间的示例关系。

图3示出了相位差自动对焦操作的焦长和相位差之间的示例相关性。

图4示出了对比度检测自动对焦操作的焦长和对比度之间的示例相关性。

图5A示出了根据一些实现方式的具有两个相机的设备的示例镜头移动范围。

图5B示出了根据一些实现方式的具有三个相机的设备的示例镜头移动范围。

图6是描绘根据一些实现方式的用于切换图像捕捉设备中的活动相机的示例操作的说明性流程图。

具体实施方式

本公开的各方面可用于基于估计的焦长在图像捕捉设备的相机之间自动且无缝地切换。如本文所使用的，相机之间的切换可以是指选择设备的不活动相机以变为活动相机(或主相机)并且将当前活动相机切换为不活动相机(或从相机)。通常，图像捕捉设备(例如移动电话)可以包括多个不同的相机，每个相机具有不同的焦距范围。例如，图像捕捉设备可以包括广角相机，其被配置用于以相对较宽的角度捕捉图像，并且可以包括远摄相机，其被配置用于以相对较窄的角度捕捉图像。这种图像捕捉设备的用户在捕捉图像时可能需要在广角相机和远摄相机之间切换，例如根据图像捕捉设备与要捕捉的场景中的目标之间的距离。因为不同的相机可能具有不同的视场(FOVs)、不同的分辨率和不同的相对旋转，所以当切换活动相机时，用户可能感觉到所显示的图像(诸如所显示的预览图像)中的不期望的偏移。因此，需要用于基于估计的焦长在图像捕捉设备的相机之间切换的系统和方法，而用户不会感觉到所显示的图像中的不期望的偏移。

在以下说明书中，阐述了许多具体细节，例如具体组件、电路和过程的示例，以提供对本公开的全面理解。这里使用的术语“耦合”是指直接连接到或通过一个或多个中间组件或电路连接的。此外，在以下说明书中并且为了解释的目的，阐述了具体的命名以提供对本公开的全面理解。然而，对于本领域技术人员来说显而易见的是，实践本文公开的教导可能不需要这些具体细节。在其它实例中，以框图形式示出公知电路和设备以避免模糊本公开的教导。以下详细说明书的一些部分按照计算机存储器内的过程、逻辑块、处理和对数据位的操作的其它符号表示来呈现。在本公开中，过程、逻辑块、处理等被认为是导致期望结果的步骤或指令的自一致序列。这些步骤是那些需要对物理量进行物理操作的步骤。通常，尽管不是必须的，这些量采取能够在计算机系统中存储、传送、组合、比较和以其它方式操纵的电信号或磁信号的形式。

然而，应当记住，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便标记。除非从下面的讨论中明确地特别说明，应当理解，在整个本申请中，使用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“乘法”、“平均”、“监视”、“比较”、“应用”、“更新”、“测量”、“推导”、“稳定”等术语的讨论是指计算机系统或类似的电子计算设备的动作和过程，其操纵计算机系统的寄存器和存储器内的表示为物理(电子)量的数据并将其转换为类似地表示为计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内的物理量的其它数据。

在附图中，单个块可被描述为执行一个或多个功能；然而，在实际实践中，由该块执行的一个或多个功能可在单个组件中或跨多个组件执行，和/或可使用硬件、使用软件或使用硬件和软件的组合来执行。为了清楚地示范硬件和软件的这种互换性，以下一般地根据它们的功能来描述各种说明性组件、块、模块、电路和步骤。这种功能是作为硬件还是软件实现的，取决于施加在整个系统上的特定应用和设计约束。本领域技术人员可以针对每个特定应用以不同的方式实现所描述的功能，但是这样的实现决策不应被解释为导致偏离本公开的范围。此外，示例性设备可以包括除所示出的组件之外的组件，包括诸如处理器、存储器等的公知组件。

本公开的各方面适用于被配置成或能够捕捉图像或视频的任何合适的电子设备(诸如具有两个或更多个相机、智能手机、平板电脑、膝上型计算机、数字视频和/或静态相机、网络相机等的安全系统)。虽然下面关于具有或耦合到两个相机的设备进行描述，但是本公开的各方面适用于具有或耦合到任意数量的多个相机的设备，并且因此不限于具有两个相机的设备。本公开的各方面可应用于捕捉静止图像和捕捉视频，并且可在具有或耦合到具有不同能力的相机(例如，视频相机或静止图像相机)的设备中实现。

术语“设备”不限于一个或特定数量的物理目标(诸如一个智能电话、一个相机控制器、一个处理系统等)。如本文所使用的，设备可以是具有可实现本公开的至少一些部分的一个或多个部分的任何电子设备。虽然下面的描述和示例使用术语“设备”来描述本公开的各个方面，但是术语“设备”不限于目标的特定配置、类型或数量。

图1是可以在其中实现本公开的各方面的示例设备100的框图。示例性设备100可以包括或耦合到第一相机101和第二相机102、处理器104、存储指令108的存储器106和相机控制器110。设备100可以可选地包括(或耦合到)显示器114和多个输入/输出(I/O)组件116。设备100可包括未示出的附加特征或组件。例如，可以包括用于无线通信设备的无线接口，该无线接口可以包括多个收发机和基带处理器。设备100可以包括或耦合到除了第一相机101和第二相机102之外的附加相机。本公开不应限于任何具体示例或图示，包括示例性设备100。

第一相机101和第二相机102能够捕捉各个图像帧(诸如静止图像)和/或捕捉视频(诸如一系列捕捉的图像帧)。存储器106可以是存储计算机可执行指令108的非瞬态或非瞬态计算机可读介质，以执行本公开中描述的一个或多个操作的全部或一部分。存储器106还可包括查找表(LUT)109或其它目录，当确定估计深度是否在第一相机101和第二相机102中的每一者的对应焦距范围内时，可由处理器104或相机控制器110(或两者)访问查找表109或其它目录。设备100还可包括电源118，电源118可耦合到设备100或集成到设备100中。

处理器104可以是或包括能够执行存储在存储器106内的一个或多个软件程序(诸如指令108)的脚本或指令的一个或多个合适的处理器。在一些方面中，处理器104可以是执行指令108以使设备100执行任何数量的功能或操作的一个或多个通用处理器。在附加或替代方面，处理器104可包括集成电路或其它硬件以在不使用软件的情况下执行功能或操作。尽管在图1的示例中示出为经由处理器104彼此耦合，处理器104、存储器106、相机控制器110、可选显示器114和可选I/O组件116可以以各种布置彼此耦合。例如，处理器104、存储器106、相机控制器110、可选显示器114和/或可选I/O组件116可以经由一个或多个本地总线(为简单起见未示出)彼此耦合。

显示器114可以是允许用户交互和/或呈现供用户观看的项目(诸如捕捉的图像、视频或预览图像)的任何合适的显示器或屏幕。在一些方面中，显示器114可以是触敏显示器。I/O组件116可以是或包括用于从用户接收输入(诸如命令)并向用户提供输出的任何合适的机构、接口或设备。例如，I/O组件116可以包括(但不限于)图形用户界面、键盘、鼠标、麦克风和扬声器等。显示器114和/或I/O组件116可以向用户提供图像和/或接收用于调整相机102的一个或多个设置(诸如选择和/或取消选择所显示图像的感兴趣区域)的用户输入。

相机控制器110可以包括图像信号处理器112，图像信号处理器112可以是或包括可以处理由相机102提供的捕捉的图像帧或视频的一个或多个图像信号处理器。在一些示例实现中，相机控制器110(例如，图像信号处理器112)还可控制相机101和102的操作。在一些方面，图像信号处理器112可执行来自存储器的指令(例如，来自存储器106的指令108或存储在耦合到图像信号处理器112的单独存储器中的指令)以处理由相机101和102捕捉的图像帧或视频。在其它方面中，图像信号处理器112可包括用于处理由相机101和102捕捉的图像帧或视频的特定硬件。图像信号处理器112可替换地或附加地包括特定硬件和执行软件指令的能力的组合。

图像传感器的视场(FOV)可指图像传感器(或相机)可通过其捕捉图像数据的角度。图像传感器的FOV可由相机镜头的焦长和图像传感器捕捉区域的大小来确定。具有较长焦长的相机镜头(例如，远摄镜头)可对应于在给定传感器区域中捕捉的较少场景，因此具有相对小的FOV。具有较短焦长的相机镜头(例如，广角镜头)可对应于在给定传感器区域中捕捉的较多场景，因此具有相对大的FOV。如上所述，深度范围或相机与场景中的目标之间的距离与相机镜头的焦长直接相关。

图2示出了图像传感器210的视场(FOV)和图像传感器210的焦长之间的示例关系200。图像传感器210能够在第一焦长220和第二焦长230中的每一个处捕捉图像数据，其中第一焦长220短于第二焦长230。如图2所示，在第一焦长220处，场景225的第一部分可以在图像传感器210的FOV内，而在第二焦长230处，场景235的第二部分可以在图像传感器210的FOV内。如上所述，较短的焦长(第一焦长220)对应于较大的FOV，与较长的焦长(第二焦长230)相比，较短的焦长可捕捉较宽的场景(如场景225)，较长的焦长可捕捉较窄的场景(如场景235)。

虽然具有相对大焦长的相机(例如具有远摄镜头的相机)可用于捕捉远处景物，但此类相机可具有最短焦距(其可取决于相机模块的厚度)。虽然外接镜管可用于将该最短对焦距离扩展到更靠近图像对象(例如在数字单镜头反射(DSLR)相机中)，但是移动计算设备(例如移动电话)的相对小的形状因素使得外接镜管对于此类设备不实用。

一些示例设备可以包括具有远摄镜头的相机和具有广角镜头的相机。一些其它示例设备可以包括3个或更多个相机(例如具有远摄镜头的相机、具有广角镜头的相机、和具有超广角镜头的相机)。注意，特定相机可能不能对焦在比相应阈值距离更近的目标上。例如，在不将相机的对焦平面发送到图像传感器之外的情况下，远摄相机典型地不能对焦在例如接近50cm的附近的目标上以用于成像。然而，远摄相机通常更擅长捕捉远处目标的图像。与远摄相机相比，广角相机能够对焦在更靠近照机的目标上，并且例如能够对焦在10cm或更远距离处的目标上。因此，广角相机可能能够对焦在场景中远离相机10cm和50cm之间的目标上，而远摄相机可能不能对焦在这样的目标上。更一般地，设备可以具有多个相机，每个相机具有具有不同焦长范围的透镜。因此，基于相机和场景中的目标之间的距离在具有不同焦长范围的相机之间高效且自动地切换是被期望的。

在此描述的示例实现方式可允许设备(或用户)基于设备与场景中的一个或多个目标之间的估计距离在不同相机之间高效且自动地切换。在一些实施方式中，可以通过在对焦操作期间在相机之间切换来避免与设备的相机之间切换相关联的所显示图像中的不期望的偏移或改变。在一些实施方式中，可以通过补偿相机之间的一个或多个差异，诸如FOV的差异、分辨率相对旋转的差异和视点的差异，来进一步最小化图像中的不期望的偏移或改变。例如，应用一个或多个空间变换可以补偿相机之间的一个或多个差异。

因为到场景中的目标的深度或距离与相机镜头的焦长直接相关，所以估计或确定深度可以提供关于活动相机是否能够对焦的指示，并且因此，是否切换到可以更有效地对焦在目标上的不同相机上。

可以使用多种技术来估计场景中目标的深度。在一些实施方式中，激光检测可用于确定深度。发射器可以投射光束，并且由对象反射的光可以由传感器接收。然后，可以使用光速和检测到的行进时间来估计深度。

在其它实现方式中，可基于使用活动图像传感器的一个或一个以上焦点像素的相位检测来确定到场景中的目标的深度。此类对焦像素可经配置以测量来自至少两个不同定向视角中的每一者的亮度。例如，一个或多个像素可以是双光电二极管(2PD)像素，其中每个2PD像素包括第一光电二极管和第二光电二极管，并且可以被配置为测量来自第一视角和第二视角中的每个视角(例如，左视角和右视角，或者上视角和下视角)的亮度。类似地，像素可被分组为2或4的组(分别为对或四边形)，其中每个组具有诸如微透镜的覆盖层(OCL)，以在方向上限制在每个组中测量的亮度的透视。此外，一个或多个像素可以被定向地掩蔽，以便限制所测量亮度的视角。焦点像素的不同视角可用于确定到场景中的目标的深度。可基于来自与第一视角相关联的焦点像素的测量结果与来自与第二视角相关联的焦点像素的测量结果之间的差异(或PD)来确定深度。这样的PD可以指从第一视角和第二视角观察的目标位置的明显差异。例如，绝对差之和(SAD)度量可用于确定PD。然后，该PD可以用作例如相位检测自动对焦(PDAF)操作的对焦操作的一部分，用于对相机进行对焦。

在一些其它的实施方式中，来自两个不同相机的测量结果可以确定场景中目标的深度。第一相机和第二相机可从两个不同视角测量亮度。例如，两个相机可以水平地或垂直地分开，分别对应于左视角和右视角或上视角和下视角。来自第一相机的对应测量结果和来自第二相机的测量结果之间的差异可用于确定深度。该差异还可以用作诸如PDAF操作的对焦操作的一部分。

在一些其它实现中，可使用一个或一个以上飞行时间测量结果来确定到场景中的目标的深度。例如，可由激光器或发光二极管(LED)提供的光信号可从相机发射、从场景中的目标反射并由相机处的图像传感器接收。在图像传感器处接收的光信号的往返时间对应于目标的深度。

在一些其它的实施方式中，来自结构光系统测量结果可以用于确定场景中目标的深度。这种结构化光系统可包括发射器和接收器，其经配置以发射和接收对应于空间码(或“码字”)的图案以产生深度图，深度图指示场景中的一个或一个以上目标距成像设备的距离。场景中的目标离发射机和接收机越远，从目标反射的接收码字离其原始位置越近(与发射的码字相比)，因为输出码字和反射的输入码字的传播路径更平行。相反，目标离发射机和接收机越近，所接收的码字在所发送的码字中离其原始位置越远。因此，接收码字的位置与对应的发射码字之间的差可用于确定场景中目标的深度。

在一些实现方式中，可以为场景中的感兴趣区域(ROI)中的一个或多个目标确定深度。例如，这样的ROI可以包含被认为在场景的前景中的一个或多个目标。在另一个示例中，这ROI可以包括在场景的中心中的一个或多个目标。在另一个示例中，这ROI可以由设备100的用户手动选择。在另一个示例中，这ROI可以由设备100自动选择。

如上所述，诸如设备100之类的设备可以执行对焦操作，以确保所捕捉的对象的图像对焦。例如，这样的对焦操作可以包括PDAF操作或对比度检测自动对焦(CDAF)操作中的一个或多个。在一些其他示例中，设备100可以执行包括CDAF和PDAF两者的混合AF操作。

图3示出了用于PDAF操作的焦长与PD之间的示例相关性300。如所图示的，对于PDAF操作，焦长和PD 306之间的相关性300是线性的。如果针对初始焦长304测量PD 306，则设备100可以确定焦长差308(基于PD线的斜率和偏移)以调整相机101或相机102的镜头，以便将镜头放置在所确定的焦长302(其中PD近似为零)。当PD近似为零时，则在对应于所测量的PD 306的深度处的对象的图像应当对焦。

在另一示例中，设备100可以执行对比度检测自动对焦(CDAF)操作，其中对焦值是对比度测量。当图像从离焦到对焦时，相邻像素之间的对比度(诸如像素强度的差异)增加。例如，模糊图像的相邻像素之间的强度差低于对焦图像的相邻像素之间的强度差。

图4示出了用于CDAF操作的焦长与对比之间的示例相关性400。如图所示，对于CDAF操作，焦长和对比度之间的相关性400是抛物线/二阶。精确曲率可以不同，并且示例相关性400仅用于说明性目的。例如，相关性400可以一般地由二阶方程y＝ax²+bx+c表示，其中对比度由项y表示，焦长由项x表示，抛物线的曲率由项a表示，抛物线的斜率由项b表示，并且抛物线的偏移由项c表示。要确定的焦长402基于最大的对比度，该对比度是抛物线的顶点。例如，对于示例二阶方程，顶点是-b/2a。

对于CDAF，设备100可以从初始焦长404执行一个或多个粗调406，然后对所确定的焦长402执行一个或多个细调408。设备100可执行测量对比度、调整焦长和测量对比度的迭代过程，直到找到对比度的峰值(例如对比度曲线的顶点)为止(并且因此确定焦长402)。

如上所述，在一些其他示例中，设备100可以执行包括组合CDAF和PDAF两者方面的混合AF操作。例如，混合AF操作可以结合粗调和精调，如上文关于图4所讨论的CDAF操作。然而，与CFAF相反，在混合AF操作中，粗调可确定测得的PD 306，且可将焦长调整为所确定的焦长302，如上文关于图3所论述。然后，可以执行基于对比度的微调，例如微调408。

切换活动相机的确定可以至少部分地基于所确定的深度。因此，在确定深度之后，可以确定是否应该切换活动相机以便对焦在该深度处的目标。例如，如果深度小于活动相机的最小焦距，则可以确定切换到具有更短焦长的相机。

图5A示出了根据一些实现方式的具有两个相机的设备的示例镜头移动范围。相对于图5a所示，该设备可以包括具有较短焦长的第一相机和具有较长焦长的第二相机，并且透镜移动范围500可以在微距端和无限远之间变化。例如，第一相机可以为广角相机，并且第二相机可以为远摄相机。在使用上述操作中的一个或多个确定深度之后，深度可用于确定是否切换活动相机。例如，可以基于将所确定的深度与对应于第二相机的最小焦距的深度阈值510进行比较来做出这样的确定。如果所确定的深度小于深度阈值510，则第二相机可能是不合适的，例如，因为深度小于该相机的最小焦距，如上所述。因此，如果活动相机是第二相机，并且所确定的深度小于深度阈值510，则可以做出切换到第一相机的确定。类似地，如果第一相机是活动的，并且所确定的深度大于深度阈值510，则可以确定切换到第二相机。在这种情况下，由于第二相机的FOV较小(与具有较宽角度FOV的第一相机相比)，在所确定的深度处的目标可以填充捕捉的图像的较大比例。因此，短于深度阈值510的深度可对应于第一相机更适合作为活动相机，而大于深度阈值510的深度可对应于第二相机更适合作为活动相机。

如上面所看到的那样，一些示例设备可以包括多于两个的相机。例如，图5B示出了根据一些实现方式的具有三个相机的设备的示例镜头移动范围550。相对于图5B所示，该设备可以包括具有最短焦长的第一相机、具有第二最短焦长的第二相机、和具有最长焦长的第三相机。在一个示例中，第一相机可以是超广角相机，第二相机可以是广角相机，第三相机可以是远摄相机。以类似于图5A的方式，镜头移动范围550可以在微距端和无限远之间变化，并且可以基于所确定的深度来做出关于是否切换活动相机的确定。例如，如果第二相机或第三相机是活动的，并且所确定的深度小于深度560(其可以对应于第二相机的最小焦距，并且可以小于第三相机的最小焦距)，则可以做出切换到第一相机的确定。类似地，当第一相机或第三相机是活动的，并且所确定的深度大于深度560但小于深度570(其可以对应于第三相机的最小焦距)时，可以做出切换到第二相机的确定。此外，与第一相机相比，第二相机更有限的FOV可以允许该深度范围内的目标填充捕捉图像的比例更大。最后，如果第一相机或第二相机是活动的，并且所确定的深度大于深度570，则可以确定切换到第三相机。

而图5A和5B分别示出了具有两个和三个相机的设备的示例镜头移动范围，本公开的方面可以在包括多于三个相机的设备中实现。例如，示例设备可以包括多个相机，每个相机与每个相机最适当地使用的相应焦长范围相关联。类似于图5A和5B的透镜移动范围500和550，分别地，确定深度对应于焦长的特定范围可指示切换到对应相机是适当的。

在一些实施方式中，切换相机的确定可能限于估计深度小于当前活动相机的最小焦长的情况。例如，关于图5A，切换相机的确定可以限于当第二相机处于活动状态并且估计深度小于深度阈值510时。也就是说，对于这样的实现方式，当第一相机处于活动状态并且估计深度大于深度阈值510时，可以不做出切换相机的确定。通过将此类相机切换操作限制在需要切换相机以对焦于估计深度处的目标的场合，该限制可以进一步降低用户对相机切换操作的感知。

在确定切换相机(例如，从第一相机切换到第二相机)之后，第二相机可被设置为活动相机或主相机，并且第一相机可被设置为不活动相机或从相机。因此，在相机切换之前，图像可以由第一相机提供，并且在相机切换之后，图像可以由第二相机提供。如上所述，当从第一相机切换到第二相机时，例如，由于第一相机和第二相机之间的不同的FOVs、不同的分辨率和不同的相对旋转，用户可以感知到所显示的图像中的突然变化。

在此描述的示例实现方式，可以通过定时相机切换操作或调整第二相机的一个或多个参数中的一个或多个，来最小化用户对所显示图像中的这种突然改变的感知。例如，相机控制器110可以接收诸如触发切换距离和感兴趣区域(ROI)的相关信息，并且可以调整第二相机的一个或多个参数以匹配第一相机的对应参数。在一个示例中，当从远摄相机切换到广角相机时，广角相机的FOV可被调整(诸如裁剪)以匹配远摄相机的FOV。因此，用户将不会感知到FOV的突然变化。类似地，当切换到第二相机时，调整一个或多个参数可以包括通过应用一个或多个空间变换来补偿第一相机和第二相机之间的基线，通过应用一个或多个空间变换来补偿第一相机和第二相机之间的相对旋转，和调整一个或多个参数以在第一相机和第二相机之间同步3A(自动曝光、自动对焦、自动白平衡)。

为了进一步降低用户对相机切换操作的感知，可以在示例设备的对焦操作期间进行相机切换操作。在对焦操作期间执行相机切换操作，可以通过在图像已经对焦之前切换相机来减少用户对图像中的偏移的感知。更具体地，在对焦之前，图像可以是模糊的并且离焦的，并且从来自第一相机的一个离焦图像切换到来自第二相机的另一个离焦图像可以帮助减少用户对相机切换的感知。在一些实现方式中，对焦操作可包括粗糙和精细对焦操作，诸如上文关于图4所描述的CDAF对焦操作。对于这样的对焦操作，可以在粗调406期间执行相机切换。在其它的实现方式中，对焦操作可包括PDFA对焦操作，诸如上文关于图3所描述的。对于这样的PDAF对焦操作，可以在测量PD306之后但在焦长已经完成被调整到所确定的焦长302之前执行相机切换。

在完成相机切换操作之后，可以使用第二相机完成对焦操作。例如，对于CDAF或混合CDAF/PDAF对焦操作，可以在相机切换之前使用第一相机来完成粗糙对焦操作的全部或部分，并且在相机切换之后，可以使用第二相机来执行粗糙对焦操作和精细对焦操作的剩余部分。在一些实施方式中，可以在相机切换之前使用第一相机来完成粗糙对焦操作，并且可以在相机切换之后使用第二相机来完成精细对焦操作。

图6是描绘根据一些实现方式的用于切换图像捕捉设备中的活动相机的示例操作的说明性流程图。操作600可由包括或耦合到两个或两个以上相机的任何适当设备，例如图1的设备100，来执行。例如，该两个或更多个相机可以包括广角相机和远摄相机。在另一示例中，设备可以包括三个相机，诸如超广角相机、广角相机和远摄相机。在另一示例中，两个或更多个相机可以包括四个或更多个相机。设备100可估计与由第一相机捕捉的图像相关联的焦距(602)。焦距可以与图像的感兴趣区域(ROI)中的一个或多个目标相关联。可以使用任何合适的深度估计技术来估计焦距。例如，可以使用激光检测或相位检测来估计焦距。相位检测可以基于来自相机之一的一个或一个以上焦点像素的测量结果或基于来自设备100的两个不同相机的对应测量结果来估计焦距。

设备100可以包括，至少部分地基于估计的焦距，来确定是否从第一相机切换第二相机(604)。例如，确定从第一相机切换第二相机可以包括，确定估计的焦距在与第一相机相关联的焦距的第一范围之外并且在与第二相机相关联的焦距的第二范围之内。此外，确定从第一相机切换到第二相机可以包括，确定估计的距离低于与第一相机相关联的最小的焦距。设备100还可以从第一相机切换到第二相机(606)。例如，设备100可以在对焦操作期间从第一相机切换到第二相机。对焦操作可以包括粗糙对焦操作和精细对焦操作。在一些方面中，从第一相机切换到第二相机可以发生在粗糙对焦操作期间。对焦操作可以是任何合适的对焦操作，例如CDAF对焦操作、PDAF对焦操作或混合对焦操作。此外，从第一相机切换到第二相机可以包括应用一个或多个空间变换以补偿第一相机和第二相机之间的一个或多个差，诸如补偿第一相机和第二相机之间的间隔距离、第一相机和第二相机之间的相对旋转中的一个或多个，和第一相机和第二相机之间的视场(FOV)差。

设备100可以使用第二相机完成对焦操作(608)。例如，使用第二相机完成对焦操作可以包括在不使用粗糙对焦操作的情况下完成对焦操作。

在一些实施方式中，设备100可以呈现由第二相机捕捉的更新的图像(610)。例如，更新的图像可以是对焦在估计深度处的图像。

在此描述的技术可以以硬件、软件、固件或其任意组合来实现，除非具体描述为以特定方式实现。被描述为模块或组件的任何特征也可以一起在集成逻辑设备中实现，或者单独地实现为分立但可互操作的逻辑设备。如果以软件实现，则这些技术可以至少部分地由非瞬态处理器可读存储介质(诸如图1的示例性设备100中的存储器106)来实现，非瞬态处理器可读存储介质包括指令108，当由处理器104(或相机控制器110或图像信号处理器112)执行时，指令108使得设备100执行上述方法中的一个或多个。非瞬态处理器可读数据存储介质可以形成计算机程序产品的一部分，其可以包括封装材料。

非瞬态处理器可读存储介质可以包括随机存取存储器(RAM)，例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、FLASH存储器、其它已知存储介质等。附加地或可替换地，所述技术可至少部分地由处理器可读通信介质来实现，处理器可读通信介质承载或传递指令或数据结构形式的代码，并且处理器可读通信介质可由计算机或其它处理器访问、读取和/或执行。

结合本文公开的示例性实现方式描述的各种说明性逻辑块、模块、电路和指令可由一个或多个处理器执行，例如图1的示例性设备100中的处理器104或图像信号处理器112。这样的处理器可包括但不限于一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIC)、现场可编程门阵列(FPGA)或其它等效的集成或分立逻辑电路。此处所使用的术语“处理器”可指前述结构中的任一者或适于实现此处所描述的技术的任何其它结构。另外，在一些方面中，可以在如本文所述配置的专用软件模块或硬件模块内提供本文所述的功能。而且，这些技术可以在一个或多个电路或逻辑元件中完全实现。通用处理器可以是微处理器但在替代方案中，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核心结合的一个或多个微处理器、或任何其他这样的配置。

虽然本公开示出了说明性方面，但是应当注意，在不脱离所附权利要求的范围的情况下，可以在本文中进行各种改变和修改。另外，根据本文描述的方面的方法权利要求的功能、步骤或动作不需要以任何特定顺序执行，除非另有明确说明。例如，如果由设备100、相机控制器110、处理器104和/或图像信号处理器112执行，则可以以任何顺序和以任何频率执行所描述的示例操作的步骤。此外，尽管可以以单数形式描述或要求保护元件，但是除非明确说明了对单数的限制，否则可以考虑复数形式。因此，本公开不限于示范的示例，并且用于执行在此描述的功能的任何手段都包括在本公开的方面中。

Claims (30)

1.一种图像捕捉设备，包括：

存储器，存储指令；和

处理器，耦合到所述存储器并且被配置为：

从第一相机接收图像；

估计与所述图像相关联的焦距；

至少部分地基于所估计的焦距确定是否从所述第一相机切换到第二相机；

从所述第一相机切换到所述第二相机；和

使用所述第二相机完成对焦操作。

2.如权利要求1所述的图像捕捉设备，其中，所述对焦操作在从所述第一相机切换到所述第二相机之前开始。

3.如权利要求1所述的图像捕捉设备，其中，所述处理器被配置为通过确定所估计的焦距在与所述第一相机相关联的第一焦距范围之外并且在与所述第二相机相关联的第二焦距范围之内，来确定是否从所述第一相机切换到所述第二相机。

4.如权利要求1所述的图像捕捉设备，其中，所述处理器还被配置为在对焦操作期间，通过调整所述第二相机的视场(FOV)以匹配所述第一相机的FOV来从所述第一相机切换到所述第二相机。

5.如权利要求4所述的图像捕捉设备，其中，所述第一相机的所述FOV由所述图像捕捉设备的用户选择。

6.如权利要求5所述的图像捕捉设备，其中，所述处理器还被配置为使用所述第二相机在由所述用户选择的FOV处捕获图像。

7.如权利要求1所述的图像捕捉设备，其中，所述对焦操作包括粗糙对焦操作和精细对焦操作，并且其中，所述处理器还被配置为在所述粗糙对焦操作期间从所述第一相机切换到所述第二相机。

8.如权利要求1所述的图像捕捉设备，其中，所述对焦操作包括粗糙对焦操作和精细对焦操作，并且其中，所述处理器还被配置为使用所述粗糙对焦操作在没有所述第二相机的情况下完成所述对焦操作。

9.如权利要求1所述的图像捕捉设备，其中，所述处理器被配置为通过确定所估计的焦距低于与所述第一相机相关联的焦距阈值，来确定是否从所述第一相机切换到所述第二相机。

10.如权利要求1所述的图像捕捉设备，还包括第三相机，其中，所述第一相机、所述第二相机和所述第三相机中的每一个与相应的焦距范围相关联。

11.如权利要求10所述的图像捕捉设备，其中所述处理器还被配置为至少部分地基于所估计的焦距来确定是否从所述第一相机切换到所述第三相机。

12.如权利要求1所述的图像捕捉设备，其中所述处理器被配置为通过应用一个或多个空间变换来补偿所述第一相机和所述第二相机之间的对准或偏移的一个或多个差异，来从所述第一相机切换到所述第二相机。

13.一种由图像捕捉设备执行的方法，所述方法包括：

估计与由第一相机捕捉的图像相关联的焦距；

至少部分地基于所估计的焦距，来确定是否从所述第一相机切换到第二相机；

基于所述确定，从所述第一相机切换到所述第二相机；

使用所述第二相机完成对焦操作；和

呈现由所述第二相机捕捉的更新的图像。

14.如权利要求13所述的方法，其中，所述对焦操作在从所述第一相机切换到所述第二相机之前开始。

15.如权利要求13所述的方法，其中，确定是否从所述第一相机切换到所述第二相机还包括：

确定所估计的焦距在与所述第一相机相关联的第一焦距范围之外并且在与所述第二相机相关联的第二焦距范围之内。

16.如权利要求13所述的方法，其中，从所述第一相机切换到所述第二相机还包括，调整所述第二相机的视场(FOV)以匹配所述第一相机的FOV。

17.如权利要求16所述的方法，其中，所述第一相机的FOV由所述图像捕捉设备的用户选择。

18.如权利要求17所述的方法，还包括使用所述第二相机在所述用户选择的FOV处捕捉图像。

19.如权利要求13所述的方法，其中，所述对焦操作包括粗糙对焦操作和精细对焦操作，并且其中，在所述粗糙对焦操作期间从所述第一相机切换到所述第二相机。

20.如权利要求13所述的方法，其中，所述对焦操作包括粗糙对焦操作和精细对焦操作，并且其中，使用所述粗糙对焦操作在没有所述第二相机的情况下完成所述对焦操作。

21.如权利要求13所述的方法，其中，确定从所述第一相机切换到所述第二相机还包括，确定所估计的焦距低于与所述第一相机相关联的焦距阈值。

22.如权利要求13所述的方法，还包括第三相机，其中，所述第一相机、所述第二相机和所述第三相机中的每一个与相应的焦距范围相关联。

23.如权利要求22所述的方法，还包括至少部分地基于所估计的焦距来确定是否从所述第一相机切换到所述第三相机。

24.如权利要求13所述的方法，其中，从所述第一相机切换到所述第二相机还包括，通过应用一个或多个空间变换来补偿所述第一相机和所述第二相机之间的对准或偏移的一个或多个差异。

25.一种存储指令的非瞬态计算机可读存储介质，当所述指令由图像捕捉设备的一个或多个处理器执行时，使所述图像捕捉设备：

估计与由第一相机捕捉的图像相关联的焦距；

至少部分地基于所估计的焦距来确定是否从所述第一相机切换到所述第二相机；

从所述第一相机切换到所述第二相机；

使用所述第二相机完成对焦操作；和

呈现由所述第二相机捕捉的更新的图像。

26.如权利要求25所述的非瞬态计算机可读存储介质，其中，执行所述指令以进一步使得所述图像捕捉设备在从所述第一相机切换到所述第二相机之前开始所述对焦操作。

27.如权利要求25所述的非瞬态计算机可读存储介质，其中，执行所述指令以确定是否从所述第一相机切换到所述第二相机还使得所述图像捕捉设备确定所估计的焦距在与所述第一相机相关联的第一焦距范围之外并且在与所述第二相机相关联的第二焦距范围之内。

28.如权利要求25所述的非瞬态计算机可读存储介质，其中，执行所述指令以从所述第一相机切换到所述第二相机还使得所述图像捕捉设备调整所述第二相机的视场(FOV)以匹配所述第一相机的FOV。

29.如权利要求25所述的非瞬态计算机可读存储介质，其中，所述对焦操作包括粗糙对焦操作和精细对焦操作，并且其中，执行所述指令以从所述第一相机切换到所述第二相机还使得所述图像捕捉设备在所述粗糙对焦操作期间从所述第一相机切换到所述第二相机。

30.如权利要求25所述的非瞬态计算机可读存储介质，其中，执行所述指令以确定是否从所述第一相机切换到所述第二相机，还使得所述图像捕捉设备确定所估计的焦距低于与所述第一相机相关联的焦距阈值。

Images