CN117356102A - 多相机系统中辅助相机的镜头定位 - Google Patents

多相机系统中辅助相机的镜头定位 Download PDF

Info

Publication number
CN117356102A
CN117356102A CN202180097399.8A CN202180097399A CN117356102A CN 117356102 A CN117356102 A CN 117356102A CN 202180097399 A CN202180097399 A CN 202180097399A CN 117356102 A CN117356102 A CN 117356102A
Authority
CN
China
Prior art keywords
lens position
interest
region
lens
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180097399.8A
Other languages
English (en)
Inventor
徐金涛
Y·侯
M·高
X·王
Z·田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN117356102A publication Critical patent/CN117356102A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

用于相机处理的示例方法包括检测利用主相机捕捉的图像内容的第一感兴趣区域，检测利用辅助相机捕捉的图像内容的第二感兴趣区域，比较第一感兴趣区域和第二感兴趣区域，基于辅助相机的自动对焦过程来确定辅助相机的辅助相机镜头的第一镜头位置，基于主相机的主相机镜头的确定的镜头位置来确定辅助相机的辅助相机镜头的第二镜头位置，基于第一镜头位置或第二镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置或第二镜头位置至少部分基于比较，以及使辅助相机在确定的镜头位置利用辅助相机镜头捕捉图像。

Description

多相机系统中辅助相机的镜头定位
技术领域
本公开涉及图像捕捉和处理。
背景技术
图像捕捉设备被结合到各种各样的设备中。在本公开中，图像捕捉设备指可以捕捉一个或多个数字图像的任何设备，包括可以捕捉静止图像的设备和可以捕捉图像序列以记录视频的设备。举例来说，图像捕捉设备可以包括独立的数码相机或数字视频相机、配备有相机的无线通信设备手持机(诸如具有一个或多个相机的移动电话)、蜂窝式或卫星无线电电话、配备有相机的个人数字助理(PDA)、面板或平板、游戏设备、包括相机的计算机设备(诸如所谓的“网络摄像头”)或具有数字成像或视频能力的任何设备。
图像捕捉设备可以包括可以用于支持各种成像技术的多个相机(例如，多个图像传感器和/或多个镜头)。图像捕捉设备可以利用多个相机中的两个或更多个相机捕捉图像，并且处理图像以产生特定的图像效果，诸如景深效果(例如，“散景”或“肖像模式”效果)。
发明内容
通常，本公开描述了确定辅助相机(secondary camera)的镜头位置的示例技术，该辅助相机用于为了诸如景深效果的图像效果来捕捉图像。如更详细描述的，相机处理器可以基于主相机和辅助相机各自的自动对焦确定来确定主相机的镜头位置和辅助相机的镜头位置。相机处理器还可以基于主相机的确定的镜头位置来确定辅助相机的镜头位置。
在一个或多个示例中，相机处理器可以基于第一相机的镜头位置或者基于辅助相机的自动对焦确定来确定是否应该设置辅助相机的镜头位置，该自动对焦确定基于一个或多个标准是否被满足。标准的示例包括一个或多个处理器是否在利用主相机和辅助相机捕捉的图像中识别出相同的感兴趣区域(ROI)，辅助相机的自动对焦的置信度是否大于阈值，以及可能的其他。以这种方式，不是仅依赖于主相机的镜头位置来确定辅助相机的镜头位置，本公开中描述的示例技术提供了一种确定辅助相机的镜头位置的自适应方式，这可以导致提供更好的图像效果(如景深效果)的捕捉的图像内容。
例如，示例技术可以被认为是在多相机用例中用于辅助相机自动对焦的混合自动对焦技术。由主相机和辅助相机两者捕捉的图像内容可以具有高质量的清晰度，这导致更好的成像效果，如用于图像融合目的(例如，景深效果)以在最终图像内容中获得更多的清晰度。
在一个示例中，本公开描述了一种被配置用于相机处理的设备，包括：存储器，被配置用于接收图像；以及与存储器通信的一个或多个处理器，该一个或多个处理器被配置用于：检测利用主相机捕捉的图像内容的第一感兴趣区域；检测利用辅助相机捕捉的图像内容的第二感兴趣区域；比较第一感兴趣区域和第二感兴趣区域；基于辅助相机的自动对焦过程来确定辅助相机的辅助相机镜头的第一镜头位置；基于主相机的主相机镜头的确定的镜头位置来确定辅助相机的辅助相机镜头的第二镜头位置；基于第一镜头位置或第二镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置或第二镜头位置至少部分基于第一感兴趣区域和第二感兴趣区域的比较；以及使辅助相机在确定的镜头位置利用辅助相机镜头捕捉图像。
在另一示例中，本公开描述了一种用于相机处理的方法，包括：检测利用主相机捕捉的图像内容的第一感兴趣区域；检测利用辅助相机捕捉的图像内容的第二感兴趣区域；比较第一感兴趣区域和第二感兴趣区域；基于辅助相机的自动对焦过程来确定辅助相机的辅助相机镜头的第一镜头位置；基于主相机的主相机镜头的确定的镜头位置来确定辅助相机的辅助相机镜头的第二镜头位置；基于第一镜头位置或第二镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置或第二镜头位置至少部分基于第一感兴趣区域和第二感兴趣区域的比较；以及使辅助相机在确定的镜头位置利用辅助相机镜头捕捉图像。
在另一示例中，本公开描述了一种其上储存有指令的计算机可读储存介质，该指令在被执行时使一个或多个处理器：检测利用主相机捕捉的图像内容的第一感兴趣区域；检测利用辅助相机捕捉的图像内容的第二感兴趣区域；比较第一感兴趣区域和第二感兴趣区域；基于辅助相机的自动对焦过程来确定辅助相机的辅助相机镜头的第一镜头位置；基于主相机的主相机镜头的确定的镜头位置来确定辅助相机的辅助相机镜头的第二镜头位置；基于第一镜头位置或第二镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置或第二镜头位置至少部分基于第一感兴趣区域和第二感兴趣区域的比较；以及使辅助相机在确定的镜头位置利用辅助相机镜头捕捉图像。
在另一示例中，本公开描述了一种用于相机处理的设备，包括：用于检测利用主相机捕捉的图像内容的第一感兴趣区域的部件；用于检测利用辅助相机捕捉的图像内容的第二感兴趣区域的部件；用于比较第一感兴趣区域和第二感兴趣区域的部件；用于基于辅助相机的自动对焦过程来确定辅助相机的辅助相机镜头的第一镜头位置的部件；用于基于主相机的主相机镜头的确定的镜头位置来确定辅助相机的辅助相机镜头的第二镜头位置的部件；用于基于第一镜头位置或第二镜头位置来确定辅助相机镜头的镜头位置的部件，该第一镜头位置或第二镜头位置至少部分基于第一感兴趣区域和第二感兴趣区域的比较；以及用于使辅助相机在确定的镜头位置利用辅助相机镜头捕捉图像的部件。
该发明内容旨在提供本公开中描述的主题的概述。它并不旨在提供对本文附图和说明书内详细描述的系统、设备和方法的排他的或详尽的解释。在附图和下面的说明书中阐述了所公开的技术的一个或多个示例的进一步细节。所公开的技术的其他特征、对象和优点将从说明书、附图和权利要求中变得显而易见。
附图说明
图1是被配置用于执行本公开中描述的一个或多个示例技术的设备的框图。
图2是更详细地示出了图1的计算设备的示例组件的框图。
图3是示出了图2的自动对焦单元的示例组件的框图。
图4是示出了根据本公开的示例技术的相机处理的示例操作的流程图。
图5是示出了根据本公开的示例技术的相机处理的另一示例操作的流程图。
在整个说明书和附图中，相同的附图标记标志相同的元件。
具体实施方式
对于图像捕捉，主相机(有时被称为主要相机)和辅助相机(有时被称为跟随相机或从属相机)协同工作进行图像处理。作为一个示例，对于景深(例如，散景)效果，主相机和辅助相机都捕捉图像，并且相机处理器处理所捕捉的图像以生成深度图(depth map)并且产生展现特定景深的图像。景深是对焦清晰的最近和最远对象之间的距离。对于散景效果，景深可能相当浅。
散景被定义为当拍摄前景中的主体(例如，肖像主体)时实现的柔和失焦背景的效果。可以在具有较小形状因子的设备(例如，移动电话)上使用后处理和深度图来实现散景效果，即使这种设备上的相机镜头本身并不产生散景效果。例如，移动设备可以包括多个相机，并且可以同时或在接近的时间上利用两个不同的相机(例如，主相机和辅助相机)来捕捉图像。因为这两个相机以物理距离被分离，所以可以基于第一图像中的特征与第二图像中的特征的比较来计算这两个图像的第一图像中的特征的深度(例如，距相机传感器的距离)。散景效果处理然后可以使用所计算的深度图来模糊图像中的像素。例如，在匹配图像的焦距的深度处的像素和/或特征保持对焦，而远离焦距的像素被模糊。在一个示例中，不与焦距在相同深度的像素和/或特征都以相同的速率模糊。在另一示例中，像素和/或特征离焦距越远，可以由散景效应应用的模糊就越多。
对于可以实现特定景深的图像捕捉，诸如对于散景效果，主相机用于图像预览并且执行自动对焦，而辅助相机用于深度估计。示例技术是针对景深效果来描述的，但是可以适用于其他技术，诸如用于图像融合的技术(例如，来自两个或更多个相机的图像内容被融合)。
在一些示例中，来自主相机和辅助相机的图像都被用于确定深度估计。在一些技术中，作为主相机的自动对焦的一部分，一个或多个处理器确定主相机镜头的镜头位置，并且一个或多个处理器基于主相机镜头的位置确定辅助相机镜头的镜头位置。在一些情况下，基于主相机的镜头位置来确定辅助相机镜头的镜头位置会导致辅助相机镜头的不正确定位。辅助相机镜头的不正确定位可能会导致不准确的深度图，这可能会导致像散景这样的景深效果有较低的质量。
本公开描述了示例技术，其中，一个或多个处理器利用自动对焦来确定辅助相机镜头位置。一个或多个处理器然后可以将辅助相机镜头的位置设置为由辅助相机的自动对焦确定的镜头位置或者基于主相机的镜头位置来确定的镜头位置。例如，基于辅助相机的自动对焦来确定的辅助相机镜头位置可以是第一镜头位置，并且基于主相机镜头的镜头位置来确定的辅助相机镜头位置可以是第二镜头位置。一个或多个处理器可以基于一个或多个某些标准是否被满足来确定辅助镜头位置应该被设置为第一镜头位置还是第二镜头位置。
相应地，示例技术可以被认为是用于辅助相机的混合自动对焦技术，其中，可以基于主相机的镜头位置或者基于辅助相机的确定的镜头位置来选择性地设置辅助相机的镜头位置。示例技术可以导致由主相机和辅助相机捕捉的清晰的图像内容，这可以导致更好的图像效果。例如，利用图像融合(例如，来自主相机和辅助相机两者的图像内容)的图像效果(诸如散景效果)可以产生更高质量的图像内容。
作为一个示例，一个或多个处理器可以确定主相机和辅助相机两者的自动对焦是否基于相同感兴趣区域的识别(例如，来自面部检测算法的面部)。如果一个或多个处理器在利用主相机和辅助相机捕捉的图像中识别不同的感兴趣区域，那么一个或多个处理器可以为辅助相机选择第二镜头位置(例如，基于主相机镜头的镜头位置确定的辅助相机镜头位置)。如果一个或多个处理器识别相同的感兴趣区域，那么一个或多个处理器可以确定与确定深度估计的一个或多个深度估计算法(例如，相位检测自动对焦(PDAF)或飞行时间(TOF)算法)相关联的置信度是否大于阈值。如果置信度大于阈值，那么一个或多个处理器可以选择辅助相机的第一镜头位置(例如，基于辅助相机的自动对焦确定的辅助相机镜头位置)。如果置信度小于阈值，那么一个或多个处理器可以选择辅助相机的第二镜头位置(例如，基于主相机镜头的镜头位置确定的辅助相机镜头位置)。
一个或多个处理器可以基于各自确定的镜头位置来设置主相机和辅助相机的镜头位置。一个或多个处理器可以处理捕捉的图像，诸如创建散景效果，并且生成最终图像用于显示。
图1是计算设备10的框图，该计算设备10被配置用于针对多相机系统中的辅助相机的镜头位置执行本公开中描述的一个或多个示例技术。计算设备10的示例包括计算机(例如，个人计算机、台式计算机或膝上型计算机)、诸如平板计算机的移动设备、无线通信设备(诸如移动电话、蜂窝电话、卫星电话和/或移动电话手持机)、互联网电话、数码相机、数字录像机、诸如便携式视频游戏设备或个人数字助理(PDA)的手持设备、无人机设备或可以包括一个或多个相机的任何设备。
在一些示例中，计算设备10可以包括具有镜头13A的相机12A和具有镜头13B的相机12B、相机处理器14、中央处理单元(CPU)16、图形处理单元(GPU)18、相机处理器14的本地存储器20、用户界面22、提供对系统存储器30的访问的存储器控制器24、以及输出使图形数据显示在显示器28上的信号的显示处理器26。图1示出了两个相机，相机12A和相机12B(统称为相机12)，但是可以有附加的相机12。
在一些示例中，相机12不一定必须形成在计算设备10上，并且可以是耦合到计算设备10的单独的相机(例如，经由有线连接)。而且，尽管示出了一个相机处理器14，但是在一些示例中，可以有多个相机处理器，如相机处理器14(例如，耦合到相机12A的第一相机处理器和耦合到相机12B的第二相机处理器)。
同样，计算设备10上的组件可能比示出的更多或更少。例如，计算设备10可以包括用于编码或解码视频的视频编码器/解码器、用于通信的扬声器和麦克风、用于无线通信的天线和调制解调器等。
相机12可以各自包括用于捕捉光的表示的像素传感器(例如，像素)的相应阵列、处理电路、诸如缓冲存储器或片上传感器存储器的存储器等。相机12A和相机12B的镜头13A和13B(统称为镜头13)可以是不同类型的镜头(例如，每个镜头13和图像传感器组合具有不同的光圈和/或视场)。示例镜头可以包括长焦镜头、广角镜头、超广角镜头或其他类型的镜头。
相机12(例如，经由相应的镜头13和传感器)被配置用于捕捉至少一帧图像数据，并且将该至少一帧图像数据传送到相机处理器14和/或CPU16。在说明性示例中，相机12A被配置用于将第一帧图像数据传送到相机处理器14，并且相机12B被配置成将第二帧图像数据传送到相机处理器14。
在一些示例中，相机12A可以是主相机，而相机12B可以是辅助相机。例如，相机12B可以用于深度估计，诸如作为飞行时间相机，用于确定由相机12B的发光二极管(LED)输出的光返回到相机12B用于确定深度所花费的时间。作为另一示例，在预览模式期间(例如，在用户捕捉长期储存的图像帧之前)，显示器28可以显示正在由相机12A(例如，主相机)捕捉的图像内容，而不是来自相机12B(例如，辅助相机)的图像内容。
对于帧捕捉(例如，对于预览模式、快照或视频录制)，CPU16可以被配置用于执行自动对焦以设置镜头13的位置。在一些示例中，CPU16可以执行“3A”算法。这种算法可以包括自动对焦(AF)、自动曝光控制(AEC)和自动白平衡(AWB)技术。在这样的示例中，3A可以表示统计算法处理引擎的功能，其中CPU16可以实现和操作这样的处理引擎。尽管参考CPU16执行“3A”算法(包括执行自动对焦过程)描述了该示例，但是该示例技术不限于此。相机处理器14或其他处理电路，包括相机12的处理电路，可以被配置用于执行“3A”算法。
通常，本公开中描述的示例技术可以用处理电路来执行。处理电路的示例包括相机12、相机处理器14、CPU16、GPU18、显示处理器26或其任意组合的处理电路。为了便于解释，参考CPU16描述了示例技术，但是示例技术不应被认为是限于利用CPU16来执行。
为了自动对焦，镜头13A和镜头13B可以被配置用于沿着轴移动，以改变镜头13A和镜头13B与它们各自的传感器阵列之间的距离。位于轴一端的镜头13A和镜头13B可能导致对焦在附近的对象上，而位于轴另一端的镜头13A和镜头13B可能导致对焦在远处的对象上。
如更详细描述的，本公开描述了确定主相机12A和辅助相机12B的镜头13A和镜头13B的镜头位置的示例技术，这可以产生高质量图像用于显示(例如，用于生成准确深度图的镜头13A和13B的正确定位，这可以使像散景这样的景深效果有更高的质量)。例如，CPU16可以被配置用于基于辅助相机12B的自动对焦过程来确定辅助相机12B的辅助相机镜头13B的第一镜头位置。另外，CPU16可以被配置用于基于主相机12A的主相机镜头13A的确定的镜头位置(例如，使用映射函数)来确定辅助相机12B的辅助相机镜头13B的第二镜头位置。如更详细描述的，CPU16可以基于第一镜头位置或第二镜头位置来确定辅助相机镜头13B的镜头位置，该第一镜头位置或第二镜头位置至少部分基于某些标准被满足。
在一些技术中，CPU16可以在主相机(例如，相机12A)上执行自动对焦过程，以确定镜头13A的镜头位置。然后，CPU16可以基于镜头13A的镜头位置来确定镜头13B的镜头位置，而不是在辅助相机(例如，相机12B)上执行自动对焦过程。作为一个示例，CPU16可以应用映射函数(F(x))，其中x是输入参数和镜头13A的位置，并且映射函数的输出是镜头13B的位置。
在一些情况下，CPU16基于镜头13A的镜头位置确定镜头13B的镜头位置可能导致镜头13B的不精确定位。镜头13B的不精确定位的一个可能原因可能是因为基于镜头13A的镜头位置来映射镜头13B的镜头位置的映射函数(例如，F(x))可能没有考虑制造中的差异。例如，映射函数的精度可能取决于几个因素，诸如相机12B的模块校准的锚数据错误率、相机12B的温度上升/烧入(burn in)、相机12B的变化和装配等。
根据本公开中描述的一个或多个示例，CPU16可以被配置用于在用于辅助相机12B的辅助相机镜头13B的第一镜头位置或第二镜头位置之间进行选择。第一镜头位置可以基于辅助相机12B的自动对焦过程，并且第二镜头位置可以基于主相机12A的主相机镜头13A的确定的镜头位置。以这样的方式，在第一镜头位置是更好的镜头位置的情况下(例如，就产生用于生成具有散景效果的高质量图像的更准确的深度信息而言)，CPU16可能能够将镜头13B的镜头位置设置为第一位置。然而，在第二镜头位置是更好的镜头位置的情况下(例如，就产生用于生成具有散景效果的高质量图像的更准确的深度信息而言)，CPU16可能能够将镜头13B的镜头位置设置为第二位置。
在一些示例中，相机处理器14被配置用于从相机12接收图像帧(例如，像素数据)，并且处理图像帧以生成图像和/或视频内容。例如，相机12可以被配置用于捕捉单个帧、帧突发、用于生成视频内容的帧序列、在录制视频时捕捉的静止照片、预览帧或在捕捉静止照片之前和/或之后的运动照片。CPU16、GPU18、相机处理器14或一些其他电路可以被配置用于将相机12捕捉的图像和/或视频内容处理成图像或视频以在显示器28上显示。图像帧通常可以指静止图像的数据帧或视频数据帧或其组合，诸如运动照片。相机处理器14可以从相机12接收任何格式的图像帧的像素数据。例如，像素数据可以包括不同的颜色格式，诸如RGB、YCbCr、YUV等。在任何情况下，相机处理器14可以从相机12接收多帧图像数据。
在包括多个相机处理器14的示例中，相机处理器14可以共享相机12，其中，每个相机处理器14可以与每个相机12接口。在任何情况下，相机处理器14可以使用相机12的多个像素传感器来发起对场景的视频或图像的捕捉。在一些示例中，视频可以包括一系列单独的帧。这样，相机处理器14使相机12使用多个像素传感器来捕捉图像。
相机12然后可以将像素信息输出到相机处理器14(例如，像素值、亮度值、色彩值、电荷值、模数单位(ADU)值等)，像素信息表示捕捉的图像或捕捉的图像序列。在一些示例中，相机处理器14可以处理单色和/或彩色图像，以获得场景的增强的彩色图像。在一些示例中，相机处理器14可以为不同类型的像素混合确定通用混合权重系数，或者可以为混合构成像素帧的不同类型的像素确定不同的混合权重系数(例如，用于混合经由相机12A的单色传感器获得的像素和经由相机12B的单色传感器获得的像素的第一混合权重系数，用于混合经由第一相机12A的Bayer传感器获得的像素和经由第二相机12B的Bayer传感器获得的像素的第二混合权重系数等)。
如上文所描绘的，CPU16可以被配置用于基于第一镜头位置或第二镜头位置来确定辅助相机镜头13B的镜头位置，该第一镜头位置或第二镜头位置至少部分基于某些标准被满足。要满足的标准的一个示例是基于在利用主相机12A捕捉的图像内容中检测到的感兴趣区域和利用辅助相机12B捕捉的图像内容中检测到的感兴趣区域的比较。
作为一个示例，CPU16可以被配置用于检测利用主相机12A捕捉的图像内容中的第一感兴趣区域(ROI)，并且检测利用辅助相机12B捕捉的图像内容中的第二ROI。ROI可以是对象(例如，通过面部检测的面部、通过宠物检测的宠物、前景中的对象等)。CPU16可以被配置用于比较第一ROI和第二ROI，以确定第一ROI中的对象是否与第二ROI中的对象相同(例如，检测到相同的面部，检测到相同数量的面部，并且如果检测到多个面部，那么主要面部是相同的等)。CPU16可以被配置用于基于第一镜头位置或第二镜头位置来确定辅助相机镜头13B的镜头位置，该第一镜头位置或第二镜头位置至少部分基于第一感兴趣区域与第二感兴趣区域的比较(例如，部分基于第一ROI中的对象与第二ROI中的对象相同)。
作为另一示例，第一ROI和第二ROI可以指示利用主相机12A和辅助相机12B捕捉的相应帧中的位置。例如，第一ROI和第二ROI可以是由相应坐标定义的矩形区域。CPU16可以被配置用于比较第一ROI的位置和第二ROI的位置(例如，比较ROI的长度和宽度、ROI的坐标等)。CPU16可以被配置用于基于第一镜头位置或第二镜头位置来确定辅助相机镜头13B的镜头位置，该第一镜头位置或第二镜头位置至少部分基于第一感兴趣区域与第二感兴趣区域的比较(例如，部分基于第一ROI的位置与第二ROI的位置相同)。
在以上示例中，CPU16可以基于第一镜头位置或第二镜头位置来确定辅助相机镜头13B的镜头位置，该第一镜头位置或第二镜头位置至少部分基于第一感兴趣区域与第二感兴趣区域的比较。例如，如果第一感兴趣区域和第二感兴趣区域是相同的(例如，第一ROI和第二ROI中的相同对象或者第一ROI和第二ROI的相同位置)，那么CPU16可以基于第一镜头位置来确定辅助相机镜头13B的镜头位置(例如，辅助相机镜头13B的镜头位置是基于辅助相机12B的自动对焦过程的镜头位置)。然而，如果第一感兴趣区域和第二感兴趣区域不同(例如，第一ROI和第二ROI中的不同对象或者第一ROI和第二ROI的不同位置)，那么CPU16可以基于第二镜头位置来确定辅助相机镜头13B的镜头位置(例如，辅助相机镜头13B的镜头位置基于主相机12A的主相机镜头13A的镜头位置)。
在一些示例中，即使第一感兴趣区域和第二感兴趣区域相同，CPU16也可以利用附加标准来确定辅助相机镜头13B的镜头位置应该基于第一镜头位置还是第二镜头位置。作为一个示例，作为自动对焦的一部分，CPU16可以利用一个或多个深度估计算法来确定对焦于何处。深度检测算法的一个示例是相位检测自动对焦(PDAF)算法。深度检测算法的另一示例是飞行时间(TOF)算法。下面将更详细地描述PDAF算法和TOF算法。
在一个或多个示例中，深度检测算法还可以生成指示自动对焦确定是正确的置信度的置信度值。例如，深度检测算法可以指示深度检测算法在确定对焦于何处时有多自信。在一些示例中，如果置信度值低于阈值，那么即使第一感兴趣区域和第二感兴趣区域相同，CPU16也可以确定辅助相机镜头13B的镜头位置应该基于第二镜头位置(例如，基于主相机镜头13A的镜头位置)。
在CPU16(例如，基于相机12A的自动对焦过程)确定辅助相机镜头13B的镜头位置和主相机镜头13A的镜头位置之后，CPU16可以使辅助相机12B在确定的镜头位置利用辅助相机镜头13B捕捉图像，并且使主相机12A在确定的镜头位置利用主相机镜头13A捕捉图像。在一些示例中，CPU16和/或相机处理器14可以基于主相机l2A和辅助相机12B捕捉的图像来生成最终图像。作为一个示例，CPU16和/或相机处理器14可以基于利用主相机12A捕捉的第一图像和利用辅助相机12B捕捉的第二图像来生成具有散景效果的最终图像。
散景效果可以被定义为当拍摄前景中的主题(例如，肖像)时实现的柔和失焦背景的效果。在数码单镜头反光(DSLR)相机中，可以通过使用具有不同视场和镜头几何形状的不同镜头来实现不同的散景效果。当使用大约2倍变焦的长焦镜头时，散景效果对于肖像来说通常是审美愉悦的。
相机处理器14还可以通过应用使用深度图的后处理来实现散景效果。例如，相机处理器14可以指示相机12同时生成两幅图像。因为相机12的传感器以物理距离被分离，所以可以基于与由辅助相机12B生成的第二图像中的那些特征的比较来计算两幅图像中来自主相机12A的第一图像的特征的深度。相机处理器14然后可以通过使用所计算的深度图来模糊图像中的特征对从相机12A产生的图像应用散景效果。例如，相机处理器14可以在匹配所生成的图像的焦距的深度处保持对焦特征，而相机处理器14可以模糊离焦距较远的特征。在一些示例中，像素离焦距越远，相机处理器14可以应用的散景效果越模糊。
尽管计算设备10的各种结构在图1中被示为是分离的，但是本公开的技术不限于此，并且在一些示例中，这些结构可以被组合以形成片上系统(SoC)。例如，相机处理器14、CPU16、GPU18和显示处理器26可以形成在公共集成电路(IC)芯片上。在一些示例中，相机处理器14、CPU16、GPU18和显示处理器26中的一个或多个可以形成在单独的IC芯片上。各种其他排列和组合是可能的，并且本公开的技术不应被认为限于图1中所示的示例。在一示例中，CPU16可以包括相机处理器14，使得一个或多个相机处理器14是CPU16的一部分。在这样的示例中，CPU16可以被配置用于执行本文归于相机处理器14的各种技术中的一种或多种。
图1所示的各种结构可以被配置用于使用总线32相互通信。总线32可以是各种总线结构中的任何一种，诸如第三代总线(例如，超传输总线(HyperTransport bus)或无限贷款总线(InfiniBand bus))、第二代总线(例如，高级图形端口总线、外围组件互连(PCI)快速总线或高级可扩展接口(AXI)总线)或另一类型的总线或设备互连。应当注意，图1所示的不同结构之间的总线和通信接口的具体配置仅仅是示例性的，并且具有相同或不同结构的计算设备和/或其他图像处理系统的其他配置可以用于实现本公开的技术。
另外，图1中所示的各种组件(无论是形成在一个设备上还是不同的设备上)，包括相机12和相机处理器14，可以形成为固定功能或可编程电路中的至少一个，或者两者的组合，诸如在一个或多个微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或者其他等效的集成或分立逻辑电路中。另外，本地存储器20的示例包括一个或多个易失性或非易失性存储器或储存设备，诸如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁性数据介质或光储存介质。
例如，本地存储器20可以提供由相机处理器14产生或利用的值的临时储存。在一些示例中，本地存储器20还可以为计算设备10的其他组件(诸如CPU16、GPU18和显示处理器26)提供存储器。
在一些示例中，存储器控制器24可以促进进出系统存储器30的数据传送。例如，存储器控制器24可以接收存储器读和写命令，并且相对于存储器30服务这些命令，以便为计算设备10的各种组件提供存储器服务。在这样的示例中，存储器控制器24可以通信地耦合到系统存储器30。尽管存储器控制器24在图1的计算设备10的示例中被示为与CPU16和系统存储器30两者分离的处理电路，但是在一些示例中，存储器控制器24的一些或所有功能可以在CPU16、系统存储器30、相机处理器14和/或GPU18中的一个或多个上实现。
系统存储器30可以储存可以由相机处理器14、CPU16和/或GPU18访问的程序模块和/或指令和/或数据。例如，系统存储器30可以储存用户应用(例如，用于相机应用的指令)、来自相机处理器14的结果图像等。系统存储器30还可以储存由计算设备10的其他组件使用和/或生成的信息。例如，系统存储器30可以充当相机处理器14的设备存储器。系统存储器30可以包括一个或多个易失性或非易失性存储器或储存设备，诸如，例如RAM、SRAM、DRAM、ROM、EPROM、EEPROM、闪存、磁数据介质或光储存介质。另外，系统存储器30可以储存图像数据(例如，视频数据的帧、编码的视频数据、传感器模式设置、变焦设置、3A参数等)。
在一些示例中，系统存储器30或本地存储器20可以将图像数据储存到片上存储器，诸如系统存储器30或本地存储器20的存储缓冲器中。在另一示例中，系统存储器30或本地存储器20可以输出图像数据，以便从芯片或缓冲器的存储器外部储存，诸如储存到相机设备的安全数字(SDTM)卡，或者在一些情况下，储存到相机设备的另一内部储存器。在说明性示例中，系统存储器30或本地存储器20可以体现为相机处理器14芯片、GPU18芯片或两者上的缓冲存储器，其中单个芯片包括两个处理电路。
在一些示例中，系统存储器30可以包括使相机处理器14、CPU16、GPU18和/或显示处理器26执行归于本公开中这些组件的功能的指令。相应地，系统存储器30可以是在其上储存指令的计算机可读储存介质，该指令在被执行时使一个或多个处理器(例如，相机处理器14、CPU16、GPU18和显示处理器26)执行本公开的各种技术。
在一些示例中，系统存储器30是非暂时性储存介质。术语“非暂时性”指示储存介质不体现在载波或传播信号中。然而，术语“非暂时性”不应被解释为意味着系统存储器30是不可移动的或者其内容是静态的。作为一个示例，系统存储器30可以从计算设备10移除，并且移动到另一设备。作为另一示例，基本上类似于系统存储器30的存储器可以被插入到计算设备10中。在某些示例中，非临时性储存介质可以储存可以随时间改变的数据(例如，在RAM中)。
另外，相机处理器14、CPU16和GPU18可以储存图像数据、用户界面数据等。在系统存储器30内分配的各个缓冲器中。显示处理器26可以从系统存储器30中检索数据，并且配置显示器28以显示由图像数据表示的图像，诸如经由用户界面22屏幕。在一些示例中，显示处理器26可以包括数模转换器(DAC)，其被配置用于将从系统存储器30检索的数字值转换为可以由显示器28消耗的模拟信号。在其他示例中，显示处理器26可以将数字值直接传递给显示器28进行处理。
CPU16可以包括控制计算设备10的操作的通用或专用处理器。用户可以向计算设备10提供输入，以使CPU16执行一个或多个软件应用。在CPU16上执行的软件应用可以包括，例如，相机应用、图形编辑应用、媒体播放器应用、视频游戏应用、图形用户界面应用或其他程序。例如，相机应用可以允许用户控制相机12的各种设置。用户可以经由一个或多个输入设备(未示出)向计算设备10提供输入，这些输入设备诸如键盘、鼠标、麦克风、触摸板或经由用户界面22耦合到计算设备10的另一输入设备。
一个示例软件应用是相机应用。CPU16执行相机应用，并且作为响应，相机应用使CPU16生成显示器28输出的内容。例如，显示器28可以输出诸如光强度、是否启用闪光，以及其他这样的信息。相机应用还可以使CPU16指示相机处理器14以用户定义的方式处理相机12输出的图像。计算设备10的用户可以与显示器28接口(例如，经由用户界面22)以配置生成图像的方式(例如，应用缩放设置、有或没有闪光、对焦设置、曝光设置、视频或静止图像以及其他参数)。例如，CPU16可以经由用户接口22接收应用景深效果的指令，诸如散景效果(例如，在所谓的“肖像”模式中)。肖像模式可以进一步包括指示要应用的模糊量的散景设置。
显示器28可以包括监视器、电视、投影设备、HDR显示器、液晶显示器(LCD)、等离子体显示面板、发光二极管(LED)阵列、有机LED(有机发光二极管)、电子纸、表面传导电子发射显示器(SED)、激光电视显示器、纳米晶体显示器或另一类型的显示单元。显示器28可以集成在计算设备10内。例如，显示器28可以是移动电话手持机、平板电脑或膝上型电脑的屏幕。可替代地，显示器28可以是经由有线或无线通信链路耦合到计算设备10的独立设备。例如，显示器28可以是经由电缆或无线链路连接到个人计算机的计算机监视器或平板显示器。显示器28可以提供预览帧，用户可以查看这些预览帧以了解正在储存什么，或者如果相机12A实际拍摄照片或开始录制视频，照片看起来会是什么样子。
图2是更详细地示出了图1的计算设备的示例组件的框图。在图2中，相机12A包括传感器15A，并且相机12B包括传感器15B。镜头13A可以将光导向传感器15A，传感器15A将光转换成电信号进行处理。类似地，镜头13B可以将光导向传感器15B，传感器15B将光转换成电信号进行处理。
如所示出的，CPU16可以被配置用于执行ROI检测器34A、ROI检测器34B、AF单元36A和AF单元36B。尽管ROI检测器34A、ROI检测器34B、AF单元36A和AF单元36B被示为在CPU16的可编程电路上执行，但是在一个或多个示例中，ROI检测器34A、ROI检测器34B、AF单元36A和AF单元36B可以被形成为在CPU16内或CPU16外部的固定功能电路。在一些示例中，ROI检测器34A、ROI检测器34B、AF单元36A和AF单元36B可以被形成在相机处理器14内。
ROI检测器34A可以被配置用于检测利用相机12A(例如，主相机)捕捉的图像中的第一感兴趣区域，并且ROI检测器34B可以被配置用于检测利用相机12B(例如，辅助相机)捕捉的图像中的第二感兴趣区域。作为一个示例，ROI检测器34A和ROI检测器34B可以被配置用于分别在由相机12A和相机12B捕捉的图像中执行面部检测。例如，ROI检测器34A和ROI检测器34B可以分别确定由相机12A和相机12B捕捉的图像中的面部数量和面部位置。
捕捉的图像中的面部是感兴趣区域中的对象的一个示例，并且不应该被认为是限制性的。ROI检测器34A和ROI检测器34B可以被配置用于检测的对象的其他示例包括宠物、前景对象、高对比度区域等。通常，ROI检测器34A和ROI检测器34B可以被配置用于检测用于检测感兴趣区域的对象。检测到的感兴趣区域可以位于捕捉的图像内的任何地方。
AF单元36A和AF单元36B可以被配置用于分别确定镜头13A和镜头13B的镜头位置。AF单元36A和AF单元36B可以利用一种或多种自动对焦技术，其示例包括对比度检测自动对焦、相位检测自动对焦(PDAF)和飞行时间(TOF)自动对焦(例如，激光自动对焦)。在一些示例中，PDAF和TOF或其他类型的自动对焦技术可以被认为是深度估计算法的示例，因为PDAF和TOF确定将镜头13A和镜头13B定位于何处，这可以基于对焦的对象或区域有多远。
对于PDAF，AF单元36A和AF单元36B可以分别利用经由镜头13A在传感器15A的不同光电二极管上捕捉的光和经由镜头13B在传感器15B的光电二极管上捕捉的光之间的相位差，来控制应该对焦哪个区域。
AF单元36A可以利用传感器15A的光电二极管对相机12A执行PDAF，而不利用传感器15B的光电二极管。例如，传感器15A的每个光电二极管可以分成两半，并且作为两个示例，相机12A或相机处理器14的电路可以测量信号像素传感器的两半之间的相位差。光电二极管可以被称为2PD传感器或双光电二极管传感器。AF单元36B可以类似地为相机12B执行PDAF。可能还有其他PDAF技术的示例。
PDAF可以基于利用不同不对称孔径生成的两个或多个图像的比较。当镜头13A或镜头13B未对焦时，可以检测由不对称模糊的不同形状引起的视差。视差的大小和方向与散焦量和方向有关。AF单元36A和AF单元36B可以使用在传感器像素级实现的PDAF，其使用掩蔽层、双二极管或特殊镜头设计。这允许计算设备10以很少或没有增加的成本可靠并且有效地对焦。
在一些示例中，AF单元36A和AF单元36B可以产生AF单元36A和AF单元36B评估以使用PDAF技术来确定镜头13A和13B的位置的镜头位置范围。例如，AF单元36A和AF单元36B可以输出初始镜头位置，其被称为散焦值，其中在镜头13A和镜头13B的传感器的不同光电二极管上捕捉的光之间存在零相位差。AF单元36A和AF单元36B还可以输出指示散焦值的置信度的散焦置信度值。
对于TOF，激光器或发光二极管(LED)输出从对象反射回来的人造光信号，并且基于光的往返时间，AF单元36A和AF单元36B可以确定对象的距离。基于对象的距离，AF单元36A和AF单元36B可以确定自动对焦于何处(例如，对焦于最近的对象上)。类似于PDAF，AF单元36A和AF单元36B可以产生置信度值，该置信度值指示AF单元36A和AF单元36B已经正确地确定最近的对象方面有多自信。
根据本发明中描述的一个或多个示例，AF单元36A可以使用示例自动对焦技术(例如，PDAF、TOF、来自ROI检测器34A的ROI检测等)来确定镜头13A的镜头位置。然而，AF单元36B可以基于深度估计算法或基于镜头13A确定的镜头位置来确定镜头13B镜头位置，该镜头13A确定的镜头位置基于某些标准是否被满足。
例如，AF单元36B可以基于辅助相机12B的自动对焦过程(例如，基于PDAF或TOF，或可能如对比度检测的某一其它技术)来确定辅助相机12B的辅助相机镜头13B的第一镜头位置。AF单元36B可以基于主相机12A的主相机镜头13A的确定的镜头位置来确定辅助相机12B的辅助相机镜头13B的第二镜头位置。作为一个示例，AF单元36B可以利用映射函数来基于由AF单元36A确定的镜头13A的位置来确定辅助相机12B的辅助相机镜头13B的第二位置。AF单元36B可以被配置用于响应于某些标准被满足而基于第一镜头位置或第二镜头位置来确定辅助相机镜头13B的镜头位置。
举例来说，如上文所描述的，ROI检测器34A可以检测利用主相机12A捕捉的图像内容的第一感兴趣区域，并且ROI检测器34B可以检测利用辅助相机12B捕捉的图像内容的第二感兴趣区域(例如，相机12B被利用于深度估计)。AF单元36B可以被配置用于比较第一感兴趣区域和第二感兴趣区域。
作为一个示例，比较第一感兴趣区域和第二感兴趣区域可以包括AF单元36B比较第一感兴趣区域中的对象和第二感兴趣区域中的对象。在这样的示例中，确定镜头位置可以包括AF单元36B基于第一镜头位置来确定辅助相机镜头13B的镜头位置，该一镜头位置至少部分基于第一感兴趣区域中的对象与第二感兴趣区域中的对象相同。然而，如果第一感兴趣区域中的对象与第二感兴趣区域中的对象不同，那么AF单元36B可以基于第二镜头位置(例如，基于映射主相机12A的主相机镜头13A的确定的镜头位置的映射函数)来确定辅助相机镜头13B的镜头位置。
作为另一示例，比较第一感兴趣区域与第二感兴趣区域可以包括AF单元36B比较第一感兴趣区域的位置与第二感兴趣区域的位置。在这样的示例中，确定镜头位置可以包括AF单元36B基于第一镜头位置来确定辅助相机镜头13B的镜头位置，该第一镜头位置至少部分基于第一感兴趣区域的位置与第二感兴趣区域的位置相同。然而，如果第一感兴趣区域的位置与第二感兴趣区域的位置不同，那么AF单元36B可以基于第二镜头位置(例如，基于映射主相机12A的主相机镜头13A的确定的镜头位置的映射函数)来确定辅助相机镜头13B的镜头位置。
在以上示例中，AF单元36B基于第一感兴趣区域和第二感兴趣区域中的对象相同或者基于第一感兴趣区域和第二感兴趣区域的位置相同来确定辅助相机镜头13B的镜头位置应该是第一镜头位置。然而，在一些示例中，即使第一感兴趣区域和第二感兴趣区域中的对象相同或者第一感兴趣区域和第二感兴趣区域的位置相同，AF单元36B也可以被配置用于基于附加标准来确定辅助相机镜头13B的镜头位置应在第一位置还是第二位置。
作为一个示例，AF单元36B可以确定与辅助相机12B的深度估计算法相关联的置信度值。深度估计算法是相位检测自动对焦(PDAF)算法或飞行时间(TOF)算法之一。例如，如上文所描述的，可能存在与PDAF或TOF相关联的置信度值。在这样的示例中，确定辅助相机镜头13B的镜头位置可以包括基于第一镜头位置来确定辅助相机镜头13B的镜头位置，该第一镜头位置基于比较和大于阈值的置信度值。
也就是说，如果第一感兴趣区域与第二感兴趣区域的比较指示对象是相同的(例如，包括检测到相同数量的对象)和/或位置是相同的，并且与深度估计算法相关联的置信度值大于阈值，那么AF单元36B可以基于第一镜头位置来确定辅助相机镜头13B的镜头位置(例如，其中第一镜头位置基于辅助相机12B的自动对焦过程)。然而，如果第一感兴趣区域与第二感兴趣区域的比较指示对象相同(例如，包含检测到相同数目的对象)和/或位置相同，但与深度估计算法相关联的置信度值小于或等于阈值，那么AF单元36B可以基于第二镜头位置(例如，其中第二镜头位置基于主相机12A的主相机镜头13A的确定的镜头位置)。
在一些示例中，AF单元36B可以利用PDAF和TOF算法两者。例如，AF单元36B可以确定与用于辅助相机12B的第一深度估计算法(例如，PDAF)相关联的第一置信度值，以及与用于辅助相机12B的第二深度估计算法(例如，TOF)相关联的第二置信度值。在此示例中，确定辅助相机镜头13B的镜头位置可以包括AF单元36B基于第一镜头位置来确定辅助相机镜头13B的镜头位置、该第一镜头位置基于比较、小于第一阈值的第一置信度值和大于第二阈值的第二置信度值。
也就是说，如果第一感兴趣区域与第二感兴趣区域的比较指示对象相同(例如，包括检测到相同数量的对象)和/或位置相同，并且与第一深度估计算法(例如，PDAF)相关联的第一置信度值小于第一阈值，那么AF单元36B可以确定与第二深度估计算法(例如，TOF)相关联的第二置信度值是否大于第二阈值。如果与第二深度估计算法相关联的第二置信度值大于第二阈值，那么AF单元36B可以基于第一镜头位置(例如，基于辅助相机12B的自动对焦过程)来确定辅助相机镜头13B的镜头位置。如果与第二深度估计算法相关联的第二置信度值小于或等于第二阈值，那么AF单元36B可以基于第二镜头位置(例如，基于主相机12A的主相机镜头13A的确定的镜头位置)来确定辅助相机镜头13B的镜头位置。
图3是示出了图2的自动对焦单元的示例组件的框图。例如，图3更详细地示出了AF单元36B。如图所示，AF单元36B包括位置映射单元40、PDAF单元42和TOF单元44。PDAF单元42和/或TOF单元44可以被配置用于基于辅助相机12B的自动对焦过程(例如，分别为PDAF或TOF)来确定辅助相机12B的辅助相机镜头13B的第一镜头位置。另外，PDAF单元42可以确定指示基于PDAF确定的镜头位置的置信度的第一置信度值，并且TOF单元44可以确定指示基于TOF确定的对象的置信度的第二置信度值。位置映射单元40可以被配置用于基于主相机12A的主相机镜头13A的确定的镜头位置(例如，由AF单元36A确定的)来确定辅助相机12B的辅助相机镜头13B的第二镜头位置。
聚集单元46可以基于第一镜头位置或第二镜头位置来确定辅助相机镜头13B的镜头位置。例如，聚集单元46可以接收利用ROI检测器34A检测的主相机12A捕捉的图像内容的第一感兴趣区域，接收利用辅助相机12B捕捉的图像内容的第二感兴趣区域，接收与PDAF单元42相关联的第一置信度值，并且接收与TOF单元44相关联的第二置信度值。聚集单元46可以利用所接收的信息来基于第一镜头位置或第二镜头位置来确定辅助相机镜头13B的镜头位置。
为了易于理解，参考图4描述了图3的示例，图4示出了用于相机处理的方法。例如，图4是示出了根据本公开的示例技术的相机处理的示例操作的流程图。
聚集单元46可以确定是否满足第一标准(50)。第一标准的示例可以是是否只有一个对象要检测(例如，只有一个面部)，并且第一感兴趣区域和第二感兴趣区域是相同的对象还是相同的位置。例如，聚集单元46可以比较第一感兴趣区域与第二感兴趣区域以确定第一感兴趣区域中的对象与第二感兴趣区域中的对象是否相同，或确定第一感兴趣区域的位置与第二感兴趣区域的位置是否相同。
如果不满足第一标准(50的否)，那么聚集单元46可以确定是否满足第二标准(52)。第二标准的示例可以是是否有两个或更多个对象要检测(例如，两个或更多个面部)，并且第一感兴趣区域和第二感兴趣区域都是相同的主要对象(例如，主要面部)。除了在第二标准中有多个对象之外，第二标准和第一标准可以是相同的。为了满足第一和/或第二标准，第一感兴趣区域和第二感兴趣区域是相同的对象或相同的位置。
如果满足第一标准(50的是)或满足第二标准(52的是)，那么聚集单元46可以确定第一置信度值(例如，与PDAF相关联的置信度值)是否大于第一阈值(54)。如果聚集单元46确定第一置信度值大于第一阈值(54的是)，那么聚集单元46可以基于第一镜头位置(例如，基于用于辅助相机12B的PDAF自动对焦过程)来确定辅助相机镜头13B的镜头位置(56)。
如果聚集单元46确定第一置信度值小于或等于第一阈值(54的否)，那么聚集单元46可以确定第二置信度值(例如，与TOF相关联的置信度值)是否大于第二阈值(58)。如果聚集单元46确定第二置信度值大于第二阈值(58的是)，那么聚集单元46可以基于第一镜头位置(例如，基于用于辅助相机12B的TOF自动对焦过程)来确定辅助相机镜头13B的镜头位置(60)。
如果聚集单元46确定不满足第二标准(52的否)(例如，聚集单元46确定第一感兴趣区域中的对象不同于第二感兴趣区域中的对象)，或者如果第二置信度值小于第二阈值(58的否)，那么聚集单元46可以基于第二镜头位置(例如，基于主相机12A的主相机镜头13A的确定的镜头位置)来确定辅助相机镜头13B的镜头位置(62)。例如，聚集单元46可以将辅助相机镜头13B的镜头位置确定为来自位置映射单元40的输出。位置映射单元40可以被配置用于应用映射函数(F(x))来基于主相机12A的主相机镜头13A的确定的镜头位置来确定第二镜头位置。
在图4的示例中，利用了与PDAF相关联的置信度值和与TOF相关联的置信度值两者。然而，示例技术不限于此。例如，基于满足第一标准(50的是)或满足第二标准(52的是)，聚集单元46可以确定置信度值(例如，与PDAF相关联的置信度值或与TOF相关联的置信度值)是否大于阈值。基于置信度值大于阈值，聚集单元46可以基于第一镜头位置(例如，由PDAF单元42或TOF单元44确定的镜头位置)来确定辅助相机镜头13B的镜头位置。
图5是示出了根据本公开的示例技术的相机处理的另一示例操作的流程图。为简便起见，参考与被配置用于接收图像的存储器通信的一个或多个处理器描述了图5的用于相机处理示例的方法。一个或多个处理器的示例包括相机处理器14、CPU16、GPU18、相机12A和12B的处理电路、显示处理器26或计算设备10的其他处理电路。存储器的示例包括存储器30、本地存储器20或用于计算设备10的其他存储器。
一个或多个处理器可以检测利用主相机12A捕捉的图像内容的第一感兴趣区域(70)。例如，ROI检测器34A可以检测利用主相机12A捕捉的图像内容的第一感兴趣区域。一个或多个处理器可以检测利用辅助相机12B捕捉的图像内容的第二感兴趣区域(72)。例如，ROI检测器34B可以检测利用辅助相机12B捕捉的图像内容的第二感兴趣区域。
一个或多个处理器可以比较第一感兴趣区域和第二感兴趣区域(74)。例如，AF单元36B(例如，经由聚集单元46)可以比较第一感兴趣区域中的对象和第二感兴趣区域中的对象(例如，以确定对象是否相同)。作为另一示例，AF单元36B(例如，经由聚集单元46)可以比较第一感兴趣区域的位置与第二感兴趣区域的位置(例如，以确定位置是否相同)。在一些示例中，聚集单元46还可以确定是否确定了相同数量的对象(例如，仅一个面部或多个面部)。
一个或多个处理器可以基于辅助相机12B的自动对焦过程来确定辅助相机12B的辅助相机镜头13B的第一镜头位置(76)。例如，PDAF单元42可以基于辅助相机12B的PDAF自动对焦过程来确定辅助相机镜头13B的镜头位置，并且确定与PDAF相关联的置信度值(例如，第一置信度值)。TOF单元44可以基于辅助相机12B的TOF自动对焦过程来确定辅助相机镜头13B的镜头位置，并且确定与TOF相关联的置信度值(例如，第二置信度值)。
一个或多个处理器可以基于主相机12A的主相机镜头13A的确定的镜头位置来确定辅助相机12B的辅助相机镜头13B的第二镜头位置(78)。例如，位置映射单元40可以基于由AF单元36A确定的主相机镜头13A的镜头位置来确定第二镜头位置。
一个或多个处理器可以基于第一镜头位置或第二镜头位置来确定辅助相机镜头13B的镜头位置，该第一镜头位置或第二镜头位置至少部分基于第一感兴趣区域和第二感兴趣区域的比较(80)。例如，聚集单元46可以基于第一镜头位置来确定辅助相机镜头13B的镜头位置，该第一镜头位置至少部分基于第一感兴趣区域中的对象与第二感兴趣区域中的对象相同。例如，聚集单元46可以将辅助相机镜头13B的镜头位置设置为等于第一镜头位置。
然而，聚集单元46可以基于第二镜头位置来确定辅助相机镜头13B的镜头位置，该第二镜头位置至少部分基于指示第一感兴趣区域中的对象不同于第二感兴趣区域中的对象的比较。例如，聚集单元46可以将辅助相机镜头13B的镜头位置设置为等于第二镜头位置。
在一些示例中，为了确定辅助相机镜头13B的镜头位置，聚集单元46可以基于第一镜头位置来确定辅助相机镜头13B的镜头位置，该第一镜头位置基于比较和大于阈值的置信度值(例如，与PDAF或TOF相关联的置信度值)。例如，如果比较指示第一感兴趣区域和第二感兴趣区域是相同的(例如，相同的对象、相同的位置等)，那么聚集单元46可以确定置信度值是否大于阈值。如果置信度值大于阈值，那么聚集单元46可以基于第一镜头位置来确定辅助相机镜头13B的镜头位置(例如，辅助相机镜头13B的镜头位置等于第一镜头位置)。如果置信度值小于或等于阈值，那么聚集单元46可以基于第二镜头位置来确定辅助相机镜头13B的镜头位置(例如，辅助相机镜头13B的镜头位置等于第二镜头位置)。
在一些示例中，为了确定辅助相机镜头13B的镜头位置，聚集单元46可以基于第一镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置基于比较、小于第一阈值的第一置信度值(例如，与PDAF相关联的置信度值)和大于第二阈值的第二置信度值(例如，与TOF相关联的置信度值)。例如，如果比较指示第一感兴趣区域和第二感兴趣区域是相同的(例如，相同的对象、相同的位置等)，那么聚集单元46可以确定第一置信度值是否大于第一阈值。
如果第一置信度值小于或等于第一阈值，那么聚集单元46可以确定第二置信度值是否大于第二阈值。如果第二置信度值大于第二阈值，那么聚集单元46可以基于第一镜头位置来确定辅助相机镜头13B的镜头位置(例如，辅助相机镜头13B的镜头位置等于第一镜头位置)。如果第二置信度值小于或等于第二阈值，那么聚集单元46可以基于第二镜头位置来确定辅助相机镜头13B的镜头位置(例如，辅助相机镜头13B的镜头位置等于第二镜头位置)。
一个或多个处理器可以使辅助相机12B在确定的镜头位置利用辅助相机镜头13B捕捉图像(82)。例如，一个或多个处理器可以使主相机12A利用主相机镜头13A在其确定的镜头位置捕捉图像。一个或多个处理器可以执行图像处理以生成用于显示的图像内容。作为一个示例，一个或多个处理器可以基于利用主相机捕捉的第一图像和利用辅助相机捕捉的第二图像来生成具有散景效果的最终图像。
以下描述了本公开中描述的一个或多个示例技术。示例技术可以一起使用或单独使用。
条款1：一种被配置用于相机处理的设备，包括被配置用于接收图像的存储器；以及与存储器通信的一个或多个处理器，该一个或多个处理器被配置用于：检测利用主相机捕捉的图像内容的第一感兴趣区域；检测利用辅助相机捕捉的图像内容的第二感兴趣区域；比较第一感兴趣区域和第二感兴趣区域；基于辅助相机的自动对焦过程来确定辅助相机的辅助相机镜头的第一镜头位置；基于主相机的主相机镜头的确定的镜头位置来确定辅助相机的辅助相机镜头的第二镜头位置；基于第一镜头位置或第二镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置或第二镜头位置至少部分基于第一感兴趣区域和第二感兴趣区域的比较；以及使辅助相机在确定的镜头位置利用辅助相机镜头捕捉图像。
条款2：根据条款1的设备，其中，一个或多个处理器被配置用于基于利用主相机捕捉的第一图像和利用辅助相机捕捉的第二图像来生成具有散景效果的最终图像。
条款3：根据条款1和条款2中任一条款的设备，其中，比较第一感兴趣区域和第二感兴趣区域包括比较第一感兴趣区域中的对象和第二感兴趣区域中的对象，并且其中确定镜头位置包括基于第一镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置至少部分基于第一感兴趣区域中的对象与第二感兴趣区域中的对象相同。
条款4：根据条款1至条款3中任一条款的设备，其中，比较第一感兴趣区域和第二感兴趣区域包括比较第一感兴趣区域的位置和第二感兴趣区域的位置，并且其中确定镜头位置包括基于第一镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置至少部分基于第一感兴趣区域的位置与第二感兴趣区域的位置相同。
条款5：根据条款1至条款4中任一条款的设备，其中，一个或多个处理器被配置用于：确定与用于辅助相机的深度估计算法相关联的置信度值，其中，确定辅助相机镜头的镜头位置包括基于第一镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置基于比较和大于阈值的置信度值。
条款6：根据条款5的设备，其中，深度估计算法是相位检测自动对焦(PDAF)算法或飞行时间(TOF)算法之一。
条款7：根据条款1至条款6中任一条款的设备，其中，一个或多个处理器被配置用于：确定与用于辅助相机的第一深度估计算法相关联的第一置信度值和与用于辅助相机的第二深度估计算法相关联的第二置信度值，其中，确定辅助相机镜头的镜头位置包括基于第一镜头位置来确定辅助相机镜头的镜头位置，第一镜头位置基于比较、小于第一阈值的第一置信度值和大于第二阈值的第二置信度值。
条款8：根据条款7的设备，其中，第一深度估计算法是相位检测自动对焦(PDAF)算法，并且第二深度估计算法是飞行时间(TOF)算法。
条款9：根据条款1至条款8中任一条款的设备，其中，确定辅助相机镜头的镜头位置包括基于第二镜头位置来确定辅助相机镜头的镜头位置，第二镜头位置基于指示第一感兴趣区域中的对象不同于第二感兴趣区域中的对象的比较。
条款10：条款1至条款9中任一条款的设备，其中，该设备包括主相机和辅助相机。
条款11：一种用于相机处理的方法，包括检测利用主相机捕捉的图像内容的第一感兴趣区域；检测利用辅助相机捕捉的图像内容的第二感兴趣区域；比较第一感兴趣区域和第二感兴趣区域；基于辅助相机的自动对焦过程来确定辅助相机的辅助相机镜头的第一镜头位置；基于主相机的主相机镜头的确定的镜头位置来确定辅助相机的辅助相机镜头的第二镜头位置；基于第一镜头位置或第二镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置或第二镜头位置至少部分基于第一感兴趣区域和第二感兴趣区域的比较；以及使辅助相机在确定的镜头位置利用辅助相机镜头捕捉图像。
条款12：根据条款11的方法，进一步包括基于利用主相机捕捉的第一图像和利用辅助相机捕捉的第二图像来生成具有散景效果的最终图像。
条款13：根据条款11和条款12中任一条款的方法，其中，比较第一感兴趣区域和第二感兴趣区域包括比较第一感兴趣区域中的对象和第二感兴趣区域中的对象，并且其中确定镜头位置包括基于第一镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置至少部分基于第一感兴趣区域中的对象与第二感兴趣区域中的对象相同。
条款14：根据条款11至条款13中任一条款的方法，其中，比较第一感兴趣区域和第二感兴趣区域包括比较第一感兴趣区域的位置和第二感兴趣区域的位置，并且其中确定镜头位置包括基于第一镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置至少部分基于第一感兴趣区域的位置与第二感兴趣区域的位置相同。
条款15：根据条款11至条款14中任一条款的方法，进一步包括确定与用于辅助相机的深度估计算法相关联的置信度值，其中，确定辅助相机镜头的镜头位置包括基于第一镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置基于比较和大于阈值的置信度值。
条款16：根据条款15的方法，其中，深度估计算法是相位检测自动对焦(PDAF)算法或飞行时间(TOF)算法之一。
条款17：根据条款11至条款16中任一条款的方法，进一步包括确定与用于辅助相机的第一深度估计算法相关联的第一置信度值和与用于辅助相机的第二深度估计算法相关联的第二置信度值，其中，确定辅助相机镜头的镜头位置包括基于第一镜头位置来确定辅助相机镜头的镜头位置，该第一镜头位置基于比较、小于第一阈值的第一置信度值和大于第二阈值的第二置信度值。
条款18：根据条款17的方法，其中，第一深度估计算法是相位检测自动对焦(PDAF)算法，并且第二深度估计算法是飞行时间(TOF)算法。
条款19：根据条款11至条款18中任一条款的方法，其中，确定辅助相机镜头的镜头位置包括基于第二镜头位置来确定辅助相机镜头的镜头位置，该第二镜头位置基于指示第一感兴趣区域中的对象不同于第二感兴趣区域中的对象的比较。
条款20：一种其上储存有指令的计算机可读储存介质，当该指令被执行时使一个或多个处理器：检测利用主相机捕捉的图像内容的第一感兴趣区域；检测利用辅助相机捕捉的图像内容的第二感兴趣区域；比较第一感兴趣区域和第二感兴趣区域；基于辅助相机的自动对焦过程来确定辅助相机的辅助相机镜头的第一镜头位置；基于主相机的主相机镜头的确定的镜头位置来确定辅助相机的辅助相机镜头的第二镜头位置；基于第一镜头位置或第二镜头位置确定辅助相机镜头的镜头位置，该第一镜头位置或第二镜头位置至少部分基于第一感兴趣区域和第二感兴趣区域的比较；并且使辅助相机在确定的镜头位置利用辅助相机镜头捕捉图像。
条款21：根据条款20的计算机可读储存介质，进一步包括基于利用主相机捕捉的第一图像和利用辅助相机捕捉的第二图像来生成具有散景效果的最终图像。
条款22：条款20和条款21中任一条款的计算机可读储存介质，其中，使一个或多个处理器比较第一感兴趣区域和第二感兴趣区域的指令包括使一个或多个处理器比较第一感兴趣区域中的对象和第二感兴趣区域中的对象的指令，并且其中使一个或多个处理器确定镜头位置的指令包括使一个或多个处理器基于第一镜头位置来确定辅助相机镜头的镜头位置的指令，该第一镜头位置至少部分基于第一感兴趣区域中的对象与第二感兴趣区域中的对象相同。
条款23：条款20至条款22中任一条款的计算机可读储存介质，其中，使一个或多个处理器比较第一感兴趣区域和第二感兴趣区域的指令包括使一个或多个处理器比较第一感兴趣区域的位置和第二感兴趣区域的位置的指令，并且其中使一个或多个处理器确定镜头位置的指令包括使一个或多个处理器基于第一镜头位置来确定辅助相机镜头的镜头位置的指令，该第一镜头位置至少部分基于第一感兴趣区域的位置与第二感兴趣区域的位置相同。
条款24：根据条款20至条款23中任一条款的计算机可读储存介质，进一步包括确定与用于辅助相机的深度估计算法相关联的置信度值，其中，使一个或多个处理器确定辅助相机镜头的镜头位置的指令包括使一个或多个处理器基于第一镜头位置来确定辅助相机镜头的镜头位置的指令，该第一镜头位置基于比较和大于阈值的置信度值。
条款25：条款20至条款24中任一条款的计算机可读储存介质，进一步包括确定与用于辅助相机的第一深度估计算法相关联的第一置信度值和与用于辅助相机的第二深度估计算法相关联的第二置信度值，其中，使一个或多个处理器确定辅助相机镜头的镜头位置的指令包括使一个或多个处理器基于第一镜头位置来确定辅助相机镜头的镜头位置的指令，该第一镜头位置基于比较、小于第一阈值的第一置信度值和大于第二阈值的第二置信度值。
条款26：一种用于相机处理的设备，包括用于检测利用主相机捕捉的图像内容的第一感兴趣区域的部件；用于检测利用辅助相机捕捉的图像内容的第二感兴趣区域的部件；用于比较第一感兴趣区域和第二感兴趣区域的部件；用于基于辅助相机的自动对焦过程来确定辅助相机的辅助相机镜头的第一镜头位置的部件；用于基于主相机的主相机镜头的确定的镜头位置来确定辅助相机的辅助相机镜头的第二镜头位置的部件；用于基于第一镜头位置或第二镜头位置来确定辅助相机镜头的镜头位置的部件，该第一镜头位置或第二镜头位置至少部分基于第一感兴趣区域与第二感兴趣区域的比较；以及用于使辅助相机在确定的镜头位置利用辅助相机镜头捕捉图像的部件。
条款27：根据条款26的设备，进一步包括用于基于利用主相机捕捉的第一图像和利用辅助相机捕捉的第二图像来生成具有散景效果的最终图像的部件。
条款28：条款26和条款27中任一条款的设备，其中，用于比较第一感兴趣区域和第二感兴趣区域的部件包括用于比较第一感兴趣区域中的对象和第二感兴趣区域中的对象的部件，并且其中用于确定镜头位置的部件包括用于基于第一镜头位置来确定辅助相机镜头的镜头位置的部件，该第一镜头位置至少部分基于第一感兴趣区域中的对象与第二感兴趣区域中的对象相同。
条款29：条款26至条款28中任一条款的设备，其中，用于比较第一感兴趣区域和第二感兴趣区域的部件包括用于比较第一感兴趣区域的位置和第二感兴趣区域的位置的部件，并且其中用于确定镜头位置的部件包括用于基于第一镜头位置来确定辅助相机镜头的镜头位置的部件，该第一镜头位置至少部分基于第一感兴趣区域的位置与第二感兴趣区域的位置相同。
条款30：根据条款26至条款29中任一条款的设备，进一步包括用于确定与辅助相机的深度估计算法相关联的置信度值的部件，其中，用于确定辅助相机镜头的镜头位置的部件包括用于基于第一镜头位置来确定辅助相机镜头的镜头位置的部件，该第一镜头位置基于比较和大于阈值的置信度值。
在一个或多个示例中，所描述的功能可以用硬件、软件、固件或其任意组合来实现。如果以软件实现，这些功能可以作为一个或多个指令或代码储存在计算机可读介质上或通过计算机可读介质传输，并且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读储存介质，其对应于诸如数据储存介质的有形介质。以这种方式，计算机可读介质通常可以对应于非暂时性的有形计算机可读储存介质。数据储存介质可以是能够被一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，这种计算机可读储存介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘储存器、磁盘储存器、或其他磁储存设备、闪存、高速缓冲储存器、或可以用于储存指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他介质。应当理解，计算机可读储存介质和数据储存介质不包括载波、信号或其他瞬态介质，而是指非瞬态的有形储存介质。本文使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地再现数据，而光盘用激光光学地再现数据。上述的组合也应该包括在计算机可读介质的范围内。
指令可以由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或分立逻辑电路。相应地，本文使用的术语“处理器”可以指任何前述结构或者适合于实现本文描述的技术的任何其他结构。同样，这些技术可以完全在一个或多个电路或逻辑元件中实现。
本公开的技术可以在多种设备或装置中实现，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。在本公开中描述了各种组件、模块或单元，以强调被配置用于执行所公开的技术的设备的功能方面，但是不一定需要由不同的硬件单元来实现。
已经描述了各种示例。这些和其他示例在权利要求的范围内。

Claims (30)

1.一种被配置用于相机处理的设备，所述设备包括：
存储器，被配置用于接收图像；以及
与所述存储器通信的一个或多个处理器，所述一个或多个处理器被配置用于：
检测利用主相机捕捉的图像内容的第一感兴趣区域；
检测利用辅助相机捕捉的图像内容的第二感兴趣区域；
比较所述第一感兴趣区域和所述第二感兴趣区域；
基于所述辅助相机的自动对焦过程来确定所述辅助相机的辅助相机镜头的第一镜头位置；
基于所述主相机的主相机镜头的确定的镜头位置来确定所述辅助相机的所述辅助相机镜头的第二镜头位置；
基于所述第一镜头位置或至少部分基于所述第一感兴趣区域和所述第二感兴趣区域的比较的所述第二镜头位置来确定所述辅助相机镜头的镜头位置；以及
使所述辅助相机在所述确定的镜头位置利用所述辅助相机镜头捕捉图像。
2.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置用于基于利用所述主相机捕捉的第一图像和利用所述辅助相机捕捉的第二图像来生成具有散景效果的最终图像。
3.根据权利要求1所述的设备，其中，比较所述第一感兴趣区域和所述第二感兴趣区域包括比较所述第一感兴趣区域中的对象和所述第二感兴趣区域中的对象，并且其中确定所述镜头位置包括基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置，所述第一镜头位置至少部分基于所述第一感兴趣区域中的所述对象与所述第二感兴趣区域中的所述对象相同。
4.根据权利要求1所述的设备，其中，比较所述第一感兴趣区域与所述第二感兴趣区域包括比较所述第一感兴趣区域的位置与所述第二感兴趣区域的位置，并且其中确定所述镜头位置包括基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置，所述第一镜头位置至少部分基于所述第一感兴趣区域的所述位置与所述第二感兴趣区域的所述位置相同。
5.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置用于：
确定与所述辅助相机的深度估计算法相关联的置信度值，
其中，确定所述辅助相机镜头的所述镜头位置包括基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置，所述第一镜头位置基于所述比较，并且所述置信度值大于阈值。
6.根据权利要求5所述的设备，其中，所述深度估计算法是相位检测自动对焦PDAF算法或飞行时间TOF算法之一。
7.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置用于：
确定与用于所述辅助相机的第一深度估计算法相关联的第一置信度值和与用于所述辅助相机的第二深度估计算法相关联的第二置信度值；
其中，确定所述辅助相机镜头的所述镜头位置包括基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置，所述第一镜头位置基于所述比较、小于第一阈值的所述第一置信度值和大于第二阈值的所述第二置信度值。
8.根据权利要求7所述的设备，其中，所述第一深度估计算法是相位检测自动对焦PDAF算法，并且所述第二深度估计算法是飞行时间TOF算法。
9.根据权利要求1所述的设备，其中，确定所述辅助相机镜头的所述镜头位置包括基于所述第二镜头位置来确定所述辅助相机镜头的所述镜头位置，所述第二镜头位置基于指示所述第一感兴趣区域中的对象不同于所述第二感兴趣区域中的对象的所述比较。
10.根据权利要求1所述的设备，其中，所述设备包括所述主相机和所述辅助相机。
11.一种用于相机处理的方法，所述方法包括：
检测利用主相机捕捉的图像内容的第一感兴趣区域；
检测利用辅助相机捕捉的图像内容的第二感兴趣区域；
比较所述第一感兴趣区域和所述第二感兴趣区域；
基于所述辅助相机的自动对焦过程来确定所述辅助相机的辅助相机镜头的第一镜头位置；
基于所述主相机的主相机镜头的确定的镜头位置来确定所述辅助相机的嗷嗷辅助相机镜头的第二镜头位置；
基于第一镜头位置或至少部分基于所述第一感兴趣区域和所述第二感兴趣区域的所述比较的所述第二镜头位置来确定所述辅助相机镜头的镜头位置；以及
使所述辅助相机在所述确定的镜头位置利用所述辅助相机镜头捕捉图像。
12.根据权利要求11所述的方法，进一步包括：
基于利用所述主相机捕捉的第一图像和利用所述辅助相机捕捉的第二图像来生成具有散景效果的最终图像。
13.根据权利要求11所述的方法，其中，比较所述第一感兴趣区域和所述第二感兴趣区域包括比较所述第一感兴趣区域中的对象和所述第二感兴趣区域中的对象，并且其中确定所述镜头位置包括基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置，所述第一镜头位置至少部分基于所述第一感兴趣区域中的所述对象与所述第二感兴趣区域中的所述对象相同。
14.根据权利要求11所述的方法，其中，比较所述第一感兴趣区域和所述第二感兴趣区域包括比较所述第一感兴趣区域的位置和所述第二感兴趣区域的位置，并且其中确定所述镜头位置包括基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置，所述第一镜头位置至少部分基于所述第一感兴趣区域的所述位置与所述第二感兴趣区域的所述位置相同。
15.根据权利要求11所述的方法，进一步包括：
确定与所述辅助相机的深度估计算法相关联的置信度值，
其中，确定所述辅助相机镜头的所述镜头位置包括基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置，所述第一镜头位置基于所述比较，并且所述置信度值大于阈值。
16.根据权利要求15所述的方法，其中所述深度估计算法是相位检测自动对焦PDAF算法或飞行时间TOF算法之一。
17.根据权利要求11所述的方法，进一步包括：
确定与用于所述辅助相机的第一深度估计算法相关联的第一置信度值和与用于所述辅助相机的第二深度估计算法相关联的第二置信度值，
其中，确定所述辅助相机镜头的所述镜头位置包括基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置，所述第一镜头位置基于所述比较、小于第一阈值的所述第一置信度值和大于第二阈值的所述第二置信度值。
18.根据权利要求17所述的方法，其中，所述第一深度估计算法是相位检测自动对焦PDAF算法，并且所述第二深度估计算法是飞行时间TOF算法。
19.根据权利要求11所述的方法，其中，确定所述辅助相机镜头的所述镜头位置包括基于所述第二镜头位置来确定所述辅助相机镜头的所述镜头位置，所述第二镜头位置基于指示所述第一感兴趣区域中的对象不同于所述第二感兴趣区域中的对象的所述比较。
20.一种其上储存有指令的计算机可读储存介质，所述指令在被执行时使一个或多个处理器：
检测利用主相机捕捉的图像内容的第一感兴趣区域；
检测利用辅助相机捕捉的图像内容的第二感兴趣区域；
比较所述第一感兴趣区域和所述第二感兴趣区域；
基于所述辅助相机的自动对焦过程来确定所述辅助相机的辅助相机镜头的第一镜头位置；
基于所述主相机的主相机镜头的确定的镜头位置来确定所述辅助相机的所述辅助相机镜头的第二镜头位置；
基于所述第一镜头位置或至少部分基于所述第一感兴趣区域和所述第二感兴趣区域的所述比较的所述第二镜头位置来确定所述辅助相机镜头的镜头位置；以及
使所述辅助相机在所述确定的镜头位置利用所述辅助相机镜头捕捉图像。
21.根据权利要求20所述的计算机可读储存介质，进一步包括指令，所述指令使所述一个或多个处理器：
基于利用所述主相机捕捉的第一图像和利用所述辅助相机捕捉的第二图像来生成具有散景效果的最终图像。
22.根据权利要求20所述的计算机可读储存介质，其中，使所述一个或多个处理器比较所述第一感兴趣区域和所述第二感兴趣区域的所述指令包括使所述一个或多个处理器比较所述第一感兴趣区域中的对象和所述第二感兴趣区域中的对象的指令，并且其中使所述一个或多个处理器确定所述镜头位置的所述指令包括使所述一个或多个处理器基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置的指令，所述第一镜头位置基于至少部分基于所述第一感兴趣区域中的所述对象与所述第二感兴趣区域中的所述对象相同。
23.根据权利要求20所述的计算机可读储存介质，其中，使所述一个或多个处理器比较所述第一感兴趣区域和所述第二感兴趣区域的所述指令包括使所述一个或多个处理器比较所述第一感兴趣区域的位置和所述第二感兴趣区域的位置的指令，并且其中使所述一个或多个处理器确定所述镜头位置的所述指令包括使所述一个或多个处理器基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置的指令，所述第一镜头位置至少部分基于所述第一感兴趣区域的所述位置与所述第二感兴趣区域的所述位置相同。
24.根据权利要求20所述的计算机可读储存介质，进一步包括指令，所述指令使所述一个或多个处理器：
确定与用于所述辅助相机的深度估计算法相关联的置信度值，
其中，使所述一个或多个处理器确定所述辅助相机镜头的所述镜头位置的所述指令包括使所述一个或多个处理器基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置的指令，所述第一镜头位置基于所述比较和大于阈值的所述置信度值。
25.根据权利要求20所述的计算机可读储存介质，进一步包括指令，所述指令使所述一个或多个处理器：
确定与用于所述辅助相机的第一深度估计算法相关联的第一置信度值和与用于所述辅助相机的第二深度估计算法相关联的第二置信度值，
其中，使所述一个或多个处理器确定所述辅助相机镜头的所述镜头位置的所述指令包括使所述一个或多个处理器基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置的指令，所述第一镜头位置基于所述比较、小于第一阈值的所述第一置信度值和大于第二阈值的所述第二置信度值。
26.一种用于相机处理的设备，所述设备包括：
用于检测利用主相机捕捉的图像内容的第一感兴趣区域的部件；
用于检测利用辅助相机捕捉的图像内容的第二感兴趣区域的部件；
用于比较所述第一感兴趣区域和所述第二感兴趣区域的部件；
用于基于所述辅助相机的自动对焦过程来确定所述辅助相机的辅助相机镜头的第一镜头位置的部件；
用于基于所述主相机的主相机镜头的确定的镜头位置来确定所述辅助相机的所述辅助相机镜头的第二镜头位置的部件；
用于基于所述第一镜头位置或至少部分基于所述第一感兴趣区域与所述第二感兴趣区域的所述比较的所述第二镜头位置来确定所述辅助相机镜头的镜头位置的部件；以及
用于使所述辅助相机在所述确定的镜头位置利用所述辅助相机镜头捕捉图像的部件。
27.根据权利要求26所述的设备，进一步包括：
用于基于利用主相机捕捉的第一图像和利用辅助相机捕捉的第二图像来生成具有散景效果的最终图像的部件。
28.根据权利要求26所述的设备，其中，用于比较所述第一感兴趣区域和所述第二感兴趣区域的所述部件包括用于比较所述第一感兴趣区域中的对象和所述第二感兴趣区域中的对象的部件，并且其中用于确定所述镜头位置的所述部件包括用于基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置的部件，所述第一镜头位置至少部分基于所述第一感兴趣区域中的所述对象与所述第二感兴趣区域中的所述对象相同。
29.根据权利要求26所述的设备，其中，用于比较所述第一感兴趣区域和所述第二感兴趣区域的所述部件包括用于比较所述第一感兴趣区域的位置和所述第二感兴趣区域的位置的部件，并且其中用于确定所述镜头位置的部件包括用于基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置的部件，所述第一镜头位置至少部分基于所述第一感兴趣区域的所述位置与所述第二感兴趣区域的所述位置相同。
30.根据权利要求26所述的设备，进一步包括：
用于确定与所述辅助相机的深度估计算法相关联的置信度值的部件，
其中，所述用于确定所述辅助相机镜头的所述镜头位置的部件包括用于基于所述第一镜头位置来确定所述辅助相机镜头的所述镜头位置的部件，所述第一镜头位置基于所述比较和大于阈值的所述置信度值。
CN202180097399.8A 2021-04-28 2021-04-28 多相机系统中辅助相机的镜头定位 Pending CN117356102A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/090471 WO2022226823A1 (en) 2021-04-28 2021-04-28 Lens positioning for secondary camera in multi-camera system

Publications (1)

Publication Number Publication Date
CN117356102A true CN117356102A (zh) 2024-01-05

Family

ID=83847657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180097399.8A Pending CN117356102A (zh) 2021-04-28 2021-04-28 多相机系统中辅助相机的镜头定位

Country Status (4)

Country Link
US (1) US20240121511A1 (zh)
EP (1) EP4331218A1 (zh)
CN (1) CN117356102A (zh)
WO (1) WO2022226823A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160295097A1 (en) * 2015-03-31 2016-10-06 Qualcomm Incorporated Dual camera autofocus
US9426450B1 (en) * 2015-08-18 2016-08-23 Intel Corporation Depth sensing auto focus multiple camera system
CN107277348B (zh) * 2017-06-16 2019-08-16 Oppo广东移动通信有限公司 对焦方法、装置、计算机可读存储介质和移动终端
US10764486B2 (en) * 2018-01-11 2020-09-01 Qualcomm Incorporated Multi-camera autofocus synchronization
WO2020042000A1 (zh) * 2018-08-29 2020-03-05 深圳市大疆创新科技有限公司 相机设备及对焦方法
CN112129263B (zh) * 2020-09-30 2022-04-12 绍兴晨璞网络科技有限公司 一种分离移动式立体测距相机的测距方法

Also Published As

Publication number Publication date
WO2022226823A1 (en) 2022-11-03
US20240121511A1 (en) 2024-04-11
EP4331218A1 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
US10757312B2 (en) Method for image-processing and mobile terminal using dual cameras
WO2018201809A1 (zh) 基于双摄像头的图像处理装置及方法
WO2019148978A1 (zh) 图像处理方法、装置、存储介质及电子设备
US9230306B2 (en) System for reducing depth of field with digital image processing
US10805508B2 (en) Image processing method, and device
US9489747B2 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
CN107636692B (zh) 图像捕获设备及操作其的方法
WO2021057474A1 (zh) 主体对焦方法、装置、电子设备和存储介质
US8331730B2 (en) Systems and methods to increase speed of object detection in a digital image
US11184553B1 (en) Image signal processing in multi-camera system
WO2019105254A1 (zh) 背景虚化处理方法、装置及设备
US11756221B2 (en) Image fusion for scenes with objects at multiple depths
US20140071302A1 (en) Processing apparatus, processing method, and program
US20230033956A1 (en) Estimating depth based on iris size
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
US10205870B2 (en) Image capturing apparatus and control method thereof
US20240121511A1 (en) Lens positioning for secondary camera in multi-camera system
US9710897B2 (en) Image processing apparatus, image processing method, and recording medium
KR20120039855A (ko) 카메라 모듈의 이미지 처리 방법
US20230292020A1 (en) Lens distortion correction for image processing
CN112866552B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
US20240209843A1 (en) Scalable voxel block selection
US20210195100A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
JP2011253099A (ja) 焦点検出装置
JP2008263386A (ja) 静止画撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination