CN115299031A - 自动对焦方法及其相机系统 - Google Patents

自动对焦方法及其相机系统 Download PDF

Info

Publication number
CN115299031A
CN115299031A CN202080098778.4A CN202080098778A CN115299031A CN 115299031 A CN115299031 A CN 115299031A CN 202080098778 A CN202080098778 A CN 202080098778A CN 115299031 A CN115299031 A CN 115299031A
Authority
CN
China
Prior art keywords
roi
camera
view
image data
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080098778.4A
Other languages
English (en)
Inventor
封旭阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN115299031A publication Critical patent/CN115299031A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/285—Systems for automatic generation of focusing signals including two or more different focus detection devices, e.g. both an active and a passive focus detecting device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals

Abstract

用于使相机对焦的系统和方法，所述方法包括：确定由第一相机捕获的场景的第一视图中的第一感兴趣区域(ROI)，所述第一ROI基于从所述第一相机获得的与所述第一视图相关联的第一图像数据来确定；根据所述第一ROI确定由第二相机捕获的所述场景的第二视图中的第二ROI，所述第二ROI对应于所述第一ROI；以及使所述第二相机对焦在所述第二视图中的所述第二ROI上。

Description

自动对焦方法及其相机系统
版权声明
本专利文件的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人以传真方式复制出现在专利商标局专利档案或记录中的专利文件或专利公开内容，但保留所有版权权利。
技术领域
本公开总体上涉及用于基于从一个或多个其他相机获得的图像数据来对焦相机的系统和方法。
背景技术
在相机技术领域，例如，由于它涉及捕获图像(例如，休闲视频摄影、电影摄影、摄影等)，相机的景深(DOF)有时可能较浅。相机透镜的DOF对应于最近和最远对象之间的距离(焦深)，这些对象可以在相机视图内保持足够的对焦。例如，相机DOF中的对象通常对焦并且比其DOF之外的对象观察更清楚。由大孔径透镜形成的浅景深可以使场景在视觉上更令人愉悦，并可能有助于使图像看起来更像“电影”。例如，相机操作员可以控制相机的浅景深，以模糊背景场景，并对焦于前景中的演员。然而，缺乏用于拍摄场景图像的快速、准确、直观和廉价的自动对焦系统和方法。
发明内容
与本公开的实施例一致，提供了一种用于使相机对焦的系统。在一些实施例中，所述系统可以包括一个或多个处理器；存储器耦合到所述一个或多个处理器并且存储指令，当所述指令由所述一个或多个处理器执行时，使所述系统确定由第一相机捕获的场景的第一视图中的第一感兴趣区域(ROI)，所述第一ROI基于从所述第一相机获得的与所述第一视图相关联的第一图像数据来确定；根据所述第一ROI确定由第二相机捕获的所述场景的第二视图中的第二ROI，所述第二ROI对应于所述第一ROI；以及使所述第二相机对焦在所述第二视图中的所述第二ROI上。
本公开的实施例还提供了一种计算机实现的方法，用于基于从一个或多个深DOF相机获得的图像数据自动对焦浅景深(DOF)相机。在一些实施例中，所述方法可以包括确定由第一相机捕获的场景的第一视图中的第一感兴趣区域(ROI)，所述第一ROI基于从所述第一相机获得的与所述第一视图相关联的第一图像数据来确定；根据所述第一ROI确定由第二相机捕获的所述场景的第二视图中的第二ROI，所述第二ROI对应于所述第一ROI；以及使所述第二相机对焦在所述第二视图中的所述第二ROI上。该方法还可包括更新被配置为基于所确定的感兴趣区域连续捕获第二视图的相机的焦点。
本公开的实施例还提供了一种非暂时性计算机可读介质，具有存储在其上的指令，所述指令在由处理器执行时使所述处理器执行操作，所述操作包括：确定由第一相机捕获的场景的第一视图中的第一感兴趣区域(ROI)，所述第一ROI基于从所述第一相机获得的与所述第一视图相关联的第一图像数据来确定；根据所述第一ROI确定由第二相机捕获的所述场景的第二视图中的第二ROI，所述第二ROI对应于所述第一ROI；以及使所述第二相机对焦在所述第二视图中的所述第二ROI上。
应当理解，前面的一般描述和下面的详细描述都仅仅是示例性和说明性的，而不是对所要求保护的本发明的限制。通过阅读说明书、权利要求书和附图，本发明的其它特征将变得显而易见。
附图说明
图1A示出了根据本公开的某些实施例的使用深景深传感器的用于自动对焦的示例性系统。
图1B示出了根据本公开的一些实施例的用于摄像的自动对焦的示例性系统。
图2A示出了根据本公开的某些实施例配置的示例性相机系统。
图2B示出了根据本公开的某些实施例配置的另一示例性相机系统。
图3A和3B示出了根据本公开的某些实施例的由主相机和辅助相机对视图中的对象的示例性对焦。
图4示出了可以根据本公开的某些实施例配置的示例性相机系统的示意图。
图5A-5D示出了根据本公开的某些实施例的由主相机和辅助相机对视图中的对象的示例性对焦。
图6示出了根据本公开的某些实施例的示例性自动对焦过程的流程图。
图7A-7C示出了根据本公开的一些实施例的示例性自动对焦系统。
图8A和8B示出了根据本公开的某些实施例的另一示例性自动对焦过程。
图9示出了根据本公开的实施例的在深景深(DOF)相机引导下的自动对焦过程的流程图。
图10示出了根据本公开的实施例的在深DOF相机引导下的自动对焦过程的流程图。
图11示出了根据本公开的实施例的在一个或多个深DOF相机引导下的自动对焦过程的流程图。
图12示出了根据本公开的实施例的在一个或多个深DOF相机引导下的自动对焦过程的流程图。
图13图示了根据本公开的一些实施例的用于确定到多个辅助相机的重叠区域中的对象的距离的示意图。
实施例
以下详细说明参考附图。在可能的情况下，相同的参考号表示相同或类似的零件。虽然本文描述了几个示例性实施例，但可以进行修改、适配和其他实现。例如，可以对图纸中所示的组件进行替换、添加或修改。因此，以下详细描述不限于所公开的实施例和示例。相反，适当的范围由所附权利要求书定义。
具有对焦调节(例如自动对焦或辅助对焦)系统的相机可以提供具有更高视觉质量的图像，例如，在由相机捕获的视图中确定特定对象和/或人，或者甚至仅仅是他们的面部或眼睛。通过调整相机的焦点，还可以根据用户的偏好向所捕获的图像提供不同的视觉效果(例如，“类似电影”的视频、人像图像等)。如本文所使用的，“视图”是指可以由诸如相机的成像设备捕获的任何静态或动态镜头、场景、图像、图像帧(例如，在视频中)或图片。相机的视场角(FOV)是指相机可以在其上捕获视图的角度区域。然而，对于一些相机，用户可能必须使用手动对焦来获得期望的效果，因为自动对焦尚未被广泛应用，并且现有的自动对焦技术可能无法满足用户对快速、准确和低成本对焦调整的需要。因此，对于摄像机技术(例如，摄像)来说，需要用于调整焦点的改进的系统和方法。
存在与相机的自动对焦有关的若干问题。例如，一些相机依赖于浅景深(DOF)来提供产生类似电影的视觉效果的背景图像。因此，摄像机的最佳焦点通常不能被容易地识别，并且也难以实现从镜头的一个区域到另一个区域的平滑目标焦点转变。此外，当前的自动对焦系统可能对焦在由摄像机捕获的错误区域或对象上，并且可能不能足够快地调整以适应场景中的突然变化。为了使用摄像机实现对焦转变，可以使用焦点跟随器。然而，焦点跟随器通常由调焦者操作，调焦者的工作是手动调节摄像机的焦点。
作为一个实施例，许多电影包括两个或两个以上人相互交谈的场景，一个人在前景中且其他人在背景中。焦点跟随器可以具有与镜头中的每个人的相应焦点相关联的标记，从而允许在它们之间的平滑和快速转变。如果这个转变不是足够快或足够准确，则在一部分场景中，当其中一个对象应当是场景的焦点时，这个对象可能会失焦。
在另一个实施例中，可以使用专门用于测量从相机到对象的距离的设备，并且可以基于所测量的距离将相机自动对焦在对象上。例如，这个距离测量装置可以包括红外光或激光发射器和感测反射的红外光或激光的光传感器。飞行时间，即从发射器发射光的时间直到传感器感测到反射光的时间，这可以用于确定相机和视频图像中的对象之间的距离。一些距离测量装置可以利用超声辐射来代替光。利用所测量的距离，相机中的控制器(诸如计算机)可以向驱动和移动一个或多个透镜以实现对对象的对焦的电机发送信号。
在又一实施例中，一些相机可以采用相位检测方法来调整对焦。反射镜可将对象的图像反射到两个相位传感器上，计算机比较由相位传感器感测的两个反射图像。在这种情况下，当两个反射图像相同时，可以发生对焦。
在又一实施例中，对比度检测可被用于自动对焦系统，该对比度检测涉及找到一个或多个相机透镜的位置，该位置以提供由一个或多个相机透镜捕获的连续图像之间的最佳对比度。当一个或多个透镜(或透镜组)移动，从而改变它们的焦点时，相机拍摄对象的图像，并且与相机相关联的计算机分析图像并比较连续图像之间的对比度。连续图像之间的对比度增加表明透镜在正确的方向上移动以改善焦点。产生具有最高对比度的连续图像的透镜的位置被认为提供了最佳焦点。
用于自动对焦的各种方法具有优点和缺点。例如，对比度检测需要在透镜来回移动时分析许多图像，因此可能是耗时的。距离测量方法可能花费少得多的时间，但是距离测量仅能够确定从相机到视图中最近的对象的距离，并且当期望焦点在视图中更远的对象上拍摄照片时不起作用。相位检测方法可以快速精确地实现对焦，但是可能需要相机的复杂且昂贵的构造，因为相机必须包括多个自动对焦传感器，每个自动对焦传感器具有其自己的透镜和光电检测器。另外，自动对焦传感器的数量可以限制视图中要对焦的区域的数量。例如，两个自动对焦传感器只能将相机对焦在图像的一部分上。但是，增加焦点的数量可以进一步增加相机的价格。
可以组合自动对焦方法，诸如包括距离测量方法或相位检测方法作为第一步骤，以在要对焦的期望区域中粗略地快速调整相机，随后是对比度检测方法以微调相机的焦点。然而，这些自动对焦方法在拍摄静态图片时可以很好地工作，但是在不同距离处的对象随时间移动的移动环境中不是那么好地工作。尤其是当拍摄视频时，相机必须响应于移动的对象实时调整和跟踪其焦点。因此，需要适用于各种环境的快速、准确且廉价的自动对焦和焦点跟踪技术。
根据本公开的一些示例性实施例，提供了例如在拍摄视频时，能够在由相机(例如，具有较小DOF)捕获的视图中的一个或多个对象或区域之间快速且自动地切换焦点的系统和方法。该系统从一个或多个相机(例如，具有较大DOF)获得图像数据，这些相机可以共同地提供基于深DOF视图的引导，以便由具有较小DOF的相机捕获浅DOF视图，而不会显著增加系统的成本。
图1A示出了示例性系统100，在本文也称为自动对焦系统100或相机系统100，用于使用根据某些公开的实施例可以使用的深景深传感器引导进行自动对焦。自动对焦系统100包括连接到主相机104的一个或多个处理器102、一个或多个辅助相机106以及输入和输出108。一个或多个处理器102被配置成从输入和输出108接收输入，并且向主相机104和/或一个或多个辅助相机106提供指令(例如，以信号或命令的形式)。在一些实施例中，例如，一个或多个处理器102可以被配置为基于从主相机104和一个或多个辅助相机106接收的信息产生输出。在一些实施例中，一个或多个处理器102可以被配置为从一个或多个辅助相机106接收信息并且向主相机104提供指令。在一些实施例中，一个或多个处理器102可以被配置为从主相机104接收信息并且向一个或多个辅助相机106提供指令。例如，一个或多个处理器102可以从一个或多个辅助相机106接收指示主相机104应当改变其焦点的信息，例如，对焦在由主相机捕获的视图中的不同对象或区域上。在这样的示例性实施例中，一个或多个处理器102向主相机104发送指令，使得主相机104根据处理器从一个或多个辅助相机106接收的信息来改变其焦点。
在一些实施例中，输入和输出108被配置为接收与诸如电影导演之类的人想要使用系统100捕获的视图相对应的输入。一个或多个处理器102可以处理这些输入，并且根据所接收的输入向主相机104和一个或多个辅助相机106两者发送指令。
图1B示出了根据本公开的一些实施例的用于调整摄像的对焦的示例性系统120。在一些实施例中，系统120可以包括与一个或多个相机(例如，图1A的主相机104和一个或多个辅助相机106)集成的系统的模块，或者通信地耦合到由一个或多个相机集成的设备的计算系统。在一些其他实施例中，系统120还可以包括云服务器或移动设备(例如，图7A-7C的用户设备708或图8A的用户设备800)，其被配置为处理从一个或多个相机接收的数据和/或生成指令以分别调整一个或多个相机的一个或多个参数。在一些实施例中，系统120是图1A的系统100的一部分或包括其一个或多个模块。例如，系统120的一个或多个处理器122对应于系统100的一个或多个处理器102。一个或多个输入设备126和一个或多个输出设备128对应于系统100的输入和输出108。
如图1B所示，系统120包括用于执行存储在存储器140中的模块、程序和/或指令并由此执行预定操作的一个或多个处理器122、一个或多个网络或其他通信接口130、以及用于互连这些组件的一个或多个通信总线132。系统120还可以包括用户接口124，其包括一个或多个输入设备126(例如，键盘、鼠标、触摸屏、麦克风和/或相机等)以及一个或多个输出设备128(例如，用于显示图形用户界面(GUI)的显示器和/或扬声器等)。
处理器122可以是任何合适的硬件处理器，例如：图像处理器、图像处理引擎、图像处理芯片、图形处理器(GPU)、微处理器、微控制器、中央处理单元(CPU)、网络处理器(NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件.
存储器140可以包括高速随机存取存储器，例如DRAM、SRAM或其他随机存取固态存储器装置。在一些实施例中，存储器140包括非易失性存储器，例如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。在一些实施例中，存储器140包括远离处理器122的一个或多个存储设备。存储器140，或替代地，存储器140内的一个或多个存储设备(例如，一个或多个非易失性存储设备)包括非暂时性计算机可读存储介质。在一些实施例中，存储器140或存储器140的计算机可读存储介质存储一个或多个计算机程序指令(例如，模块)146，以及数据库170，或其引起处理器(例如，处理器122)的子集，以执行一个或多个过程的步骤，如下面参考图9、10、11和12进行更全面地讨论。存储器140还可以存储由一个或多个相机(例如，图1A的主相机104和一个或多个辅助相机106，图2A中的一个或多个相机)捕获的图像数据。图2B和图4中的相机系统400等)供处理器122处理。存储器140可以进一步存储用于控制如本公开中所讨论的一个或多个相机的操作指令。
在一些实施例中，系统120的存储器140包括操作系统142，操作系统142包括用于处理各种基本系统服务和用于执行硬件相关任务的过程。存储器140还包括网络通信模块144，其用于通过通信网络接口130和一个或多个通信网络(有线或无线)将系统120连接到其他电子设备，包括但不限于互联网、其他广域网、局域网和城域网。
图2A示出了示例性相机系统200，其包括一个或多个传感器，例如一个或多个深DOF传感器(例如，一个或多个辅助相机204)，用于引导浅DOF相机(例如，主相机202)进行自动对焦，可以是根据一些公开的实施例使用。在一些实施例中，图2A和2B中的系统200或205分别可以体现图1A中的系统100。在一些实施例中，图1B中的系统120可以集成到图2A和2B中所示的相机系统200或205(例如，包括作为其组件)。在一些其他实施例中，如图2A和2B所示，图1B的系统120可以通信耦合到相机系统200或205。在一些其他实施例中，图1B的系统120可以是云服务器、用户的移动设备或任何其他合适的装置，其可以与图2A和2B中所示的相机系统200或205通信，用于交换由相机系统200或205捕获的图像数据和/或用于控制相机系统200或205的参数的指令。
如图2A所示，相机系统200包括主相机202和辅助相机204。在一些实施例中，主相机202可以包括具有相对浅DOF的相机，其被配置为在相对较小的对焦距离范围内，捕获视图中的对象(例如，包括场景的一个或多个图像)。例如，浅DOF相机可以捕获看起来与其环境隔离的图像，并且可以用于肖像作品、微距摄影和运动摄影等。在一些实施例中，主相机202的浅景深可以由具有大光圈、长焦距和/或大传感器尺寸的透镜组件来提供。在一些实施例中，辅助相机204可以包括深DOF传感器，其具有从前到后覆盖大距离范围(例如，从焦平面前面几米到后面几乎无限远)的焦距范围，在具有可接受的视觉清晰度的大范围景观视图范围内捕获对象。在一些实施例中，辅助相机204的深DOF可以由具有小孔径、短焦距和/或小传感器尺寸的透镜组件提供。
在一些实施例中，辅助相机204可以被配置为捕获场景的视图，该视图可以包括由主相机202捕获的视图，或者可以至少部分地与主相机202捕获的视图重叠。深DOF传感器(例如，辅助相机204)可以被配置为确定一个或多个感兴趣区域(ROI)以引导浅DOF相机(例如，主相机202)对焦在对应于一个或多个确定的ROI的区域上。
可以理解，图2A中所示的系统200中的主相机202和辅助相机204的配置仅是用于说明目的实施例，并不旨在限制本公开的范围。例如，主相机202和辅助相机204可以以任何适当的配置进行布置(例如，主相机202放置在辅助相机204的右侧，主相机202和辅助相机204放置在左右、前后、和/或上下布置)，可以提供如本公开中所示的足够功能。
图2B示出了根据本公开的一些实施例的可以使用一个或多个传感器，例如一个或多个深DOF传感器，来引导浅DOF相机实现自动对焦的另一示例性相机系统205。在一些实施例中，如图2B所示，除了主相机206之外，可以有两个或更多个辅助相机208和210。在一些实施例中，主相机206可以支持更换具有不同焦距的透镜，例如广角透镜(例如，短焦距和宽FOV)和/或远摄透镜(例如，长焦透镜)，辅助相机208和210用于增加正在捕获的视图的分辨率，而不增加相机208和210中单独任何一个的分辨率。因此，可能存在多个具有不同焦距的辅助相机208和210。例如，示例性辅助相机A 208可以配置有对应于广角透镜的焦距，而示例性辅助相机B 210可以配置有对应于远摄透镜的焦距。在这样的示例性实施例中，这种配置允许具有同时对焦的前景对象和背景对象的深焦点拍摄，类似于分焦屈光度的效果。
此外，当存在两个或更多辅助相机208和210时，在一些实施例中，一个或多个处理器102和/或122可以计算来自辅助相机208和210的视图重叠的区域中的深度图。该深度图允许一个或多个处理器102和/或122测量视图中的对象与主相机206之间的距离，然后使用该信息来设置主相机206用于控制其焦点的ROI。
可以理解，图2B中所示的系统205中的主相机206和辅助相机208和210的配置是用于说明目的实施例，并不旨在限制本公开的范围。例如，主相机206和辅助相机208和210可以以任何合适的配置布置(例如，主相机206放置在辅助相机208和210的左侧或右侧，主相机206和辅助相机208和210放置在左右、前后和/或上下布置中)，可以提供如本公开中所示的足够功能。
图3A和3B示出了根据本公开的一些实施例的由主相机和辅助相机对视图中对象的示例性对焦。如图3A和3B所示，第一相机(例如本公开中讨论的主相机)的焦深306可以包含在第二相机(例如本文中讨论的辅助相机)的焦深308内。例如，第一人310位于主相机的焦深306内，第二人312位于辅助相机的焦深308内但超出主相机的焦深306。在该实施例中，辅助相机可以捕获第二人312的活动，并且相关图像数据可以用于计算与第二人的位置相关联的信息，例如真实空间中的位置数据，或由第二台相机捕获的相对于视图的位置数据。在本实施例中，可以通过浅景深相机来捕获在临时视频拍摄中对不同主题具有类似电影焦点的图像或视频，该浅景深相机对各个主题(例如，人和/或对象)具有准确和不同的焦点。可以使用具有大FOV和浅DOF的主相机拍摄深DOF视频图像。具有深DOF的辅助相机可用于引导/辅助主相机对焦于一个或多个辅助相机识别的其他ROI。
如图3B所示，自动对焦系统302(例如，图1A的系统100或图1B的系统120)产生控制信号，该控制信号包括使第一相机(例如，主相机)更新其焦深306并对焦在第二人312上的指令。因此，自动对焦系统302从具有更大(更深)DOF308的第二相机(例如，辅助相机)接收的信息可用于控制第一相机(例如，主相机)，使第一相机自动将其焦点从第一人310调整到第二人312。在一些实施例中，第一相机可以由电机驱动，例如音圈致动器，并且可以控制其焦点变化率以提供平滑的视觉效果(例如，从第一对焦区域转换到第二对焦区域)。在一些实施方式中，自动对焦系统302被配置为执行如下文参考图6、9、10、11和12更充分所示的过程中的一个或多个步骤。
图4示出了根据一些公开的实施例的用于一个或多个传感器的示例性相机系统400(例如，类似于图1A的相机系统100，包括图1B的系统120的一个或多个组件，或类似于图2A的相机系统200)，例如一个或多个深DOF传感器(例如，本文公开的辅助相机)，以引导浅DOF相机(例如，本文公开的主相机)进行自动对焦。在一些实施例中，如图4所示，辅助相机404(例如，辅助相机204、208、210、106)可以嵌入或附接到主相机402(例如，主相机202、206、104)。在其他实施例中，辅助相机404可以是被配置为与主相机402协调的独立设备。在一些实施例中，主相机402和辅助相机404可以具有各种布置，例如，彼此的相对位置、它们之间的距离等，其可以提供与本公开一致的足够功能。
图5A和5B示出了根据一些公开的实施例的由主相机和辅助相机对视图中对象的示例性对焦。如图5A所示，主相机(例如，相机202、206、104)可以被配置用于浅DOF摄像，其中与人504相关联的区域处于焦点上，而包括人502在内的其余视图显得模糊(例如，失焦、无法辨认)。相反，如图5B所示，辅助相机(例如，相机204、208、210、106)可以被配置用于大DOF视频拍摄，其中图片内的大部分或基本上所有区域都不是模糊的并且是可识别的，并且在任何时候都具有更大的对焦区域(例如，与主相机的视图相比)。例如，如图5B所示，人502和504在视图中都是可识别的，并且一个对象可能在焦点上。这允许辅助相机确定将主相机的焦点切换到的ROI。例如，主相机可能无法仅基于主相机的视图来确定和对焦人502，因为人502在主相机的浅DOF视图中过于模糊，人502缺乏的足够图像信息被主相机捕获和识别，并用于调整主相机的焦点以对焦在人502上。另一方面，辅助相机的浅景深视图提供了人502的足够的图像信息(例如，当人502在辅助相机的视图中处于焦点时，或者当人502以其他方式被确定为ROI时，如本公开中所讨论的)以引导主相机在其浅DOF视图中对焦在对应的对象上。例如，如果场景中的动作或本公开所讨论的其他因素需要主相机对焦在人502(例如，场景中的角色)而不是人504(例如，同一场景中的不同角色)上，则通信耦合到辅助相机的一个或多个处理器(例如，102或122)可以确定焦点或ROI应该在角色502上，然后引导主相机将主相机的焦点从与人504相关联的焦点切换到与人502的区域相关联的焦点。
图5C和5D示出了根据某些公开的实施例的用于主相机(例如，202、206、104)和辅助相机(例如，204、208、210、106)的示例性对焦。如图5C所示，主相机可能具有浅DOF，其中只有一小部分视图(例如，前景中的相机)处于焦点位置，而视图的其余部分是模糊的。相反，如图所示。如图5D所示，辅助相机可以具有大的DOF，其中大部分或几乎所有视图都在焦点上或可通过足够的图像信息识别。根据一些实施例，该差异允许通信耦合到辅助相机的一个或多个处理器(例如，102或122)引导主相机的焦点的调整。
图6示出了根据本公开一些实施例的用于一个或多个传感器(例如一个或多个深DOF相机)的示例性自动对焦过程的流程图，以引导浅DOF相机进行自动对焦。该示例性流程图中的步骤可以应用于相机系统100或系统120中的一个或多个辅助相机和主相机。在一些实施例中，用于辅助相机的流程图的步骤包括面部识别(步骤602)用于选择对焦目标(步骤604)，转换目标帧投影(步骤606)和跟随感兴趣区域(步骤608)。在一些实施例中，用于主相机的示例性流程图的步骤包括配置对焦速度(步骤618)，更新感兴趣的对焦区域(步骤612)，确定目标是否是新的(步骤614)，初始化连续自动对焦(步骤616)，以及更新连续自动对焦(步骤620)。
在步骤602中，连接到一个或多个辅助相机106的一个或多个处理器102(或与一个或多个辅助相机通信的一个或多个处理器122)执行面部识别(例如，通过执行存储在面部识别模块154中的指令)。例如，一个或多个处理器可以将任何合适的面部识别算法或模型应用于从至少一个辅助相机接收的图像数据，以确定图像中是否存在任何人脸，如果存在，则该人是谁，和/或该人位于由至少一个辅助相机捕获的视图中的哪里。例如，可以从图像数据中检索纹理、形状和其他面部特征并对其进行分析，以确定视图中识别的人脸的模式、身份、位置和/或其他特征。在一些实施例中，人脸、面部表情或视图中的一个或多个对象的识别可以基于人工智能，例如卷积神经网络(CNN)，例如GoogleNet、Alex-Net、LeNet、ResNet、具有Gabor滤波器的神经网络、结合隐马尔可夫模型的神经网络、模糊神经网络等。其他一些面部识别算法或模型可能包括但不限于模板匹配、支持向量机(SVM)、主成分分析(PCA)、离散余弦变换(DCT)、线性判别分析(LDA)、局部保持投影(LPP)、隐马尔可夫模型、使用张量表示的多线性子空间学习和神经元驱动的动态链接匹配。本领域普通技术人员将理解，根据所公开的实施例，有许多面部识别系统或对象识别系统可用于在相机视图的一个或多个图像中找到人或其他对象。
在步骤604中，连接到辅助相机106的一个或多个处理器102(或与一个或多个辅助相机通信的处理器122)选择对焦目标(例如，感兴趣区域(ROI))。例如，一个或多个处理器可以选择从来自步骤602的视图的一个或多个图像识别的至少一个人或对象并选择其中之一。
在一些实施例中，对焦目标(例如，ROI)可以基于在场景中说话的人来确定。例如，一个或多个处理器102或122可以使用从辅助相机接收的数据来确定某人的嘴唇正在动(例如，使用面部识别算法或其他合适的算法或模型来识别)。响应于确定某人的嘴唇正在动，一个或多个处理器102或122可选择嘴唇正在动的人作为焦点目标(例如，ROI)。在其他实施例中，该确定可以与在视图中检测到的运动有关，例如在场景中移动的人或在场景中进行一些其他动作。
在一些实施例中，一个或多个处理器102或122可以依赖用户输入来确定视图的一个或多个图像中的哪个人、人或其他对象应该被选择作为焦点目标(例如，ROI)。
在步骤606中，连接到辅助相机106的一个或多个处理器102(或与一个或多个辅助相机通信的处理器122)确定目标帧投影(例如，在由辅助相机捕获的视图和由主相机捕获的视图之间)。例如，一个或多个处理器102或122可以在选择对焦目标时确定主相机104中的区域(例如，主相机的视图中的ROI)，该区域对应于辅助相机106中与该焦点相关联的区域。对焦目标(例如，辅助相机视图中识别的ROI)。本领域的普通技术人员将认识到，有许多方法用于执行这样的目标帧投影，例如，将一个或多个辅助相机捕获的第一视图中的焦点对象的位置投影到使用主相机捕获的第二视图中的相应位置或区域。
在一些实施例中，如图5C和5D所示，主相机104和辅助相机106可以被配置为捕获包含目标场景的不同但重叠区域的不同图像。因此可以确定主相机104中的视图中的区域对应于辅助相机106的视图中的相同区域。
在步骤608中，连接到辅助相机106的一个或多个处理器102(或与一个或多个辅助相机通信的处理器122)跟随目标感兴趣区域(例如，ROI)。例如，一个或多个处理器102或122在步骤604中选择对焦目标(例如，ROI)之后，基于从辅助相机106接收的数据确定与对焦目标相对应的感兴趣区域。在本公开的实施例中，辅助相机可以连续地捕获数据并将其提供给(其可以包括可接受量的不连续传输)一个或多个处理器。随着焦点目标移动，一个或多个处理器可以确定对应于焦点目标的新感兴趣区域(例如，目标跟踪以将人或对象保持在相机的视图内)。
在步骤610中，连接到辅助相机106的一个或多个处理器102(或与一个或多个辅助相机通信的处理器122)移动到下一图像帧(视图)。例如，在执行面部识别，选择对焦目标，确定目标帧投影以确定用于主相机视图的感兴趣区域以及跟踪给定图像帧的目标感兴趣区域之后，如图6所示，一个或多个处理器102或122可以通过返回到步骤602来对下一个图像帧重复该过程。
在步骤612中，连接到主相机104的一个或多个处理器102(或与主相机通信的处理器122)更新主相机感兴趣的对焦区域。例如，一个或多个处理器102或122可以从来自步骤606的目标帧投影确定与来自步骤604选定的对焦目标相对应的主相机104中的感兴趣区域。
在步骤614中，连接到主相机104的一个或多个处理器102(或与主相机通信的处理器122)确定感兴趣区域是否包含新目标(例如，相对于主相机当前对焦的目标)。例如，一个或多个处理器102或122确定基于从步骤606转换的目标帧投影更新的感兴趣区域是否包含要对焦的新目标对象，或者该感兴趣区域是否对应于先前的目标对象。一个或多个处理器102或122可以从主相机104接收指示当前主相机焦点设置的区域的数据。如果当前设置焦点的区域与更新后的感兴趣区域不同，则一个或多个处理器102或122可以确定存在新目标。相反，如果当前设置焦点的区域与更新的感兴趣区域相同，则一个或多个处理器102或122可以确定不存在新目标。
在步骤616中，如果一个或多个处理器102或122确定存在新目标，则连接到主相机104(或与主相机通信的处理器122)的一个或多个处理器102初始化连续自动对焦，这也可以基本上是连续的，以便提供主相机可以将其焦点保持在目标对象上的可接受的时间量。例如，如果一个或多个处理器102或122从主相机接收到的数据表明当前设置焦点的区域与更新后的感兴趣区域不同，则一个或多个处理器102为更新后的感兴趣区域初始化连续自动对焦。
在步骤618中，连接到主相机104的一个或多个处理器102(或与主相机通信的处理器122)为主相机配置对焦速度。例如，一个或多个处理器102或122可以基于关于主相机104的信息和来自主相机104的与环境相关的数据来配置对焦速度。本领域的普通技术人员将认识到，对于不同的相机和在不同的环境中，例如在光线充足的环境与光线昏暗的环境中，对焦速度可能不同。一个或多个处理器102或122因此可以基于相关的相机参数来确定最佳对焦速度。
在步骤620中，如果一个或多个处理器102或122确定不存在新目标，则连接到主相机104(或与主相机通信的处理器122)的一个或多个处理器102更新连续自动对焦。或者，如果一个或多个处理器102或122确定存在新目标，则一个或多个处理器102或122在初始化连续自动对焦之后更新连续自动对焦。
在步骤622中，连接到主相机104的一个或多个处理器102(或与主相机通信的处理器122)移动到下一图像帧。例如，在更新感兴趣的对焦区域，确定是否有新目标，初始化连续自动对焦，配置对焦速度，更新连续自动对焦之后，一个或多个处理器102或122通过返回到图6中所示的步骤612对捕获的视频(例如电影)的下一图像帧重复该过程。
图7A-7C示出了根据本公开一些实施例的示例性自动对焦系统700。如图7A所示，第一相机(例如，辅助相机，如辅助相机106、204、208、210或404)的较宽FOV 714重叠或包含第二相机(例如，主相机，如主相机104、202、206或402)的较窄FOV 716。在一些实施例中，对象702、704和706可以被定位或者可以移动到FOV 716中，使得它们的一个或多个图像被第二相机捕获。在一些实施例中，也可以在用户设备708的用户界面710和/或712上显示由主相机捕获的视图716(例如，人702)。如图7A所示，用户设备708的显示区域的第一区域710(例如，主显示区域)显示由主相机捕获的视图716，例如在主相机的视场角716内的感兴趣区域(ROI)(例如，包括当前焦点对准的人702)。显示区域的第二区域712可以显示一个或多个图标，这些图标表示可以在辅助相机的视场角714中捕获的对象(例如，对象704、706)和/或人(例如，人702)。在一些实施例中，显示在第二区域712中的图标对应于对象和/或人，该对象和/或人是辅助相机的视场角714内的一个或多个ROI。
如图7B所示，与用户设备708相关联的用户提供用户输入，例如通过用户的手718与图标或其他指示符(例如，与第一相机的FOV714内的人702和对象704和706之一相关联)之间的交互来在显示屏(例如，触摸屏，在显示屏的第二区域712中)或通过另一个合适的选择机制(例如，音频命令、眼睛注视跟踪、鼠标点击等)上进行选择。响应于用户的选择，自动对焦系统700(例如，类似于系统100、200、205，或包括如关于图1B所讨论的系统120的一个或多个模块)可以指示或以其他方式控制辅助相机进行调整其FOV 714(例如，调整焦距以对焦或将其ROI转移到所选对象，例如树704)。自动对焦系统700还可以指示或以其他方式控制主相机以调整其FOV 716以对焦或包括所选对象，因此FOV 714和/或FOV716包含与用户在用户界面712上选择的对象相关联的树704.
因此，如图7C所示，可以响应于用户在主相机的视场角716(例如，作为当前ROI)中的选择来更新用户界面710(例如，主显示区域710)以显示树704。此外，由于辅助相机也移动其FOV714以将选定的树704放置在FOV714的大致中心，因此对象706在FOV 714之外。作为响应，系统700的一个或多个处理器导致对象706从第二显示区域712移走。
图8A和8B示出了根据本公开一些实施例的示例性自动对焦过程。如图8A所示，与用户设备800相关联的用户可以使用一个或多个用户界面804和806来指示图标序列或对象的其他指示符以供第二相机(例如，主相机)对焦。这个序列可以对应于某些对象可以被相机对焦的顺序。例如，用户可以指示用户设备中的或与用户设备通信的第二相机可以首先关注人810，其次关注树812，然后关注汽车814。因此，如图8B所示，自动对焦系统808(例如，类似于系统100、200、205，或包括如图1B中讨论的系统120的一个或多个模块)可以使第二相机首先对焦在人810上，然后对焦在树812上，最后对焦在汽车814上，在这个例子中，与用户在一个或多个用户界面804和806上指示的顺序相同。
在一些实施例中，辅助相机的分辨率可能相对较低，使得辅助相机捕获的图像可以通过卷积神经网络或其他类型的基于机器学习的加速器相对快速地处理，例如，在自动对焦系统100或通信耦合到相机系统的系统120中，使主相机自动调整其焦点。在一些实施例中，可以触发自动对焦系统以根据用户命令基于由辅助相机捕获的视图来调整主相机的焦距，例如，该用户命令是在用户设备的用户界面上输入的。
图9示出了根据本公开实施例的在深景深(DOF)相机的引导下的自动对焦过程900的流程图。出于解释而非限制的目的，过程900可由如图1A所示的包括一个或多个处理器102的系统100执行，系统120包括如图1B所示的系统120的一个或多个模块146和数据库170，图2A的系统200，图2B的系统205，图3A和3B的系统302，图4的系统400，图7A-7C的用户设备708的一个或多个组件，图7A-7C的系统700的一个或多个组件，图8A的用户设备800的一个或多个组件，或图8B的系统808的一个或多个组件。过程900可用于由一个或多个相机(例如，成像传感器)执行的各种类型的录像、电影摄影、摄影和其他合适的图像捕获过程。
在一些实施例中，过程900由第一相机(例如，辅助相机106、204、208、210或404)和第二相机(例如，主相机104、202、206或402)集成的相机系统(例如，系统100、200、205或400)执行。在一些实施例中，过程900由上述任何系统(例如系统120)执行，该系统可操作地耦合到(例如，连接到或通信)第一相机和第二相机。在一些实施例中，第一相机被配置为连续捕获第一视图(例如，FOV 714)，并且第二相机被配置为连续捕获第二视图(例如，FOV716)。在一些实施例中，第一相机具有第一DOF，并且第二相机具有小于第一DOF的第二DOF(例如，主相机的DOF 306小于辅助相机的DOF 308)。在一些实施例中，第一DOF可以至少部分地与第二DOF重叠(例如，DOF 306可以包括在DOF 308内)。
在一些实施例中，第一相机具有第一FOV并且第二相机具有小于第一FOV的第二FOV(例如，主相机的FOV 716小于辅助相机的FOV 714)。在一些实施例中，第一FOV可以至少部分地与第二FOV重叠(例如，主相机的FOV 716可以包括在辅助相机的FOV 714内)。
在步骤910中，确定(例如，由系统100或系统120，如通过系统120的ROI确定模块150)由第一相机(例如，辅助相机106、204、208、210或404)捕获的场景的第一视图中的第一感兴趣区域(ROI)。在一些实施例中，第一ROI是基于与第一相机捕获并获得的第一视图相关联的第一图像数据来确定的(例如，通过系统120的图像获得和处理模块148)。
在一些实施例中，处理与第一视图相关联的第一图像数据以将第一ROI确定为对焦区域或在辅助相机的第一视图中是可接受的清晰的区域。在一些实施例中，使用面部识别算法(例如，图6的步骤602；由系统120的面部识别模块154)来处理与第一视图相关联的第一图像数据以将第一ROI确定为表示面部。在一些实施例中，使用对象识别算法(例如，通过系统120的对象识别模块156)处理与第一视图相关联的第一图像数据以在第一ROI中确定对象(例如，树704、汽车706或可以被识别为ROI并被系统注册的建筑物)。在一些实施例中，使用机器学习算法处理与第一视图相关联的第一图像数据以确定第一ROI。例如，机器学习模型可以使用已被标记为与各种对象、人、面部表情、嘴部运动、身体姿势、动作等相关联的图像数据来训练(例如，存储在系统120的机器学习数据172中)。然后可以使用这种机器学习模型来确定对象、人、对象或人的运动、面部表情、嘴部运动(例如，角色说话)和/或身体姿势。
在一些实施例中，处理与第一视图相关联的第一图像数据以确定多个ROI，例如，对象704和706以及人702。例如，多个ROI在辅助相机的第一视图中处于焦点位置。在一些实施例中，可以从多个ROI中选择第一ROI。例如，识别的多个ROI可以呈现在图形用户界面上(例如，用户设备708的显示器上的区域712)。可以检测用户输入，例如手指与触摸屏的接触(例如，由图7B中的手718指示)、音频命令或注视，以指示从多个ROI中选择可以接收(例如，由显示器上的用户接口124检测到)的第一ROI(例如，从区域712中选择对应于树704的图标)。
在一些实施例中，使用机器学习算法将要聚焦的期望区域确定为所述第一ROI(例如，基于用户先前的选择数据，和/或任何其他类型的可用于训练机器学习模型来预测用户未来的选择的用户数据(例如，存储在机器学习数据172中))。
在步骤920中，根据第一ROI，在第二相机(例如，主相机104、202、206或402)捕获的场景的第二视图中确定第二ROI，该第二ROI对应于第一ROI。在一些实施例中，与第一ROI相关联的参数(例如，在真实空间或捕获视图中的第一ROI中的多个点的位置坐标)可以被转换成(例如，考虑在第一和第二相机之间的透镜参数和透镜位置)与第二视图(例如，用于确定或定义第二ROI)中的第二ROI相关联的位置信息(例如，在真实空间中或在捕获的视图中)。
在步骤930中，使第二相机对焦在第二视图中的第二ROI上(例如，通过焦点调整模块152)。在一些实施例中，对焦过程可以自动进行。在一些实施例中，可以调整第二相机的透镜组件和图像传感器之间的距离以使第二相机对焦在第二ROI上(例如，基于在步骤920中确定的第二ROI的位置信息)。在一些实施例中，可以将来自第二相机的先前ROI的焦点切换到第二视图中的第二ROI(例如，基于在步骤920中确定的第二ROI的位置信息)。
图10示出了根据本公开实施例的在深DOF相机的引导下的自动对焦过程1000的流程图。在一些实施例中，过程1000可由如图1A所示的包括一个或多个处理器102的系统100执行，系统120包括如图1B所示的系统120的一个或多个模块146和数据库170，图2A的系统200，图2B的系统205，图3A和3B的系统302，图4的系统400，图7A-7C的用户设备708的一个或多个组件，图7A-7C的系统700的一个或多个组件，图8A的用户设备800的一个或多个组件，或图8B的系统808的一个或多个组件。可以理解，过程1000可以由任何相机系统或可操作地耦合到具有与图9中讨论的过程900类似配置的一个或多个相机的系统来执行。为简洁起见，类似的特征或步骤在此不再赘述。
在步骤1010中，确定(例如，由系统100或系统120，例如系统120的ROI确定模块150)由第一相机(例如，辅助相机106、204、208、210或404)捕获的场景的第一视图中的第一感兴趣区域(ROI)。在一些实施例中，第一ROI是基于与第一视图相关联的第一图像数据确定的，该第一视图由第一相机捕获并从第一相机获得(例如，通过系统120的图像获得和处理模块148)。第一相机可以被配置为连续捕获场景的第一视图。第一相机可以与第一DOF相关联。
在步骤1020中，使第二相机(例如，主相机104、202、206或402)对焦在第二视图中的第二ROI上，该第二ROI与确定的第一ROI相对应。第二相机可以被配置为连续捕获场景的第二视图。第二相机可以与小于第一DOF的第二DOF相关联。在一些实施例中，可以基于与第一ROI相关联的信息(例如，第一ROI在真实空间或第一视图中的位置信息)来调整第二相机的焦点。与流程900不同的是，在流程1000中，在使第二相机对焦于第二ROI之前，可以不识别第二ROI的信息，并且第二视图中的第二ROI可以通过调整第二相机的一个或多个参数(例如，存储在相机参数174中)以对焦在与第一ROI相对应的区域上作为第二ROI的结果而被识别。
在一些实施例中，可以通过调整第二相机的透镜组件和图像传感器之间的距离来使第二相机对焦在第二ROI上。与第二相机相关联的一个或多个参数(例如，存储在相机参数174中，包括但不限于，焦距、光圈、ISO灵敏度、第二相机和识别的第一ROI位置之间的相对距离和/或位置等)可以基于与所识别的第一ROI相关联的信息来调整。
在一些实施例中，可以根据第一相机和第二相机之间的一个或多个参数的预设关系来调整第二相机的一个或多个参数(例如，存储在相机参数174中)，例如第二相机的透镜组件和图像传感器之间的距离。例如，可以预先设定第一相机和第二相机的焦距和/或光圈之间的关系。当基于第一ROI确定第一相机的第一参数(例如，第一焦距)时，可以根据预设关系调整第二相机的第二参数(例如，第二焦距)，以使第二个相机对焦在对应于第一ROI的区域上。
在一些实施例中，可以根据与第一ROI相关联的一个或多个特征来调整第二相机的一个或多个参数(例如，第一ROI的位置/位置坐标可用于确定第二相机的焦距等参数的调整)，例如第二相机的透镜组件和图像传感器之间的距离。在一些实施例中，根据与第一ROI相关联的一个或多个特征，可以使第二相机从当前对焦的ROI切换到第二视图中的另一区域以指定为第二ROI。例如，第一ROI的坐标可以用于将第二相机的焦点(例如，不需要或不需要调整第二相机的焦距)切换到第二视图中与第一ROI对应的区域作为第二ROI。
图11示出了根据本公开的实施例的在一个或多个深DOF相机的引导下的自动对焦过程1100的流程图。过程1100可由如图1A所示的包括一个或多个处理器102的系统100执行，系统120包括如图1B所示的系统120的一个或多个模块146和数据库170，图2A的系统200，图2B的系统205，图3A和3B的系统302，图4的系统400，图7A-7C的用户设备708的一个或多个组件，图7A-7C的系统700的一个或多个组件，图8A的用户设备800的一个或多个组件，或图8B的系统808的一个或多个组件。
在一些实施例中，过程1100由与主相机和多个辅助相机集成的相机系统(例如，系统100、200、205或400)或可操作地耦合到(例如，结合或通信)主相机和多个辅助相机的系统(例如，系统120)执行。在一些实施例中，多个辅助相机(例如，辅助相机106、204、208、210或404)可以包括被配置为捕获场景的第一视图并且与第一焦距范围相关联的第一辅助相机，和被配置为捕获场景的第二视图并且与不同于第一焦距范围的第二焦距范围相关联的第二辅助相机。在一些实施例中，第三相机(例如，主相机104、202、206或402)可以被配置为捕获场景的第三视图并且与第三焦距范围相关联。
在步骤1110中，通过将主相机的第三焦距范围与第一焦距和第二焦距范围进行比较，在第一辅助相机的第一视图和第二辅助相机的第二视图之间选择视图(例如，通过视图选择模块158)。例如，可以根据确定一个辅助相机具有与主相机的第三焦距范围至少部分重叠的第一或第二焦距范围来选择视图。
在一些实施例中，可以选择与第一相机和第二相机之间的相机相关联的视图，该相机具有与第三相机的第三焦距范围至少部分重叠的焦距范围。在一些实施例中，可以选择与第一和第二相机之间的相机相关联的视图，该相机包括与第三相机中包括的透镜基本相似类型的透镜。例如，如果第三相机当前使用广角透镜，则可以选择第一和第二辅助相机中带有广角透镜的一个。在另一个实施例中，如果第三相机当前正在使用远摄透镜，则可以选择第一和第二辅助相机中的带有远摄透镜的一个。在一些实施例中，可以选择与第一和第二相机之间的相机相关联的视图，该相机具有与第三相机的FOV至少部分重叠的FOV。
在步骤1120中，基于与所述选定视图相关联的图像数据(例如，由相应的辅助相机捕获并从相应的辅助相机获得的图像数据)来确定所述选定视图中的第一感兴趣区域(ROI)。在一些实施例中，可以处理与所述选定视图相关联的图像数据以将第一ROI确定为所述选定视图中的对焦区域。在一些实施例中，可以使用面部识别算法来处理与所述选定视图相关联的图像数据，以将第一ROI确定为表示面部(例如，类似于上面讨论的面部识别过程)。在一些实施例中，可以使用对象识别算法来处理与所述选定视图相关联的图像数据，以将对象确定为如上所述的第一ROI。在一些实施例中，如上所述，可以使用机器学习算法来处理与所述选定视图相关联的图像数据，以确定所述选定视图中的第一ROI。在一些实施例中，可以处理与所述选定视图相关联的图像数据以确定如本公开所讨论的多个ROI。然后可以使用参考过程900讨论的任何其他合适的方法从多个ROI中选择第一ROI。
在步骤1130中，使第三相机对焦在第三视图中与第一ROI对应的第二ROI上。在一些实施例中，可以首先确定对应于所述选定视图中的第一ROI的第三视图中的第二ROI。然后，可以根据在第三视图中确定的第二ROI来调整一个或多个参数，例如第三相机的透镜组件和图像传感器之间的距离。例如，如关于过程900所讨论的，可以基于位置信息或与真实空间或选定视图中的第一ROI相关联的任何其他信息，以及与选择的相机和第三主相机相关联的相应参数(例如，存储在相机参数174中)，将第一ROI从所述选定视图首先投影到第三视图中的第二ROI。然后可以使第三相机对焦在投影到第三视图中的第二ROI上(例如，通过调整参数，例如第三相机的焦距、光圈、FOV等)。
在一些实施例中，如关于过程1000所讨论的，第三主相机的一个或多个参数可以基于与所述选定视图中的第一ROI相关联的信息进行调整，使得第三相机可以对焦在与第一ROI对应的第三视图中的区域，该区域可以指定为第三视图中的第二ROI。在一些实施例中，第三相机的一个或多个参数，例如透镜组件和图像传感器之间的距离，可以根据第三相机和与所述选定视图相关联的相机之间的一个或多个参数的预设关系来调整(例如，如关于图10的过程1000所讨论的)。在一些实施例中，第三相机的一个或多个参数，例如透镜组件和图像传感器之间的距离，可以根据与第一ROI相关联的一个或多个特征(例如，如上述讨论的第一ROI的位置信息)。在一些实施例中，根据与第一ROI相关联的一个或多个特征，可以使第三相机将焦点从当前对焦的ROI切换到第三视图中的另一区域以变成第二ROI。
图12示出了根据本公开实施例的在一个或多个深DOF相机引导下的自动对焦过程1200的流程图，过程1200可由包括如图1A所示的一个或多个处理器102的系统100执行，系统120包括如图1B所示的系统120的一个或多个模块146和数据库170，图2A的系统200，图2B的系统205，图3A和3B的系统302，图4的系统400，图7A-7C的用户设备708的一个或多个组件，图7A-7C的系统700的一个或多个组件，图8A的用户设备800的一个或多个组件，或图8B的系统808的一个或多个组件。
在一些实施例中，过程1200由与主相机和多个辅助相机集成的相机系统(例如，系统100、200、205或400)或可操作地耦合到(例如，结合或通信)主相机和多个辅助相机的系统(例如，系统120)执行。在一些实施例中，多个辅助相机(例如，辅助相机106、204、208、210或404)可以包括被配置为捕获场景的第一视图的第一相机和被配置为捕获场景的第二视图的第二相机。在一些实施例中，第三相机(例如，主相机104、202、206或402)可以被配置为捕获场景的第三视图。第一相机可以具有第一DOF，并且第二相机可以具有与第一DOF至少部分重叠的第二DOF。第三相机可以具有小于第一DOF或第二DOF的第三DOF。第一相机可以具有第一FOV，并且第二相机可以具有与第一FOV至少部分重叠的第二FOV。
在步骤1210中，在由第一相机捕获的第一视图和由第二相机捕获的第二视图之间的重叠区域中确定第一感兴趣区域(ROI)。在一些实施例中，使用面部识别算法进行处理与第一视图和第二视图之间的重叠区域相关联的第一图像数据和第二图像数据，以将第一ROI确定为如本公开所述的表示面部。在一些实施例中，使用对象识别算法来处理与重叠区域相关联的第一图像数据和第二图像数据以确定对应于如本文所公开的第一ROI的对象。在一些实施例中，使用机器学习算法来处理与重叠区域相关联的第一图像数据和第二图像数据，以确定如本公开所述的第一ROI。
在步骤1220中，可以基于与从第一相机获得的与第一视图相关联的第一图像数据以及与从第二相机获得的第二视图相关联的第二图像数据来确定(例如，通过距离确定模块160)对应于第一ROI(例如，位于第一ROI内)的对象的距离。在一些实施例中，可以基于与由第一和第二相机捕获的两个对应图像(例如，立体图像)相关联的视差值来确定对象的距离(例如，深度)。
图13示出了根据本公开一些实施例的用于确定到多个辅助相机的重叠区域中的对象的距离的示意图。如图13所示，第一相机和第二相机(两个辅助相机)的光学中心分别在O和O′。图13中的点X表示在O处的第一相机的第一视图和在O′处的第二相机的第二视图之间的重叠区域中的对象。在一些实施例中，f表示在真实空间中捕获包括点X的第一和第二图像的第一和第二相机的焦距。在O处的第一相机与在O′处的第二相机之间的距离为L。在图13中，x表示对应于在第一相机的2D图像平面上捕获的真实点X的点，x′表示对应于在第二相机的2D图像平面上捕获的真实点X对应的点。点X的深度或距离D由下式确定：
Figure BDA0003852280610000241
其中，视差表示两个相机捕获的对象或点的图像位置的差异。
在步骤1230中，第三相机被配置为基于在步骤1220中确定的对象的距离来捕获场景的第三视图，以对焦在第三视图中与第一ROI相对应的第二ROI上。在一些实施例中，可以基于确定的对象的距离(例如，如图13中所示的距离D)在第三视图中确定第二ROI。因此，可以调整第三相机的一个或多个参数以对焦在第二ROI上。例如，可以根据距离D调整第三相机的透镜组件和图像传感器之间的距离以对焦在对象上(例如，图13中的点X)。在另一个实施例中，可以将第三相机的第三视图从先前对焦的区域切换到所确定的第二ROI。
在一些其他实施例中，第三相机的一个或多个参数，例如透镜组件和图像传感器之间的距离，可以根据所确定的对象的距离D进行调整(例如，无需先确定第二ROI)。在一些实施例中，可以根据确定的对象的距离D将当前ROI的焦点切换到第三视图中的区域，并且可以将该区域指定为第三视图中的第二ROI。
应当理解，所公开的实施例在应用上并不一定局限于如以上描述和/或在附图和/或实施例中所示的配置的细节和组件的布置。所公开的实施例能够变化，或以各种方式实践或进行。
对于本领域技术人员来说，显而易见的是，可以对所公开的设备和系统进行各种修改和变化。其它实施例对于本领域技术人员来说，从所公开的设备和系统的规格和实践的考虑中将是显而易见的。本意是将说明书和示例仅视为示例性，其真实范围由权利要求及其等同物指示。

Claims (162)

1.一种系统，包括：
一个或多个处理器；以及
存储器，所述存储器耦合到所述一个或多个处理器并且存储指令，当所述指令由所述一个或多个处理器执行时，使所述系统：
确定由第一相机捕获的场景的第一视图中的第一感兴趣区域(ROI)，所述第一ROI基于从所述第一相机获得的与所述第一视图相关联的第一图像数据来确定；
根据所述第一ROI确定由第二相机捕获的所述场景的第二视图中的第二ROI，所述第二ROI对应于所述第一ROI；以及
使所述第二相机对焦在所述第二视图中的所述第二ROI上。
2.根据权利要求1所述的系统，其中，所述第一相机和所述第二相机集成在所述系统中。
3.根据权利要求2所述的系统，其中，所述第一相机被配置为连续地捕获所述第一视图。
4.根据权利要求2所述的系统，其中，所述第二相机被配置为连续地捕获所述第二视图。
5.根据权利要求2所述的系统，其中，所述第一相机具有第一景深(DOF)，并且所述第二相机具有小于所述第一DOF的第二DOF。
6.根据权利要求5所述的系统，其中，所述第一DOF与所述第二DOF重叠。
7.根据权利要求2所述的系统，其中，所述第一相机具有第一视场角(FOV)，并且所述第二相机具有小于所述第一FOV的第二FOV。
8.根据权利要求7所述的系统，其中，所述第一FOV与所述第二FOV重叠。
9.根据权利要求1所述的系统，其中，所述确定所述第一ROI包括：
处理与所述第一视图相关联的所述第一图像数据，以将所述第一ROI确定为所述第一视图中的对焦区域。
10.根据权利要求1所述的系统，其中，所述确定所述第一ROI包括：
使用面部识别算法来处理与所述第一视图相关联的所述第一图像数据，以将所述第一ROI确定为表示面部。
11.根据权利要求1所述的系统，其中，所述确定所述第一ROI包括：
使用对象识别算法来处理与所述第一视图相关联的所述第一图像数据，以将对象确定为所述第一ROI。
12.根据权利要求1所述的系统，其中，所述确定所述第一ROI包括：
使用机器学习算法处理与所述第一视图相关联的所述第一图像数据，以确定所述第一视图中的所述第一ROI。
13.根据权利要求1所述的系统，其中，所述确定所述第一ROI包括：
处理与所述第一视图相关联的所述第一图像数据以确定多个ROI；以及
从所述多个ROI选择所述第一ROI。
14.根据权利要求13所述的系统，其中，所述处理与所述第一视图相关联的第一图像数据以确定多个ROI包括：
确定所述多个ROI在所述第一视图中对焦。
15.根据权利要求13所述的系统，其中，所述从所述多个ROI选择第一ROI包括：
在图形用户界面上呈现所述多个ROI；以及
接收用于指示从所述多个ROI中选择所述第一ROI作为要对焦的期望区域的用户输入。
16.根据权利要求13所述的系统，其中，所述从所述多个ROI选择第一ROI包括：
使用机器学习算法将要聚焦的期望区域确定为所述第一ROI。
17.根据权利要求1所述的系统，其中，所述确定所述第二视图中的所述第二ROI包括：
将所述第一视图中的所述第一ROI转换到所述第二视图中的所述第二ROI。
18.根据权利要求1所述的系统，其中，所述使所述第二相机对焦在所述第二ROI上包括：
调整第二相机的透镜组件和图像传感器之间的距离。
19.根据权利要求1所述的系统，其中，所述使所述第二相机对焦在所述第二ROI上包括：
在所述第二视图中将焦点从第三ROI切换到所述第二ROI。
20.一种方法，包括：
确定由第一相机捕获的场景的第一视图中的第一感兴趣区域(ROI)，所述第一ROI基于从所述第一相机获得的与所述第一视图相关联的第一图像数据来确定；
根据所述第一ROI确定由第二相机捕获的所述场景的第二视图中的第二ROI，所述第二ROI对应于所述第一ROI；以及
使所述第二相机对焦在所述第二视图中的所述第二ROI上。
21.根据权利要求20所述的方法，其中，所述第一相机被配置为连续地捕获所述第一视图，并且所述第二相机被配置为连续地捕获所述第二视图。
22.根据权利要求20所述的方法，其中所述第一相机具有第一景深(DOF)，并且所述第二相机具有小于所述第一DOF的第二DOF，所述第一DOF与所述第二DOF重叠。
23.根据权利要求20所述的方法，其中所述第一相机具有第一视场角(FOV)，并且所述第二相机具有小于所述第一FOV的第二FOV，所述第一FOV与所述第二FOV重叠。
24.根据权利要求20所述的方法，其中，所述确定所述第一ROI包括：
处理与所述第一视图相关联的所述第一图像数据，以将所述第一ROI确定为所述第一视图中的对焦区域。
25.根据权利要求20所述的方法，其中，所述确定所述第一ROI包括：
使用面部识别算法来处理与所述第一视图相关联的所述第一图像数据，以将所述第一ROI确定为表示面部。
26.根据权利要求20所述的方法，其中，所述确定所述第一ROI包括：
使用对象识别算法来处理与所述第一视图相关联的所述第一图像数据，以将对象确定为所述第一ROI。
27.根据权利要求20所述的方法，其中，所述确定所述第一ROI包括：
使用机器学习算法处理与所述第一视图相关联的所述第一图像数据，以确定所述第一视图中的所述第一ROI。
28.根据权利要求20所述的方法，其中，所述确定所述第一ROI包括：
处理与所述第一视图相关联的所述第一图像数据以确定多个ROI；以及
从所述多个ROI选择所述第一ROI。
29.根据权利要求28所述的方法，其中，所述处理与第一视图相关联的第一图像数据以确定多个ROI包括：
确定所述多个ROI在所述第一视图中对焦。
30.根据权利要求28所述的方法，其中，所述从所述多个ROI中选择第一ROI包括：
在图形用户界面上呈现所述多个ROI；以及
接收用于指示从所述多个ROI中选择所述第一ROI作为要对焦的期望区域的用户输入。
31.根据权利要求28所述的方法，其中，所述从所述多个ROI中选择第一ROI包括：
使用机器学习算法将要聚焦的期望区域确定为所述第一ROI。
32.根据权利要求20所述的方法，其中，所述确定所述第二视图中的所述第二ROI包括：
将所述第一视图中的所述第一ROI转换到所述第二视图中的所述第二ROI。
33.根据权利要求20所述的方法，其中，所述使所述第二相机对焦在所述第二ROI上包括：
调整第二相机的透镜组件和图像传感器之间的距离。
34.根据权利要求20所述的方法，其中，所述使所述第二相机对焦在所述第二ROI上包括：
在所述第二视图中将焦点从第三ROI切换到所述第二ROI。
35.一种非暂时性计算机可读介质，具有存储在其上的指令，所述指令在由处理器执行时使所述处理器执行操作，所述操作包括：
确定由第一相机捕获的场景的第一视图中的第一感兴趣区域(ROI)，所述第一ROI基于从所述第一相机获得的与所述第一视图相关联的第一图像数据来确定；
根据所述第一ROI确定由第二相机捕获的所述场景的第二视图中的第二ROI，所述第二ROI对应于所述第一ROI；以及
使所述第二相机对焦在所述第二视图中的所述第二ROI上。
36.根据权利要求35所述的非暂时性计算机可读介质，其中，所述第一相机被配置为连续地捕获所述第一视图，并且所述第二相机被配置为连续地捕获所述第二视图。
37.根据权利要求35所述的非暂时性计算机可读介质，其中，所述第一相机具有第一景深(DOF)，并且所述第二相机具有小于所述第一DOF的第二DOF，所述第一DOF与所述第二DOF重叠。
38.根据权利要求35所述的非暂时性计算机可读介质，其中，所述第一相机具有第一视场角(FOV)，并且所述第二相机具有小于所述第一FOV的第二FOV，所述第一FOV与所述第二FOV重叠。
39.根据权利要求35所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
处理与所述第一视图相关联的所述第一图像数据，以将所述第一ROI确定为所述第一视图中的对焦区域。
40.根据权利要求35所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
使用面部识别算法来处理与所述第一视图相关联的所述第一图像数据，以将所述第一ROI确定为表示面部。
41.根据权利要求35所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
使用对象识别算法米处理与所述第一视图相关联的所述第一图像数据，以将对象确定为所述第一ROI。
42.根据权利要求35所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
使用机器学习算法处理与所述第一视图相关联的所述第一图像数据，以确定所述第一视图中的所述第一ROI。
43.根据权利要求35所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
处理与所述第一视图相关联的所述第一图像数据以确定多个ROI；以及
从所述多个ROI选择所述第一ROI。
44.根据权利要求43所述的非暂时性计算机可读介质，其中，所述处理与第一视图相关联的第一图像数据以确定多个ROI包括：
确定所述多个ROI在所述第一视图中对焦。
45.根据权利要求43所述的非暂时性计算机可读介质，其中，所述从所述多个ROI中选择第一ROI包括：
在图形用户界面上呈现所述多个ROI；以及
接收用于指示从所述多个ROI中选择所述第一ROI作为要对焦的期望区域的用户输入。
46.根据权利要求43所述的非暂时性计算机可读介质，其中，所述从所述多个ROI中选择第一ROI包括：
使用机器学习算法将要聚焦的期望区域确定为所述第一ROI。
47.根据权利要求43所述的非暂时性计算机可读介质，其中，所述确定所述第二视图中的所述第二ROI包括：
将所述第一视图中的所述第一ROI转换到所述第二视图中的所述第二ROI。
48.根据权利要求35所述的非暂时性计算机可读介质，其中，所述使所述第二相机对焦在所述第二ROI上包括：
调整第二相机的透镜组件和图像传感器之间的距离。
49.根据权利要求35所述的非暂时性计算机可读介质，其中，所述使所述第二相机对焦在所述第二ROI上包括：
在所述第二视图中将焦点从第三ROI切换到所述第二ROI。
50.一种系统，包括：
一个或多个处理器；以及
存储器，所述存储器耦合到所述一个或多个处理器并且存储指令，当所述指令由所述一个或多个处理器执行时，使所述系统：
基于从第一相机获得的与第一视图相关联的第一图像数据来确定所述第一视图中的第一感兴趣区域(ROI)，所述第一相机被配置为连续地捕获场景的所述第一视图，所述第一相机与第一景深(DOF)相关联；以及
使第二相机对焦在第二视图中的第二ROI上，所述第二ROI对应于所述所确定的第一ROI，其中，所述第二相机被配置为连续地捕获所述场景的所述第二视图，并且其中所述第二相机与小于所述第一DOF的第二DOF相关联。
51.根据权利要求50所述的系统，其中，所述第一相机和所述第二相机集成在所述系统中。
52.根据权利要求51所述的系统，其中，所述第一DOF与所述第二DOF至少部分地重叠。
53.根据权利要求51所述的系统，其中，所述第一相机具有第一视场角(FOV)，并且所述第二相机具有小于所述第一FOV的第二FOV。
54.根据权利要求53所述的系统，其中，所述第一FOV与所述第二FOV重叠。
55.根据权利要求50所述的系统，其中，所述确定所述第一ROI包括：
处理与所述第一视图相关联的所述第一图像数据，以将所述第一ROI确定为所述第一视图中的对焦区域。
56.根据权利要求50所述的系统，其中，所述确定所述第一ROI包括：
使用面部识别算法来处理与所述第一视图相关联的所述第一图像数据，以将所述第一ROI确定为表示面部。
57.根据权利要求50所述的系统，其中，所述确定所述第一ROI包括：
使用对象识别算法来处理与所述第一视图相关联的所述第一图像数据，以将对象确定为所述第一ROI。
58.根据权利要求50所述的系统，其中，所述确定所述第一ROI包括：
使用机器学习算法处理与所述第一视图相关联的所述第一图像数据，以确定所述第一视图中的所述第一ROI。
59.根据权利要求50所述的系统，其中，所述确定所述第一ROI包括：
处理与所述第一视图相关联的所述第一图像数据以确定多个ROI；以及
从所述多个ROI选择所述第一ROI。
60.根据权利要求59所述的系统，其中，所述处理与所述第一视图相关联的所述第一图像数据以确定多个ROI包括：
确定所述多个ROI在所述第一视图中对焦。
61.根据权利要求59所述的系统，其中，所述从所述多个ROI选择所述第一ROI包括：
在图形用户界面上呈现所述多个ROI；以及
接收用于指示将所述第一ROI选择为要对焦的期望区域的用户输入。
62.根据权利要求59所述的系统，其中，所述从所述多个ROI选择所述第一ROI包括：
使用机器学习算法将要聚焦的期望区域确定为所述第一ROI。
63.根据权利要求50所述的系统，其中，所述使所述第二相机对焦在所述第二ROI上包括：
调整第二相机的透镜组件和图像传感器之间的距离。
64.根据权利要求63所述的系统，其中，根据所述第一相机和所述第二相机之间的一个或多个参数的预设关系来调整所述透镜组件和所述第二相机的所述图像传感器之间的所述距离。
65.根据权利要求63所述的系统，其中，根据与所述第一ROI相关联的一个或多个特征来调整所述透镜组件和所述第二相机的所述图像传感器之间的所述距离。
66.根据权利要求50所述的系统，其中，所述使第二相机对焦在所述第二ROI上包括：
根据与所述第一ROI相关联的一个或多个特征在所述第二视图中将焦点从所述第三ROI切换到所述第二ROI。
67.一种方法，包括：
基于从第一相机获得的与第一视图相关联的第一图像数据来确定所述第一视图中的第一感兴趣区域(ROI)，所述第一相机被配置为连续地捕获场景的所述第一视图，所述第一相机与第一景深(DOF)相关联；以及
使第二相机对焦在第二视图中的第二ROI上，所述第二ROI对应于所述所确定的第一ROI，其中，所述第二相机被配置为连续地捕获所述场景的所述第二视图，并且其中所述第二相机与小于所述第一DOF的第二DOF相关联。
68.根据权利要求67所述的方法，其中，所述第一DOF与所述第二DOF至少部分地重叠。
69.根据权利要求67所述的方法，其中，所述第一相机具有第一视场角(FOV)，并且所述第二相机具有小于所述第一FOV的第二FOV，所述第一FOV与所述第二FOV重叠。
70.根据权利要求67所述的方法，其中，所述确定所述第一ROI包括：
处理与所述第一视图相关联的所述第一图像数据，以将所述第一ROI确定为所述第一视图中的对焦区域。
71.根据权利要求67所述的方法，其中，所述确定所述第一ROI包括：
使用面部识别算法来处理与所述第一视图相关联的所述第一图像数据，以将所述第一ROI确定为表示面部。
72.根据权利要求67所述的方法，其中，所述确定所述第一ROI包括：
使用对象识别算法来处理与所述第一视图相关联的所述第一图像数据，以将对象确定为所述第一ROI。
73.根据权利要求67所述的方法，其中，所述确定所述第一ROI包括：
使用机器学习算法处理与所述第一视图相关联的所述第一图像数据，以确定所述第一视图中的所述第一ROI。
74.根据权利要求67所述的方法，其中，所述确定所述第一ROI包括：
处理与所述第一视图相关联的所述第一图像数据以确定多个ROI；以及
从所述多个ROI选择所述第一ROI。
75.根据权利要求74所述的方法，其中，所述处理与第一视图相关联的第一图像数据以确定多个ROI包括：
确定所述多个ROI在所述第一视图中对焦。
76.根据权利要求74所述的方法，其中，所述从所述多个ROI中选择所述第一ROI包括：
在图形用户界面上呈现所述多个ROI；以及
接收用于指示将所述第一ROI选择为要对焦的期望区域的用户输入。
77.根据权利要求74所述的方法，其中，所述从所述多个ROI中选择所述第一ROI包括：
使用机器学习算法将要聚焦的期望区域确定为所述第一ROI。
78.根据权利要求67所述的方法，其中，所述使所述第二相机对焦在所述第二ROI上包括：
调整第二相机的透镜组件和图像传感器之间的距离。
79.根据权利要求78所述的方法，其中，根据所述第一相机和所述第二相机之间的一个或多个参数的预设关系来调整所述透镜组件和所述第二相机的图像传感器之间的距离。
80.根据权利要求78所述的方法，其中，根据与所述第一ROI相关联的一个或多个特征来调整所述透镜组件和所述第二相机的图像传感器之间的距离。
81.根据权利要求67所述的方法，其中，所述使第二相机对焦在所述第二ROI上包括：
根据与所述第一ROI相关联的一个或多个特征在所述第二视图中将焦点从所述第三ROI切换到所述第二ROI。
82.一种非暂时性计算机可读介质，具有存储在其上的指令，所述指令在由处理器执行时使所述处理器执行操作，所述操作包括：
基于从第一相机获得的与第一视图相关联的第一图像数据来确定所述第一视图中的第一感兴趣区域(ROI)，所述第一相机被配置为连续地捕获场景的所述第一视图，所述第一相机与第一景深(DOF)相关联；以及
使第二相机对焦在第二视图中的第二ROI上，所述第二ROI对应于所述所确定的第一ROI，其中，所述第二相机被配置为连续地捕获所述场景的所述第二视图，并且其中所述第二相机与小于所述第一DOF的第二DOF相关联。
83.根据权利要求82所述的非暂时性计算机可读介质，其中，所述第一DOF与所述第二DOF至少部分地重叠。
84.根据权利要求82所述的非暂时性计算机可读介质，其中，所述第一相机具有第一视场角(FOV)，并且所述第二相机具有小于所述第一FOV的第二FOV，所述第一FOV与所述第二FOV重叠。
85.根据权利要求82所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
处理与所述第一视图相关联的所述第一图像数据，以将所述第一ROI确定为所述第一视图中的对焦区域。
86.根据权利要求82所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
使用面部识别算法来处理与所述第一视图相关联的所述第一图像数据，以将所述第一ROI确定为表示面部。
87.根据权利要求82所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
使用对象识别算法来处理与所述第一视图相关联的所述第一图像数据，以将对象确定为所述第一ROI。
88.根据权利要求82所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
使用机器学习算法处理与所述第一视图相关联的所述第一图像数据，以确定所述第一视图中的所述第一ROI。
89.根据权利要求82所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
处理与所述第一视图相关联的所述第一图像数据以确定多个ROI；以及
从所述多个ROI选择所述第一ROI。
90.根据权利要求89所述的非暂时性计算机可读介质，其中，所述处理与第一视图相关联的第一图像数据以确定多个ROI包括：
确定所述多个ROI在所述第一视图中对焦。
91.根据权利要求89所述的非暂时性计算机可读介质，其中，所述从所述多个ROI中选择所述第一ROI包括：
在图形用户界面上呈现所述多个ROI；以及
接收用于指示将所述第一ROI选择为要对焦的期望区域的用户输入。
92.根据权利要求89所述的非暂时性计算机可读介质，其中，从多个ROI选择第一ROI包括：
使用机器学习算法将要聚焦的期望区域确定为所述第一ROI。
93.根据权利要求82所述的非暂时性计算机可读介质，其中，所述使所述第二相机对焦在所述第二ROI上包括：
调整第二相机的透镜组件和图像传感器之间的距离。
94.根据权利要求93所述的非暂时性计算机可读介质，其中，根据所述第一相机与所述第二相机之间的一或多个参数的预设关系来调整所述透镜组合件与所述第二相机的图像传感器之间的距离。
95.根据权利要求93所述的非暂时性计算机可读介质，其中，根据与所述第一ROI相关联的一个或多个特征来调整所述透镜组件和所述第二相机的图像传感器之间的距离。
96.根据权利要求82所述的非暂时性计算机可读介质，其中，所述使第二相机对焦在所述第二ROI上包括：
根据与所述第一ROI相关联的一个或多个特征在所述第二视图中将焦点从所述第三ROI切换到所述第二ROI。
97.一种系统，包括：
一个或多个处理器，所述一个或多个处理器可操作地耦合到：
第一相机，所述第一相机被配置为捕获场景的第一视图，所述第一相机与第一焦距范围相关联；
第二相机，所述第二相机被配置为捕获所述场景的第二视图，所述第二相机与不同于所述第一焦距范围的第二焦距范围相关联；以及
第三相机，所述第三相机被配置为捕获所述场景的第三视图，所述第三相机与第三焦距范围相关联；以及
存储器，所述存储器耦合到所述一个或多个处理器并且存储指令，当所述指令由所述一个或多个处理器执行时，使所述系统：
通过将所述第三焦距范围与所述第一焦距范围和所述第二焦距范围进行比较来选择所述第一视图与所述第二视图之间的视图；
基于与所述选定视图相关联的图像数据来确定所述选定视图中的第一感兴趣区域(ROI)；以及
使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上。
98.根据权利要求97所述的系统，其中，所述第一相机、所述第二相机和所述第三相机中的至少一个集成在所述系统中。
99.根据权利要求97所述的系统，其中，所述选择所述第一视图与所述第二视图之间的视图包括：
选择与所述第一相机和所述第二相机之间的相机相关联的视图，所述相机具有与所述第三相机的所述第三焦距范围至少部分重叠的焦距范围。
100.根据权利要求97所述的系统，其中，所述选择所述第一视图与所述第二视图之间的视图包括：
选择与所述第一相机和所述第二相机之间的相机相关联的视图，所述相机包括与所述第三相机中包括的透镜基本上相似类型的透镜。
101.根据权利要求97所述的系统，其中，所述选择所述第一视图与所述第二视图之间的视图包括：
选择与所述第一相机和所述第二相机之间的相机相关联的视图，所述相机具有与所述第三相机的FOV至少部分重叠的FOV。
102.根据权利要求97所述的系统，其中，所述确定所述第一ROI包括：
处理与所述选定视图相关联的所述图像数据，以将所述第一ROI确定为选定视图中的对焦区域。
103.根据权利要求97所述的系统，其中，所述确定所述第一ROI包括：
使用面部识别算法来处理与所述选定视图相关联的所述图像数据，以将所述第一ROI确定为表示面部。
104.根据权利要求97所述的系统，其中，所述确定所述第一ROI包括：
使用对象识别算法来处理与所述选定视图相关联的所述图像数据，以将对象确定为所述第一ROI。
105.根据权利要求97所述的系统，其中，所述确定所述第一ROI包括：
使用机器学习算法处理与所述选定视图相关联的所述图像数据，以确定所述选定视图中的所述第一ROI。
106.根据权利要求97所述的系统，其中，所述确定所述第一ROI包括：
处理与所述选定视图相关联的所述图像数据以确定多个ROI；以及
从所述多个ROI选择所述第一ROI。
107.根据权利要求97所述的系统，其中，所述使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上包括：
确定所述第三视图中与所述第一ROI对应的所述第二ROI；以及
使得根据所述第三视图中的所述第二ROI来调整所述第三相机的透镜组件和图像传感器之间的距离。
108.根据权利要求97所述的系统，其中，所述使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上包括：
使得根据所述第三相机和与所述选定视图相关联的相机之间的一个或多个参数的预设关系来调整所述第三相机的透镜组件和图像传感器之间的距离。
109.根据权利要求97所述的系统，其中，所述使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上包括：
使得根据与所述第一ROI相关联的一个或多个特征来调整所述第三相机的透镜组件和图像传感器之间的距离。
110.根据权利要求97所述的系统，其中，所述使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上包括：
在所述第三视图中将焦点从第三ROI切换到所述第二ROI。
111.一种方法，包括：
在包括一个或多个处理器的系统中，所述一个或多个处理器可操作地耦合到：
第一相机，所述第一相机被配置为捕获场景的第一视图，所述第一相机与第一焦距范围相关联；
第二相机，所述第二相机被配置为捕获所述场景的第二视图，所述第二相机与不同于所述第一焦距范围的第二焦距范围相关联；以及
第三相机，所述第三相机被配置为捕获所述场景的第三视图，所述第三相机与第三焦距范围相关联；以及
存储器，所述存储器耦合到所述一个或多个处理器并且存储指令，所述指令包括：
通过将所述第三焦距范围与所述第一焦距范围和所述第二焦距范围进行比较来选择所述第一视图与所述第二视图之间的视图；
基于与所述选定视图相关联的图像数据来确定所述选定视图中的第一感兴趣区域(ROI)；以及
使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上。
112.根据权利要求111所述的方法，其中，所述选择所述第一视图与所述第二视图之间的视图包括：
选择与所述第一相机和所述第二相机之间的相机相关联的视图，所述相机具有与所述第三相机的所述第三焦距范围至少部分重叠的焦距范围。
113.根据权利要求111所述的方法，其中，所述选择所述第一视图与所述第二视图之间的视图包括：
选择与所述第一相机和所述第二相机之间的相机相关联的视图，所述相机包括与所述第三相机中包括的透镜基本上相似类型的透镜。
114.根据权利要求111所述的方法，其中，所述选择所述第一视图与所述第二视图之间的视图包括：
选择与所述第一相机和所述第二相机之间的相机相关联的视图，所述相机具有与所述第三相机的FOV至少部分重叠的FOV。
115.根据权利要求111所述的方法，其中，所述确定所述第一ROI包括：
处理与所述选定视图相关联的所述图像数据，以将所述第一ROI确定为所述选定视图中的对焦区域。
116.根据权利要求111所述的方法，其中，所述确定所述第一ROI包括：
使用面部识别算法来处理与所述选定视图相关联的所述图像数据，以将所述第一ROI确定为表示面部。
117.根据权利要求111所述的方法，其中，所述确定所述第一ROI包括：
使用对象识别算法来处理与所述选定视图相关联的所述图像数据，以将对象确定为所述第一ROI。
118.根据权利要求111所述的方法，其中，所述确定所述第一ROI包括：
使用机器学习算法处理与所述选定视图相关联的所述图像数据，以确定所述选定视图中的所述第一ROI。
119.根据权利要求111所述的方法，其中，所述确定所述第一ROI包括：
处理与所述选定视图相关联的所述图像数据以确定多个ROI；以及
从所述多个ROI选择所述第一ROI。
120.根据权利要求111所述的方法，其中，所述使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上包括：
确定所述第三视图中与所述第一ROI对应的所述第二ROI；以及
使得根据所述第三视图中的所述第二ROI来调整所述第三相机的透镜组件和图像传感器之间的距离。
121.根据权利要求111所述的方法，其中，所述使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上包括：
使得根据所述第三相机和与所述选定视图相关联的相机之间的一个或多个参数的预设关系来调整所述第三相机的透镜组件和图像传感器之间的距离。
122.根据权利要求111所述的方法，其中，所述使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上包括：
使得根据与所述第一ROI相关联的一个或多个特征来调整所述第三相机的透镜组件和图像传感器之间的距离。
123.根据权利要求111所述的方法，其中，所述使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上包括：
在所述第三视图中将焦点从第三ROI切换到所述第二ROI。
124.一种其中存储有指令的非暂时性计算机可读介质，所述指令在由处理器执行时，所述处理器可操作地耦合到第一相机，所述第一相机被配置为捕获场景的第一视图，所述第一相机与第一焦距范围相关联；第二相机，所述第二相机被配置为捕获所述场景的第二视图，所述第二相机与不同于所述第一焦距范围的第二焦距范围相关联；以及第三相机，所述第三相机被配置为捕获所述场景的第三视图，所述第三相机与第三焦距范围相关联，使所述处理器执行操作，所述操作包括：
通过将所述第三焦距范围与所述第一焦距范围和所述第二焦距范围进行比较来选择所述第一视图与所述第二视图之间的视图；
基于与所述选定视图相关联的图像数据来确定所述选定视图中的第一感兴趣区域(ROI)；以及
使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上。
125.根据权利要求124所述的非暂时性计算机可读介质，其中，所述选择所述第一视图与所述第二视图之间的视图包括：
选择与所述第一相机和所述第二相机之间的相机相关联的视图，所述相机具有与所述第三相机的所述第三焦距范围至少部分重叠的焦距范围。
126.根据权利要求124所述的非暂时性计算机可读介质，其中，所述选择所述第一视图与所述第二视图之间的视图包括：
选择与所述第一相机和所述第二相机之间的相机相关联的视图，所述相机包括与所述第三相机中包括的透镜基本上相似类型的透镜。
127.根据权利要求124所述的非暂时性计算机可读介质，其中，所述选择所述第一视图与所述第二视图之间的视图包括：
选择与所述第一相机和所述第二相机之间的相机相关联的视图，所述相机具有与所述第三相机的FOV至少部分重叠的FOV。
128.根据权利要求124所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
处理与所述选定视图相关联的所述图像数据，以将所述第一ROI确定为所述选定视图中的对焦区域。
129.根据权利要求124所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
使用面部识别算法来处理与所述选定视图相关联的所述图像数据，以将所述第一ROI确定为表示面部。
130.根据权利要求124所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
使用对象识别算法来处理与所述选定视图相关联的所述图像数据，以将对象确定为所述第一ROI。
131.根据权利要求124所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
使用机器学习算法处理与所述选定视图相关联的所述图像数据，以确定所述选定视图中的所述第一ROI。
132.根据权利要求124所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
处理与所述选定视图相关联的所述图像数据以确定多个ROI；以及
从所述多个ROI选择所述第一ROI。
133.根据权利要求124所述的非暂时性计算机可读介质，其中，所述使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上包括：
确定所述第三视图中与所述第一ROI对应的所述第二ROI；以及
使得根据所述第三视图中的所述第二ROI来调整所述第三相机的透镜组件和图像传感器之间的距离。
134.根据权利要求124所述的非暂时性计算机可读介质，其中，所述使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上包括：
使得根据所述第三相机和与所述选定视图相关联的相机之间的一个或多个参数的预设关系来调整所述第三相机的透镜组件和图像传感器之间的距离。
135.根据权利要求124所述的非暂时性计算机可读介质，其中，所述使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上包括：
使得根据与所述第一ROI相关联的一个或多个特征来调整所述第三相机的透镜组件和图像传感器之间的距离。
136.根据权利要求124所述的非暂时性计算机可读介质，其中，所述使所述第三相机对焦在所述第三视图中与所述第一ROI对应的第二ROI上包括：
在所述第三视图中将焦点从第三ROI切换到所述第二ROI。
137.一种系统，包括：
一个或多个处理器；以及
存储器，所述存储器耦合到所述一个或多个处理器并且存储指令，当所述指令由所述一个或多个处理器执行时，使所述系统：
确定由第一相机捕获的场景的第一视图与由第二相机捕获的所述场景的第二视图之间的重叠区域中的第一感兴趣区域(ROI)；
基于从所述第一相机获得的与所述第一视图相关联的第一图像数据和从所述第二相机获得的与所述第二视图相关联的第二图像数据，确定与所述第一ROI对应的对象的距离；以及
使第三相机被配置为基于所述确定的所述对象的距离来捕获所述场景的第三视图以对焦在所述第三视图中与所述第一ROI相对应的第二ROI上。
138.根据权利要求137所述的系统，其中，所述第一相机、所述第二相机和所述第三相机中的至少一个被集成在所述系统中。
139.根据权利要求137所述的系统，其中，所述第一相机具有第一景深(DOF)，并且所述第二相机具有至少部分地与所述第一DOF重叠的第二DOF。
140.根据权利要求139所述的系统，其中，所述第三相机具有小于所述第一DOF或者所述第二DOF的第三DOF。
141.根据权利要求137所述的系统，其中，所述确定所述第一ROI包括：
使用面部识别算法来处理与所述重叠区域相关联的所述第一图像数据和所述第二图像数据，以将所述第一ROI确定为表示面部。
142.根据权利要求137所述的系统，其中，所述确定所述第一ROI包括：
使用对象识别算法来处理与所述重叠区域相关联的所述第一图像数据和所述第二图像数据，以确定与所述第一ROI对应的所述对象。
143.根据权利要求137所述的系统，其中，所述确定所述第一ROI包括：
使用机器学习算法处理与所述重叠区域相关联的所述第一图像数据和所述第二图像数据，以确定所述第一ROI。
144.根据权利要求137所述的系统，其中，所述使所述第三相机对焦在所述第三视图中的第二ROI上还包括：
基于所述确定的所述对象的距离来确定所述第三视图中的所述第二ROI。
145.根据权利要求137所述的系统，其中，所述使所述第三相机对焦在所述第三视图中的第二ROI上包括：
使得根据所述确定的所述对象的距离来调整所述第三相机的透镜组件和图像传感器之间的距离。
146.根据权利要求137所述的系统，其中，所述使所述第三相机对焦在所述第三视图中的第二ROI上包括：
根据所述确定的所述对象的距离，在所述第三视图中将焦点从第三ROI切换到所述第二ROI。
147.一种方法，包括：
确定由第一相机捕获的场景的第一视图与由第二相机捕获的所述场景的第二视图之间的重叠区域中的第一感兴趣区域(ROI)；
基于从所述第一相机获得的与所述第一视图相关联的第一图像数据和从所述第二相机获得的与所述第二视图相关联的第二图像数据，确定与所述第一ROI对应的对象的距离；以及
使第三相机被配置为基于所述确定的所述对象的距离来捕获所述场景的第三视图以对焦在所述第三视图中与所述第一ROI相对应的第二ROI上。
148.根据权利要求147所述的方法，其中，所述第一相机具有第一景深(DOF)，所述第二相机具有至少部分地与所述第一DOF重叠的第二DOF，并且所述第三相机具有小于所述第一DOF或所述第二DOF的第三DOF。
149.根据权利要求147所述的方法，其中，所述确定所述第一ROI包括：
使用面部识别算法来处理与所述重叠区域相关联的所述第一图像数据和所述第二图像数据，以将所述第一ROI确定为表示面部。
150.根据权利要求147所述的方法，其中，所述确定所述第一ROI包括：
使用对象识别算法来处理与所述重叠区域相关联的所述第一图像数据和所述第二图像数据，以确定与所述第一ROI对应的所述对象。
151.根据权利要求147所述的方法，其中，所述确定所述第一ROI包括：
使用机器学习算法处理与所述重叠区域相关联的所述第一图像数据和所述第二图像数据，以确定所述第一ROI。
152.根据权利要求147所述的方法，其中，所述使所述第三相机对焦在所述第三视图中的第二ROI上还包括：
基于所述确定的所述对象的距离来确定所述第三视图中的所述第二ROI。
153.根据权利要求147所述的方法，其中，所述使所述第三相机对焦在所述第三视图中的第二ROI上包括：
使得根据所述确定的所述对象的距离来调整所述第三相机的透镜组件和图像传感器之间的距离。
154.根据权利要求147所述的方法，其中，所述使所述第三相机对焦在所述第三视图中的第二ROI上包括：
根据所述确定的所述对象的距离，在所述第三视图中将焦点从第三ROI切换到所述第二ROI。
155.一种其中存储有指令的非暂时性计算机可读介质，所述指令在由处理器执行时使所述处理器执行操作，所述操作包括：
确定由第一相机捕获的场景的第一视图与由第二相机捕获的所述场景的第二视图之间的重叠区域中的第一感兴趣区域(ROI)；
基于从所述第一相机获得的与所述第一视图相关联的第一图像数据和从所述第二相机获得的与所述第二视图相关联的第二图像数据，确定与所述第一ROI对应的对象的距离；以及
使第三相机被配置为基于所述确定的所述对象的距离来捕获所述场景的第三视图以对焦在所述第三视图中与所述第一ROI相对应的第二ROI上。
156.根据权利要求155所述的非暂时性计算机可读介质，其中，所述第一相机具有第一景深(DOF)，所述第二相机具有至少部分地与所述第一DOF重叠的第二DOF，并且所述第三相机具有小于所述第一DOF或所述第二DOF的第三DOF。
157.根据权利要求155所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
使用面部识别算法来处理与所述重叠区域相关联的所述第一图像数据和所述第二图像数据，以将所述第一ROI确定为表示面部。
158.根据权利要求155所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
使用对象识别算法来处理与所述重叠区域相关联的所述第一图像数据和所述第二图像数据，以确定与所述第一ROI对应的所述对象。
159.根据权利要求155所述的非暂时性计算机可读介质，其中，所述确定所述第一ROI包括：
使用机器学习算法处理与所述重叠区域相关联的所述第一图像数据和所述第二图像数据，以确定所述第一ROI。
160.根据权利要求155所述的非暂时性计算机可读介质，其中，所述使所述第三相机对焦在所述第三视图中的第二ROI上还包括：
基于所述确定的所述对象的距离来确定所述第三视图中的所述第二ROI。
161.根据权利要求155所述的非暂时性计算机可读介质，其中，所述使所述第三相机对焦在所述第三视图中的第二ROI上包括：
使得根据所述确定的所述对象的距离来调整所述第三相机的透镜组件和图像传感器之间的距离。
162.根据权利要求155所述的非暂时性计算机可读介质，其中，所述使所述第三相机对焦在所述第三视图中的第二ROI上包括：
根据所述确定的所述对象的距离，在所述第三视图中将焦点从第三ROI切换到所述第二ROI。
CN202080098778.4A 2020-03-20 2020-03-20 自动对焦方法及其相机系统 Pending CN115299031A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/080375 WO2021184341A1 (en) 2020-03-20 2020-03-20 Autofocus method and camera system thereof

Publications (1)

Publication Number Publication Date
CN115299031A true CN115299031A (zh) 2022-11-04

Family

ID=77769973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080098778.4A Pending CN115299031A (zh) 2020-03-20 2020-03-20 自动对焦方法及其相机系统

Country Status (2)

Country Link
CN (1) CN115299031A (zh)
WO (1) WO2021184341A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11503202B1 (en) * 2022-01-03 2022-11-15 Varjo Technologies Oy Optical focus adjustment
US20240073520A1 (en) * 2022-08-29 2024-02-29 Sony Interactive Entertainment Inc. Dual camera tracking system
CN116723264A (zh) * 2022-10-31 2023-09-08 荣耀终端有限公司 确定目标位置信息的方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223477A (zh) * 2010-04-13 2011-10-19 索尼公司 基于双图片匹配的深度估计的四维多项式模型
US9219860B1 (en) * 2014-12-17 2015-12-22 Ic Real Tech, Llc Hybrid panoramic optical device with embedded PTZ components
CN105765967A (zh) * 2013-09-30 2016-07-13 谷歌公司 使用第二相机来调节第一相机的设置
CN105814875A (zh) * 2013-12-06 2016-07-27 谷歌公司 选择用于立体成像的相机对
US20160295097A1 (en) * 2015-03-31 2016-10-06 Qualcomm Incorporated Dual camera autofocus
CN109922251A (zh) * 2017-12-12 2019-06-21 华为技术有限公司 快速抓拍的方法、装置及系统
CN110493527A (zh) * 2019-09-24 2019-11-22 Oppo广东移动通信有限公司 主体对焦方法、装置、电子设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130068193A (ko) * 2011-12-14 2013-06-26 한국전자통신연구원 멀티 영상 제공 시스템 및 그것의 멀티 영상 입력 장치
CN105765969B (zh) * 2015-03-27 2018-07-31 深圳市大疆创新科技有限公司 影像处理方法、装置和设备及影像拍摄系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223477A (zh) * 2010-04-13 2011-10-19 索尼公司 基于双图片匹配的深度估计的四维多项式模型
CN105765967A (zh) * 2013-09-30 2016-07-13 谷歌公司 使用第二相机来调节第一相机的设置
CN105814875A (zh) * 2013-12-06 2016-07-27 谷歌公司 选择用于立体成像的相机对
US9219860B1 (en) * 2014-12-17 2015-12-22 Ic Real Tech, Llc Hybrid panoramic optical device with embedded PTZ components
US20160295097A1 (en) * 2015-03-31 2016-10-06 Qualcomm Incorporated Dual camera autofocus
CN109922251A (zh) * 2017-12-12 2019-06-21 华为技术有限公司 快速抓拍的方法、装置及系统
CN110493527A (zh) * 2019-09-24 2019-11-22 Oppo广东移动通信有限公司 主体对焦方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2021184341A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
US10116922B2 (en) Method and system for automatic 3-D image creation
US8995785B2 (en) Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US9456141B2 (en) Light-field based autofocus
WO2021184341A1 (en) Autofocus method and camera system thereof
US20150103184A1 (en) Method and system for visual tracking of a subject for automatic metering using a mobile device
KR20190015573A (ko) 시선 추적에 기초하여 자동 초점 조정하는 이미지 포착 시스템, 장치 및 방법
WO2019061079A1 (zh) 一种对焦处理方法及设备
US11102413B2 (en) Camera area locking
US20220122279A1 (en) Imaging method and imaging control apparatus
TWI471677B (zh) 自動對焦方法及自動對焦裝置
US20200267309A1 (en) Focusing method and device, and readable storage medium
CN103765374A (zh) 交互式屏幕观看
CN109451240B (zh) 对焦方法、装置、计算机设备和可读存储介质
CN114690900B (zh) 一种虚拟场景中的输入识别方法、设备及存储介质
CN106922181B (zh) 方向感知自动聚焦
CN110602376B (zh) 抓拍方法及装置、摄像机
CN114363522A (zh) 拍照方法及相关装置
Hulens et al. Autonomous lecture recording with a ptz camera while complying with cinematographic rules
US10248859B2 (en) View finder apparatus and method of operating the same
CN115393182A (zh) 图像处理方法、装置、处理器、终端及存储介质
JPWO2015141185A1 (ja) 撮像制御装置、撮像制御方法およびプログラム
WO2022126430A1 (zh) 辅助对焦方法、装置及系统
CN116097308A (zh) 自动摄影构图推荐
JP2019197295A (ja) 画像処理装置、画像処理方法およびプログラム
WO2018161322A1 (zh) 基于深度的图像处理方法、处理装置和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination