CN117616449A - 选择性地增加具有多个感兴趣区域的场景中的景深 - Google Patents

Abstract

本公开提供支持多帧景深(MF‑DOF)以用于对诸如背景面的背景感兴趣区域(ROI)进行去模糊的系统、装置、方法和计算机可读介质，该背景感兴趣区域可能由于用于捕获图像帧的相机的大光圈大小或其他特性而模糊。该处理可包括使用在对应于图像帧中的多个ROI的两个不同焦点处获得的两个图像帧。可通过使用基于AI的模型和/或局部梯度信息对第一图像帧的一个或多个ROI去模糊来确定校正的图像帧。MF‑DOF能够允许选择性地增加图像的景深(DOF)以提供对多个感兴趣区域的聚焦捕获，而不导致光圈(以及随后能够用于摄影的光量)的减小或摄影可能期望的背景模糊。

Description

选择性地增加具有多个感兴趣区域的场景中的景深

相关申请的交叉引用

本申请要求以下申请的权益：2021年12月22日提交的名称为“SELECTIVELYINCREASING DEPTH-OF-FIELD IN SCENES WITH MULTIPLE REGIONS OF INTEREST”的美国专利申请17/645,688号；以及2021年7月6日提交的名称为“SELECTIVELY INCREASINGDEPTH-OF-FIELD IN SCENES WITH MULTIPLE REGIONS OF INTEREST”的美国临时专利申请63/218,804号，上述两份申请的全部内容通过引用的方式明确地并入本文。

技术领域

本公开的各方面整体涉及图像信号处理。一些特征可实现并提供改进的通信，包括可补偿图像特性(诸如由大光圈大小引入的模糊)的去模糊操作。

背景技术

图像捕获设备是可以捕获一个或多个数字图像(无论是用于照片的静止图像还是用于视频的图像序列)的设备。捕获设备可以被结合到各种各样的设备中。以举例的方式，图像捕获设备可包括独立数字相机或数字视频摄像机、配备有相机的无线通信设备手持机(诸如移动电话、蜂窝或卫星无线电电话)、个人数字助理(PDA)、面板或平板电脑、游戏设备、计算机设备(诸如网络摄像机、视频监视相机)或具有数字成像或视频能力的其他设备。

图像处理技术可用于提高由图像捕获设备捕获的照片和视频的质量。例如，算法可以改变照片中颜色的外观、增加照片中颜色的动态范围或范围、增加照片中的细节、减少摄影中的噪声、减少摄影中的模糊，以及可以改善用户所观看的图像质量的许多其他处理技术。

发明内容

下文概括了本公开内容的一些方面，以提供对所论述的技术的基本理解。该概括不是对本公开的全部预期特征的详尽概述，以及既不旨在标识本公开的全部方面的关键或重要元素，也不旨在描绘本公开的任何或全部方面的范围。其唯一目的是以概括的形式给出本公开内容的一个或多个方面的一些概念，作为稍后给出的更多具体实施方式的前序。

本文中所描述的图像处理技术的实施方案可基于第二图像帧的特性来改进第一图像帧的外观，而不将第二图像帧的数据与第一图像帧组合(例如，合并、融合或混合)。该处理消除了向第一图像帧添加由数据合并导致的伪影(artifact)的可能性。例如，当第一图像帧与第二图像帧合并时，对象在图像帧之间的中断部分和移位可能导致重影或断线。可以基于对第二图像帧的分析来执行对第一图像帧的操作，包括比较第一图像帧和第二图像帧之间的对应感兴趣区域的分析。

根据本文的实施方案的图像处理技术可有益于增加图像的表观焦深(depth offocus)。图像捕获设备中固有的限制导致图像帧的部分由于相机聚焦的有限能力而比其他部分模糊。例如，图像可具有在前景中靠近相机的对焦的面，而在背景中远离相机的面是离焦(out of focus)的。用户可能希望两个面在照片中都对焦(in-focus)。本文中所描述的图像处理技术可执行多帧景深(MF-DOF)处理以通过使用在与第一图像帧不同的焦距处捕获的第二图像帧减少离焦面上的模糊来改进摄影的外观。

在本公开的一个方面，一种用于图像处理的方法包括：接收表示在第一焦距处捕获的场景的第一图像帧；接收表示在不同于第一焦距的第二焦距处捕获的场景的第二图像帧；确定对应的感兴趣区域集合，该对应的感兴趣区域集合包括第一图像帧中的第一感兴趣区域和第二图像帧中的第二感兴趣区域；基于第一感兴趣区域与第二感兴趣区域的比较来确定值；以及基于第一图像帧和该值来确定校正的第一图像帧。

在本公开内容的附加方面，一种装置包括至少一个处理器和联接到该至少一个处理器的存储器。该至少一个处理器被配置为执行包括以下各项的操作：接收表示在不同于第一焦距的第二焦距处捕获的场景的第二图像帧；确定对应的感兴趣区域集合，该对应的感兴趣区域集合包括第一图像帧中的第一感兴趣区域和第二图像帧中的第二感兴趣区域；基于第一感兴趣区域与第二感兴趣区域的比较来确定值；以及基于第一图像帧和该值来确定校正的第一图像帧。

在本公开的另外的方面，一种装置包括：用于接收表示在第一焦距处捕获的场景的第一图像帧的部件；用于接收表示在不同于第一焦距的第二焦距处捕获的场景的第二图像帧的部件；用于确定对应的感兴趣区域集合的部件，该对应的感兴趣区域集合包括第一图像帧中的第一感兴趣区域和第二图像帧中的第二感兴趣区域；用于基于第一感兴趣区域与第二感兴趣区域的比较来确定值的部件；以及用于基于第一图像帧和该值来确定校正的第一图像帧的部件。

在本公开内容的另外的方面中，一种非暂态计算机可读介质存储指令，指令在由处理器执行时使得处理器执行操作。该操作包括接收表示在第一焦距处捕获的场景的第一图像帧；接收表示在不同于第一焦距的第二焦距处捕获的场景的第二图像帧；确定对应的感兴趣区域集合，该对应的感兴趣区域集合包括第一图像帧中的第一感兴趣区域和第二图像帧中的第二感兴趣区域；基于第一感兴趣区域与第二感兴趣区域的比较来确定值；以及基于第一图像帧和该值来确定校正的第一图像帧。

图像捕获设备(可捕获一个或多个数字图像无论是静止图像照片还是视频的图像序列的设备)可以被结合到各种各样的设备中。以举例的方式，图像捕获设备可包括独立数字相机或数字视频摄像机、配备有相机的无线通信设备手持机(诸如移动电话、蜂窝或卫星无线电电话)、个人数字助理(PDA)、面板或平板电脑、游戏设备、计算机设备(诸如网络摄像机、视频监视相机)或具有数字成像或视频能力的其他设备。

一般来讲，本公开描述涉及具有图像传感器和图像信号处理器(ISP)的数字相机的图像处理技术。ISP可被配置为控制对来自一个或多个图像传感器的图像帧的捕获并且处理来自该一个或多个图像传感器的一个或多个图像帧以生成校正的图像帧中的场景的视图。校正的图像帧可以是形成视频序列的图像帧序列的一部分。视频序列可包括从图像传感器或其他图像传感器接收的其他图像帧和/或基于来自图像传感器或另一图像传感器的输入的其他校正的图像帧。在一些实施方案中，可在图像传感器内诸如在装仓模块(binning module)中执行对一个或多个图像帧的处理。本文所公开的实施方案中所描述的图像处理技术可以由图像传感器中、图像信号处理器(ISP)中、应用处理器(AP)中或者这些组件中的两个或全部的组合中的电路诸如装仓模块来执行。

在一个示例中，图像信号处理器可响应于软件(诸如相机应用)的加载而接收用于捕获图像帧序列的指令，以从图像捕获设备产生预览显示。图像信号处理器可被配置为基于从一个或多个图像传感器接收的图像帧产生单个输出帧流。单个输出帧流可包括来自图像传感器的原始图像数据、来自图像传感器的装仓的图像数据，或由图像信号处理器内的一个或多个算法(诸如在装仓模块中)处理的校正的图像帧。例如，从图像传感器获得的图像帧(其在输出到图像信号处理器之前可能已对数据执行一些处理)可在图像信号处理器中通过图像后处理引擎(IPE)和/或用于执行色调映射、肖像照明、对比度增强、伽玛校正等中的一者或多者的其他图像处理电路处理图像帧来处理。

在图像信号处理器使用图像校正(诸如本文的各种实施方案中所描述的装仓)确定表示场景的输出帧之后，输出帧可作为单个静止图像和/或作为视频序列的一部分显示在设备显示器上，作为图片或视频序列保存到存储设备，通过网络传输，以及/或者打印到输出介质。例如，图像信号处理器可被配置为从不同图像传感器获得图像数据(例如，像素值)的输入帧，并且继而产生图像数据的对应输出帧(例如，预览显示帧、静止图像捕获、用于视频的帧、用于对象跟踪的帧等)。在其他示例中，图像信号处理器可将图像数据的帧输出到各种输出设备和/或相机模块以供进一步处理，诸如用于3A参数同步(例如，自动对焦(AF)、自动白平衡(AWB)和自动曝光控制(AEC))、经由输出帧产生视频文件、配置帧以供显示、配置帧以供存储、通过网络连接传输帧等。也就是说，图像信号处理器可从一个或多个图像传感器获得传入帧，该一个或多个图像传感器各自耦合到一个或多个相机镜头，并且继而可产生输出帧流并且将输出帧流输出到各种输出目的地。

在一些方面，可通过将本公开的图像校正的各方面与诸如高动态范围(HDR)摄影或多帧噪声减少(MFNR)的其他计算摄影技术组合来产生校正的图像帧。在HDR摄影的情况下，使用不同曝光时间、不同光圈、不同镜头和/或在组合两个图像帧时可导致融合图像的改进的动态范围的其他特性来捕获第一图像帧和第二图像帧。在一些方面，可针对MFNR摄影执行该方法，其中使用相同或不同的曝光时间捕获第一图像帧和第二图像帧，并且将第一图像帧和第二图像帧融合以生成校正的第一图像帧，该校正的第一图像帧与捕获的第一图像帧相比具有减少的噪声。

在一些方面，设备可包括图像信号处理器或处理器(例如，应用处理器)，该图像信号处理器或处理器包括用于相机控制和/或处理的特定功能性，诸如启用或禁用装仓模块或以其他方式控制图像校正的各方面。本文中所描述的方法和技术可完全由图像信号处理器或处理器执行，或者各种操作可在图像信号处理器和处理器之间分割，并且在一些方面在附加处理器上分割。

该装置可包括一个、两个或更多个图像传感器，诸如包括第一图像传感器。当存在多个图像传感器时，第一图像传感器可具有比第二图像传感器大的视场(FOV)，或第一图像传感器可具有与第二图像传感器不同的灵敏度或不同的动态范围。在一个示例中，第一图像传感器可以是广角图像传感器，并且第二图像传感器可以是远程图像传感器。在另一示例中，第一传感器被配置为通过具有第一光轴的第一镜头获得图像，并且第二传感器被配置为通过具有不同于第一光轴的第二光轴的第二镜头获得图像。附加地或另选地，第一镜头可以具有第一放大率，并且第二镜头可以具有不同于第一放大率的第二放大率。该配置可发生在移动设备上的镜头群集中，诸如其中多个图像传感器和相关联的镜头位于移动设备的前侧或后侧上的偏移位置。可包括具有更大、更小或相同视场的附加图像传感器。本文中所描述的图像校正技术可应用于从多传感器设备中的图像传感器中的任一者捕获的图像帧。

在本公开的附加方面，公开了一种被配置用于图像处理和/或图像捕获的设备。该装置包括用于捕获图像帧的部件。该装置还包括用于捕获表示场景的数据的一个或多个部件，诸如图像传感器(包括电荷耦合设备(CCD)、拜耳滤波器传感器、红外(IR)检测器、紫外(UV)检测器、互补金属氧化物半导体(CMOS)传感器)、飞行时间检测器。该装置还可以包括用于将光线聚集和/或聚焦到一个或多个图像传感器(包括简单镜头、复合镜头、球面镜头和非球面镜头)中的一个或多个部件。可以控制这些组件以捕获输入到本文中所描述的图像处理技术的第一图像帧和/或第二图像帧。

对于本领域普通技术人员来说，在结合附图回顾特定示例性方面的以下描述时，其它方面、特征和实施方式将变得显而易见。尽管各特征在以下可能是针对某些方面和附图来讨论的，但各个方面可包括本文所讨论的有利特征中的一者或多者。换言之，虽然一个或多个方面可能被讨论具有某些有利的特征，但是根据各个方面，也可以使用这样的特征中的一个或多个特征。以类似方式，尽管示例性方面在下文可能是作为设备、系统或方法方面进行讨论的，但是示例性方面可以在各种设备、系统、和方法中实现。

该方法可以作为计算机程序代码嵌入在计算机可读介质中，该计算机程序代码包括致使处理器执行该方法的步骤的指令。在一些实施方案中，该处理器可以是移动设备的一部分，该移动设备包括：第一网络适配器，该第一网络适配器被配置为通过多个网络连接中的第一网络连接来传输数据，诸如作为记录数据或作为流数据的图像或视频；以及处理器，该处理器耦合到第一网络适配器和存储器。处理器可致使本文中所描述的校正的图像帧通过无线通信网络(诸如5G NR通信网络)传输。

上文已经相当广泛地概述了根据本公开内容的示例的特征和技术优点，以便可以更好地理解下面的具体实施方式。下文将描述另外的特征和优点。所公开的概念和特定示例可以容易地被用作用于修改或设计用于实现本公开内容的相同目的其他结构的基础。这样的等效的构造不背离所附权利要求书的保护范围。当结合附图考虑时，本文中所公开的概念的特性(其组织和操作方法二者)以及相关联的优点将从下文的描述更好地理解。提供每个附图是出于举例说明和描述的目的，而不是作为权利要求的限制的定义。

虽然在本申请中通过一些示例的图示来描述方面和实施方式，但是本领域技术人员将理解的是，在许多其他布置和情景中可能产生额外的实施方式和用例。本文中描述的创新可以跨越许多不同的平台类型、设备、系统、形状、尺寸、封装布置来实施。例如，方面和/或使用可以经由集成芯片实施方式和其他基于非模块组件的设备(例如，终端用户设备、车辆、通信设备、计算设备、工业装备、零售/购买设备、医疗设备、启用人工智能(AI)的设备等)来产生。虽然一些示例可能专门或可能不专门指向用例或应用，但是可以出现所描述的创新的各类的适用性。实施方式的范围可从芯片级或模块组件至非模块、非芯片级实施方式，并进一步至纳入所描述创新的一个或多个方面的聚集的、分布式或原始装备制造商(OEM)设备或系统。在一些实践环境中，纳入所描述的各方面和特征的设备还可以必要地包括用于实施和实践所要求保护并描述的各方面的附加组件和特征。例如，无线信号的发送和接收必需包括用于模拟和数字目的的数个组件(例如，硬件组件，包括天线、射频(RF)链、功率放大器、调制器、缓冲器、处理器、交织器、加法器/求和器等等)。本文中描述的创新旨在可以在具有不同尺寸、形状和构造的各种设备、芯片级组件、系统、分布式布置、终端用户设备等中实施。

附图说明

对本公开内容的性质及优点的进一步理解可以通过参考如下附图来实现。在附图中，类似组件或特征可具有相同的附图标记。此外，可以通过在附图标记后面添加破折号和用于在类似组件之间加以区分的第二标记来区分相同类型的各种组件。如果说明书中仅使用第一附图标记，则描述适用于具有相同第一附图标记的相似组件中的任何一个组件，而不管第二附图标记如何。

图1示出了用于从一个或多个图像传感器执行图像捕获的示例性设备的框图。

图2是示出具有位于不同焦距处的两个面的场景的图示。

图3是示出根据一个或多个方面的用于处理具有两个或更多个ROI的图像的方法的框图。

图4是示出根据一个或多个方面的处理多个图像帧以增加图像帧中的焦深的框图。

图5是示出根据一个或多个方面的用于处理具有两个或更多个ROI的图像的方法的流程图。

图6是示出根据一个或多个方面的用于使用对比度操作(contrast operation)来处理具有两个或更多个ROI的图像的方法的流程图。

图7是示出根据一个或多个方面的用于利用基于AI的去模糊处理具有两个或更多个ROI的图像的方法的框图。

在不同的附图中的类似的附图标记和名称指示类似的元素。

具体实施方式

下文结合附图阐述的“具体实施方式”旨在作为对各种配置的描述并且不旨在限制本公开内容的范围。相反，“具体实施方式”包括用于提供对本发明主题的透彻理解的具体细节。对本领域技术人员来说将显而易见的是，这些具体细节并非在每种情况下都需要，并且在一些实例中，为了呈现的清楚起见，以框图形式示出了众所周知的结构和组件。

本公开提供支持多帧景深(MF-DOF)以用于对诸如背景面的背景感兴趣区域(ROI)进行去模糊的系统、装置、方法和计算机可读介质，该背景感兴趣区域可能由于用于捕获图像帧的相机的大光圈大小或其他特性而模糊。该处理可以包括使用在对应于图像帧中的多个ROI的两个不同焦点处获得的两个图像帧。可通过使用基于AI的模型和/或局部梯度信息(诸如使用基于CV的去模糊方法和局部梯度信息)对第一图像帧的一个或多个ROI去模糊来确定校正的图像帧。MF-DOF可以允许选择性地增加图像的景深(DOF)以提供对多个感兴趣区域的聚焦捕获，而不导致光圈(以及随后可用于摄影的光量)的减小或摄影可能期望的背景模糊。

可以实现本公开内容中描述的主题的特定实施方式，以实现以下潜在优点或益处中的一个或多个优点或益处。在一些方面，本公开提供用于图像信号处理的技术，该图像信号处理降低(诸如在融合多个图像帧中所涉及的)计算复杂性，并且减少可诸如在融合多个图像帧时生成的伪影(例如，光环效应、重影效应)。通过使用多帧处理来对背景ROI进行去模糊，仍然可以通过根据本文的公开的实施方案的图像处理技术来获得增强的图像帧。

用于使用一个或多个图像传感器捕获图像帧的示例性设备(诸如智能电话)可包括在设备的后侧(例如，与用户显示器相反的一侧)或前侧(例如，与用户显示器相同的一侧)上的两个、三个、四个或更多个相机的配置。具有多个图像传感器的设备包括一个或多个图像信号处理器(ISP)、计算机视觉处理器(CVP)(例如，AI引擎)或用于处理由图像传感器捕获的图像的其他合适电路。一个或多个图像信号处理器可以将处理后的图像帧提供给存储器和/或处理器(诸如应用处理器、图像前端(IFE)、图像后处理引擎(IPE)或其他合适的处理电路)以用于进一步处理，诸如用于编码、存储、传输或其他操纵。

如本文所用，图像传感器可指图像传感器自身和耦合到图像传感器的用以生成图像帧以供图像信号处理器或其他逻辑电路处理或存储在存储器(无论是短期缓冲器还是长期非易失性存储器)中的任何特定的其他组件。例如，图像传感器可包括相机的其他组件，包括快门、缓冲器或用于访问图像传感器的各个像素的其他读出电路。图像传感器还可指模拟前端或用于将模拟信号转换为图像帧的数字表示的其他电路，该数字表示被提供到耦合到图像传感器的数字电路。

在下面的描述中，阐述了大量具体的细节(例如具体组件、电路和过程的示例)以便提供对本公开内容的透彻理解。如本文中所使用的，术语“耦合”意指直接连接或者通过一个或多个中间组件或电路连接。另外，在下面的描述中以及出于解释的目的，阐述了特定的术语以便提供对本公开内容的透彻理解。然而，本领域的技术人员将明白的是：实施本文中公开的教示可以不需要这些具体的细节。在其他实例中，为了避免模糊本公开内容的教示，以框图形式示出了公知的电路和设备。

以下详细描述的某些部分是根据过程、逻辑块、处理和计算机存储器内数据位操作的其他符号表示来呈现的。在本公开内容中，程序、逻辑块、过程等被设想为导致期望结果的步骤或指令的自洽序列。这些步骤是需要对物理量的物理操作的步骤。尽管不是必须的，但通常，这些量采取能够被存储、传输、组合、比较以及在计算机系统中以其他方式操作的电信号或磁信号的形式。

在附图中，单个框可以被描述为执行一个或多个功能。由该框执行的一个或多个功能可以在单个组件中或跨多个组件执行，并且/或者可以使用硬件、软件或硬件和软件的组合来执行。为了清楚地表示硬件和软件之间的该可交换性，下文对各个说明性的组件、框、模块、电路和步骤均围绕其功能进行了总体描述。将这种功能性实现为硬件还是软件取决于具体的应用和对整个系统提出的设计约束条件。本领域技术人员可以针对每个特定应用以不同的方式实施所描述的功能，但是这样的实施方式决定不应被解释为导致背离本公开的范围。而且，示例设备可以包括所示的那些组件之外的组件，包括诸如处理器、存储器等的公知组件。

本公开的各方面适用于包括或耦合到能够捕获图像帧(或“帧”)的两个或更多个图像传感器的任何合适的电子设备。此外，本公开的各方面可以在具有相同或不同能力和特性(例如分辨率、快门速度、传感器类型等)的图像传感器或耦合到图像传感器的设备中实现。此外，本公开的各方面可在用于处理图像帧的设备中实现，无论该设备是否包括或耦合到图像传感器，诸如可检索存储的图像以供处理的处理设备，包括存在于云计算系统中的处理设备。

除非特别声明，否则从以下讨论中可以明显看出，可以明白的是：贯穿本申请，使用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“平均”、“监测”、“比较”、“应用”、“更新”、“测量”、“推导”、“设置”、“生成”等等术语的讨论是指计算机系统或类似电子计算设备的动作和处理，其操纵并将计算机系统的寄存器和存储器内表示为物理(电子)量的数据转换成类似地表示成计算机系统的寄存器、存储器或其他这种信息存储、传输或显示设备内的物理量的其他数据。

术语“设备”和“装置”不限于一个或特定数量的物理对象(例如一部智能电话、一个相机控制器、一个处理系统等)。如本文所使用的，设备可以是具有可可以实现本公开内容的至少一些部分的一个或多个部分的任何电子设备。虽然下文的描述和示例使用术语“设备”来描述本公开内容的各个方面，但是术语“设备”不限于特定配置、类型或数量的对象。如本文所使用的，装置可以包括用于执行所描述的操作的设备或设备的一部分。

图1示出了用于从一个或多个图像传感器执行图像捕获的示例性设备100的框图。设备100可以包括或以其他方式耦合到用于处理来自一个或多个图像传感器(诸如第一图像传感器101、第二图像传感器102和深度传感器140)的图像帧的图像信号处理器112。在一些实施方式中，设备100还包括或耦合到处理器104和存储指令108的存储器106。设备100还可以包括或耦合到显示器114和输入/输出(I/O)组件116。I/O组件116可用于与用户交互，诸如触摸屏界面和/或物理按钮界面。I/O组件116还可包括用于与其他设备包括广域网(WAN)适配器152、局域网(LAN)适配器153和/或个人局域网(PAN)适配器154通信的网络接口。WAN适配器152的示例包括4G LTE或5G NR无线网络适配器。示例性LAN适配器153是IEEE802.11WiFi无线网络适配器。示例性PAN适配器154是蓝牙无线网络适配器。适配器152、153和/或154中的每一者可以耦合到天线，并且可以耦合到被配置用于主集接收(primaryreception)和分集接收(diversity reception)和/或被配置用于接收特定频带的多个天线。设备100还可以包括或耦合到用于设备100的电源118，例如电池或将设备100耦合到能量源的组件。设备100还可以包括或耦合到图1中未示出的附加特征部或组件。在一个示例中，一个或多个收发器和基带处理器可耦合到用于无线通信设备的WAN适配器152或包括在该WAN适配器中。在另一示例中，用于将模拟图像帧数据转换为数字图像帧数据的模拟前端(AFE)可以耦合在图像传感器101和102与图像信号处理器112之间。

设备可以包括或耦合到传感器集线器150，该传感器集线器用于与传感器介接以接收关于设备100的移动的数据、关于设备100周围的环境的数据和/或其他非相机传感器数据。一个示例性非相机传感器是陀螺仪，即被配置用于测量旋转、取向和/或角速度以生成运动数据的设备。另一示例性非相机传感器是加速度计，即被配置用于测量加速度的设备，其还可用于通过适当地对测量的加速度进行积分来确定速度和行进的距离，并且加速度、速度和/或距离中的一者或多者可包括在生成的运动数据中。在一些方面，电子图像稳定系统(EIS)中的陀螺仪可耦合到传感器集线器或直接耦合到图像信号处理器112。在另一示例中，非相机传感器可为全球定位系统(GPS)接收器。来自传感器集线器150的数据可以被图像信号处理器112用于生成校正的图像帧，诸如通过应用电子图像稳定(EIS)和/或数字图像稳定(DIS)。

图像信号处理器112可以从一个或多个相机接收图像帧形式的图像数据。在一个实施方案中，本地总线连接将图像信号处理器112分别耦合到第一相机和第二相机的图像传感器101和102。在另一实施方案中，电线接口将图像信号处理器112耦合到外部图像传感器。在另一实施方案中，无线接口将图像信号处理器112耦合到图像传感器101、102。

第一相机可以包括第一图像传感器101和对应的第一镜头131。第二相机可以包括第二图像传感器102和对应的第二镜头132。镜头131和132中的每个镜头可以由在ISP 112中执行的相关联的自动对焦(AF)算法133控制，该自动对焦算法调整镜头131和132以聚焦在对应于特定聚焦位置的特定焦平面上。AF算法133可由深度传感器140通过使用深度数据来辅助以近似估计聚焦位置。

第一图像传感器101和第二图像传感器102被配置为捕获一个或多个图像帧。镜头131和132分别通过用于接收光的一个或多个光圈、用于在曝光窗口外部时阻挡光的一个或多个快门、用于过滤特定频率范围之外的光的一个或多个滤色器阵列(CFA)、用于将模拟测量结果转换为数字信息的一个或多个模拟前端和/或用于成像的其他合适组件来将光聚焦在图像传感器101和102处。第一镜头131和第二镜头132可以具有不同的视场以捕获场景的不同表示。例如，第一镜头131可以是超宽(UW)镜头，并且第二镜头132可以是宽(W)镜头。多个图像传感器可以包括超宽(高视场(FOV))传感器、宽传感器、远程传感器和超远程(低FOV)传感器的组合。也就是说，可通过硬件配置和/或软件设置来配置每个图像传感器以获得不同但重叠的视场。在一个配置中，该图像传感器配置有具有不同放大率的不同镜头，这导致不同视场。传感器可以被配置为使得UW传感器具有比W传感器大的FOV，W传感器具有比T传感器大的FOV，T传感器具有比UT传感器大的FOV。例如，被配置用于宽FOV的传感器可以捕获在64度至84度范围内的视场，被配置用于超侧FOV的传感器可以捕获在100度至140度范围内的视场，被配置用于远程FOV的传感器可以捕获在10度至30度范围内的视场，并且被配置用于超远程FOV的传感器可以捕获在1度至8度范围内的视场。

图像信号处理器112处理由图像传感器101和102捕获的图像帧。虽然图1示出了设备100包括耦合到图像信号处理器112的两个图像传感器101和102，但任何数量(例如，一个、两个、三个、四个、五个、六个等)的图像传感器可以耦合到图像信号处理器112。在一些方面，深度传感器诸如深度传感器140可耦合到图像信号处理器112，并且以与图像传感器101和102的方式类似的方式处理来自深度传感器的输出以基于由深度传感器140捕获的图像帧生成校正的图像帧。深度传感器140还可用于将校正应用于从图像传感器101和102中的一者捕获的第一图像帧，诸如通过使用深度数据将来自传感器101或102的图像帧分割成前景区域和背景区域并且在确定校正的第一图像帧时分别处理前景区域和背景区域。虽然图1中所示的装置可反映所公开的图像信号处理技术和方法的一些实施方案的配置，但在设备100的其他实施方案中可包括任何数量的附加图像传感器或图像信号处理器，同时仍实施所公开的图像信号处理技术和方法的各方面。

在一些实施方案中，图像信号处理器112可以执行来自存储器的指令，诸如来自存储器106的指令108、存储在耦合到或包括在图像信号处理器112中的单独存储器中的指令、或由处理器104提供的指令。另外或替代地，图像信号处理器112可以包括被配置为执行本公开中描述的一个或多个操作的特定硬件(诸如一个或多个集成电路(IC))。例如，图像信号处理器112可包括一或多个图像前端(IFE)135、一或多个图像后处理引擎136(IPE)、一或多个自动曝光控制(AEC)134引擎和/或一个或多个自动对焦(AF)133引擎。AF 133、AEC134、IFE 135、IPE 136可以各自包括专用电路，该专用电路被具体体现为由ISP 112执行的软件代码和/或ISP 112内的硬件和在ISP 112上执行的软件代码的组合。

在一些实施方式中，存储器106可以包括存储计算机可执行指令108的非暂时性或非暂态计算机可读介质，以执行本公开中描述的一个或多个操作的全部或部分。在一些实施方式中，指令108包括要由设备100执行的用于生成图像或视频的相机应用(或其他合适的应用)。指令108还可以包括由设备100执行的其他应用或程序，例如操作系统和除用于图像或视频生成之外的特定应用。(诸如由处理器104)对相机应用的执行可以致使设备100使用图像传感器101和102以及图像信号处理器112生成图像。存储器106还可以由图像信号处理器112访问以存储处理后的帧，或者可以由处理器104访问以获得处理后的帧。在一些实施方案中，设备100不包括存储器106。例如，设备100可以是包括图像信号处理器112的电路，并且存储器可以在设备100的外部。设备100可以耦合到外部存储器，并且被配置为访问该存储器，以写入输出帧用于显示或长期存储。在一些实施方案中，设备100是片上系统(SoC)，该片上系统将图像信号处理器112、处理器104、传感器集线器150、存储器106和输入/输出组件116结合到单个封装中。

在一些实施方案中，图像信号处理器112或处理器104中的至少一者执行指令以执行本文描述的各种操作，包括如本文的实施方案中描述的MF-DOF操作。例如，指令的执行可指示图像信号处理器112开始或结束捕获图像帧或图像帧序列，其中捕获包括如本文实施方案中所述的MF-DOF操作。在一些实施方案中，处理器104可以包括能够执行一个或多个软件程序的脚本或指令(诸如存储在存储器106内的指令108)的一个或多个通用处理器核心104A。例如，处理器104可以包括被配置为执行存储在存储器106中的相机应用(或用于生成图像或视频的其他合适应用)的一个或多个应用处理器。

在执行相机应用时，处理器104可以被配置为指示图像信号处理器112参考图像传感器101或102执行一个或多个操作。例如，相机应用可以接收开始视频预览显示的命令，在接收到该命令时，从一个或多个图像传感器101或102捕获和处理包括图像帧序列的视频。图像校正可以应用于序列中的一个或多个图像帧。由处理器104在相机应用外部执行指令108也可以导致设备100执行任何数量的功能或操作。在一些实施方案中，除了执行软件以使设备100执行多个功能或操作(诸如本文描述的操作)的能力之外，处理器104还可以包括IC或其他硬件(例如，人工智能(AI)引擎124)。在一些其他实施方案中，设备100不包括处理器104，诸如当所有所描述的功能性配置于图像信号处理器112中时。

在一些实施方案中，显示器114可以包括允许用户交互和/或向用户呈现项目(诸如由图像传感器101和102捕获的图像帧的预览)的一个或多个合适的显示器或屏幕。在一些实施方案中，显示器114是触敏显示器。I/O组件116可以是或包括任何合适的机构、接口或设备以从用户接收输入(诸如命令)并通过显示器114向用户提供输出。例如，I/O组件116可以包括(但不限于)图形用户界面(GUI)、键盘、鼠标、麦克风、扬声器、可挤压边框、一个或多个按钮(例如，电源按钮)、滑动块、开关等。

虽然示出了经由处理器104彼此耦合，但组件(诸如处理器104、存储器106、图像信号处理器112、显示器114和I/O组件116)可以其他各种布置方式彼此耦合，诸如经由一个或多个本地总线，为简单起见未示出。虽然图像信号处理器112被示出为与处理器104分离，但是图像信号处理器112可以是处理器104的核心，该处理器是应用处理器单元(APU)，包括在片上系统(SoC)中，或者以其他方式包括在处理器104中。虽然在本文的示例中参考设备100以执行本公开的各方面，但是一些设备组件可以不在图1中示出，以防止模糊本公开的各方面。另外，其他组件、组件数量或组件组合可以包含于用于执行本公开的各方面的合适设备中。因此，本公开不限于特定设备或组件的配置，包括设备100。

可通过在图像捕获设备的一个或多个图像传感器上使用大光圈镜头来改进由图像捕获设备(诸如设备100)捕获的图像的质量。较大光圈的镜头具有许多益处，包括：较好的低光性能，这对于室内和夜间摄影可能是有益的；以及较好的散景模糊(Bokeh blur)，这对于肖像照片可能是有益的。该益处在移动设备中可为特别有利的，移动设备在用于相机镜头和其他装备的可用空间中是形状因数受限的。然而，大光圈镜头还具有较短焦深(DOF)，从而导致所捕获图像的有限部分对焦并且图像的其余部分具有变化的模糊度。当场景包括位于不同距离处的许多对象时，具有大光圈镜头的图像捕获设备将捕获对象中的一些对象是离焦的情况下的图像。这可能是不期望的，特别是当离焦对象包括其他人时。这里提到的缺点仅仅是代表性的，并且被包括以强调发明人已经关于现有设备识别并寻求改进的问题。下文描述的设备的各方面可解决这些缺点中的一些或全部以及本领域中已知的其他缺点。下文描述的改进设备的各方面可呈现不同于上文描述的那些的其他益处，并且可用于不同于上文描述的那些的其他应用中。

图像帧(诸如图2中所示)可由设备100捕获。图2是示出具有距设备100不同焦距处的两个面的场景的图示。图像帧200包括第一对象202和第二对象204。自动对焦(AF)133可能已将相机聚焦在前景中的第一对象202上，而第二对象204由于镜头131的有限焦深而在背景中离焦。图像捕获的焦深可足够浅，使得第一对象202和第二对象204两者不能在单个图像帧中都对焦。如本文中的实施方案中所述，当确定图像帧中存在两个或更多个感兴趣区域(ROI)时，可执行多帧景深(MF-DOF)处理。感兴趣ROI检测可以包括检测图像帧200中的对象202和204。参考图3至图7描述演示MF-DOF处理的不同方面的MF-DOF处理的示例性实施方案。

图3是示出根据一个或多个方面的用于处理具有两个或更多个ROI的图像的方法的框图。在框302处，捕获第一图像帧，该第一图像帧可具有在前景(例如，近距离)中对焦的对象和在背景(例如，远距离)中离焦的对象。附加的图像捕获和/或图像处理诸如多帧景深(MF-DOF)处理可以通过在框302处捕获的图像帧中确定至少两个感兴趣区域(ROI)来触发。可通过例如使用机器学习算法、基于计算机视觉(CV)的分割、深度学习、数字信号处理算法、深度估计或其他算法的对象或面检测来执行识别。识别可以包括分析以通过测量所识别的感兴趣区域内的局部对比度来确定感兴趣区域中的至少一个感兴趣区域是模糊的或离焦的。在一些实施方案中，当通过对象/面检测检测到两个ROI时触发MF-DOF，以确定当期望增加在同一图像帧上具有深度的两个面的锐度时的情形。在一些实施方案中，当检测到具有至少一个模糊ROI的两个ROI时触发MF-DOF。在一些实施方案中，当通过对象/面检测检测到三个(或者，更一般地，N个)对象时，可以触发MF-DOF。用于触发MF-DOF处理的对象的数量和对象的类型可基于图像捕获设备的配置和/或用户偏好来定制。例如，用户可以指定指定某些条件的规则，当满足这些条件时，可以触发MF-DOF处理。一个示例性规则可以是检测室外场景中的两个面。另一示例性规则可以是检测由高于设定距离阈值的距离分开的两个面。

当触发MF-DOF处理时，可处理多个图像帧以改进使用图像捕获设备通过摄影捕获的场景的表示。因此，在确定满足触发条件之后，在框306处可获得新的第一图像帧，并且在框308处可获得第二图像帧。在一些实施方案中，获得框306的第一图像帧，其中焦点在聚焦位置处被设置在前景对象和背景对象之间的位置320处，该聚焦位置不会导致前景对象的明显模糊，同时增加背景对象中的细节。位置320可在前景对象与背景对象之间的中间或在前景对象与背景对象之间的另一值处，诸如从前景对象到背景对象的路线的20％处，但是位置320可以是可调节的，以便在前景对象上的模糊与背景对象上的细节之间进行折衷。在一些实施方案中，中间点可以是对象202和204之间的深度的中间和/或对象202和204之间的横向尺寸的中间。在一些实施方案中，在框306获得在聚焦在前景ROI处时的第一图像帧，并且在框308获得聚焦在背景ROI处的第二图像帧。在一些实施方案中，跳过在框306或框308处的新图像帧的捕获，并且将框302的图像帧重新用作框306或框308的第一图像帧或第二图像帧。

来自框306和308的第一图像帧和第二图像帧被提供给在框310处的MF-DOF处理算法，该MF-DOF处理算法可以在框312处执行第一图像帧和第二图像帧内的对应ROI之间的基于特征的对准。例如，可以确定背景面的面特征，并且确定将第一图像帧中的背景面特征与第二图像帧中的对应特征相匹配的对准因子。对准因子可以被表示为对应于第一图像帧和第二图像帧之间的距离差的单个矢量。在一些实施方案中，可以根据框308的图像帧内的位置来确定对准因子，使得对准因子是位置相关的，并且对准差异被表示为运动矢量集合。在一些实施方案中，对准因子可以被确定为运动矢量集合的平均值。

可基于第一图像帧或第二图像帧中的一者产生具有比单独的第一图像帧和/或第二图像帧的任一者改进的特性的输出图像帧，并且可使用对准因子来确定。例如，使用对准因子和/或其他参数对图像帧中的一个图像帧执行的MF-DOF处理可通过减少模糊和/或增加感兴趣区域中的一些感兴趣区域的细节而产生具有比单独的第一图像帧或第二图像帧中的任一者更多的“对焦”区域的图像帧。在一些实施方案中，MF-DOF处理可以包括将人工智能或机器学习算法应用于某些感兴趣区域以扩展浅景深。

在一个实施方案中，MF-DOF处理可以包括框314和316处的处理以确定输出图像帧330。在框314处，基于ROI的对准特征执行局部梯度比较。在一些实施方案中，局部是指感兴趣区域，使得局部梯度差异是第一图像帧和第二图像帧中的对应感兴趣区域内的梯度差异。在框316处，基于局部梯度信息诸如在框314处确定的强度值来对背景面执行局部增强操作。增强操作可改进图像质量，诸如通过改进图像帧的未对焦的ROI中的清晰度或锐度。例如，如果第一图像帧具有对焦的前景面和离焦的背景面，则增强操作可以使用局部梯度信息来改进背景面的清晰度或锐度。在一些实施方案中，局部增强可以是亮度保持对比度增强以增强背景面或背景ROI的细节。在框316处的局部增强之后，输出图像帧330可表现为具有对焦的对象202和204两者。

在一些实施方案中，框314的梯度信息可以在比较之前被归一化，诸如归一化到0-1的标度。框314的比较可确定将用作框316的处理的输入参数的局部增强因子。该因子可以通过将两个面上的梯度与查找表进行比较来确定。在一些实施方案中，可以基于例如梯度差异和人类主观评价来控制局部增强，其中查找表被构造用于映射关系。在一些实施方案中，该表可包括要在框316处执行的增强操作的强度值，诸如在1-4的标度上，其中1指示较低强度增强操作而4指示较高强度增强操作(例如，较强对比度操作)。可通过使每个强度值与图像的一部分相关联来针对图像确定多个此类强度值。在一些实施方案中，每个ROI可以具有强度值。在一些实施方案中，可将一些或所有ROI划分成大小为NxN(例如，2x2、3x3、4x4等)的子块，其中每个子块具有强度值。

在一些实施方案中，可以使用阈值来将强度值分配给图像的区域。例如，比较具有对应子块的第一图像帧和第二图像帧的梯度差异。如果该差异小于阈值，则可利用参数1执行对比度操作，如果该差异大于第一阈值并且小于第二阈值，则可利用参数2执行对比度操作，如果该差异大于第二阈值并且小于第三阈值，则可利用参数3执行对比度操作。如果该差异大于第三阈值，则可以利用参数4执行对比度操作。

图3中描述的图像处理技术基于第二图像帧的特性改善第一图像帧的外观，而不将第二图像帧的数据与第一图像帧组合。该处理消除了向第一图像帧添加由合并来自多个图像帧的数据所导致的伪影的可能性。例如，当第一图像帧与第二图像帧合并时，对象在图像帧之间的中断部分和移位可能导致重影或断线。另外，可以避免在融合操作期间可能引入的伪影诸如亮度变化和不同噪声水平。可以基于对第二图像帧的分析来执行对第一图像帧的操作，包括比较第一图像帧和第二图像帧之间的对应感兴趣区域的分析。参考图4和图5描述用于校正第一图像帧而不与来自第二图像帧的数据合并的图像处理技术的各方面。

图4是示出根据一个或多个方面的处理多个图像帧以增加图像帧中的焦深的框图。图像信号处理器112可接收第一图像帧410和第二图像帧412。两个图像帧410、412可以具有前景对象202和背景对象204。ISP 112可以识别对应于对象202和204上的面的感兴趣区域402和404。第一图像帧410和第二图像帧412可以被输入到ROI分析模块424，该ROI分析模块基于第一图像帧410和第二图像帧412(诸如通过使用局部梯度比较)来确定一个或多个参数。可将该一个或多个参数输入到图像校正模块422，该图像校正模块接收第一图像帧410并且基于该一个或多个参数对第一图像帧410执行操作。图像校正模块422因此仅对来自第一图像帧410的数据进行操作以确定校正的第一图像帧430，这可减少校正的第一图像帧430中的伪影。虽然各个图像帧被示出为输入到ISP 112，但是ISP 112可以处理对应于视频序列的一系列图像帧并且输出校正的一系列图像帧作为校正的视频序列，其中每个图像帧以类似方式被处理以改善图像帧内的某些感兴趣区域(ROI)的特性。

参考图5描述由图像信号处理器112进行的图像信号处理的一个示例性方法。图5是示出根据一个或多个方面的用于处理具有两个或更多个ROI的图像的方法的流程图。方法500可由另一处理器诸如处理器104或图像捕获设备中的其他逻辑电路或图像捕获设备内的电路的组合来执行。方法500包括，在框502处，分别在第一焦距和第二焦距处接收第一图像帧和第二图像帧。例如，ISP 112可以通过自动对焦(AF)模块133控制相机来捕获第一图像帧和第二图像帧。在框504处，ISP 112可以识别第一图像帧和第二图像帧中的感兴趣区域，并且匹配第一图像帧和第二图像帧之间的感兴趣区域。在框506处，ISP 112可基于第一图像帧和对第一图像帧和第二图像帧中的对应感兴趣区域的分析来确定校正的第一图像帧。

在一些实施方案中，在图像校正模块422中执行的框506的确定可以包括基于由ROI分析模块424执行的分析而执行的对比度操作，以确定对应的感兴趣区域之间的局部梯度差异。参考图6描述用于此类实施方案的示例性方法。

图6是示出根据一个或多个方面的用于处理具有两个或更多个ROI的图像的方法的流程图。方法600开始于框602，其中接收表示在第一焦距处捕获的场景的第一图像帧。在框604处，诸如通过确定第一图像帧中是否存在两个感兴趣区域(ROI)(例如，面)来确定第一图像帧中是否存在两个ROI。如果在框604处不存在两个或更多个ROI，则方法600继续到框614以基于第一图像帧输出校正的第一图像帧。原始捕获的第一图像及其模糊背景由图像信号处理器处理(例如，裁切、色调映射等)以确定校正的第一图像帧，该校正的第一图像帧被输出并且在预览中显示或作为摄影保存。在一些实施方案中，在框614处输出原始第一图像帧而不进行任何修改。

如果在框604处识别两个或更多个ROI，则方法600继续到框606以接收第二图像帧，该第二图像帧表示与第一图像帧相同但在不同于第一图像帧的第一焦距的第二焦距处捕获的场景。例如，可通过用聚焦于其上的位置对自动对焦(AF)算法进行播种(seed)和/或用对应于在捕获第一图像帧时获得的ROI的深度值对AF算法进行播种来捕获第二图像帧。在一些实施方案中，框606可包括接收第三图像帧以用于代替在框602处接收的第一图像帧。

在框608处，确定用于将第一图像帧的特征与第二图像帧匹配的对准校正。在框610处，基于所确定的对准校正来确定第一图像帧和第二图像帧的对应部分的局部梯度差异。在框612处，基于框610的局部梯度差异对第一图像帧执行增强操作以生成校正的第一图像帧。

在一些实施方案中，框612的增强操作可以基于人工智能(AI)算法，诸如机器学习(ML)算法。图7是示出根据一个或多个方面的用于利用基于AI的去模糊处理具有两个或更多个ROI的图像的方法的框图。类似于图3的框312，在框712处，多帧景深(MF-DOF)操作710可使用基于面特征的对准来执行基于AI的图像处理714。在框712处确定的对准校正可由基于AI的去模糊算法716使用以将增强操作应用于第一图像帧410，诸如应用于第一图像帧中的感兴趣区域，以生成校正的第一图像帧720。校正的第一图像帧720作为一系列校正的第一图像帧430的一部分到图像捕获设备的相机应用中的预览显示和/或作为照片捕获以供图像捕获设备存储或传输。

基于AI的去模糊算法可基于基准真值(ground truth)(例如，聚焦的背景肖像/面/ROI)和模糊图像(例如，具有浅焦深的第一图像帧，背景部分/面/ROI模糊)来训练。在一些实施方案中，基于AI的去模糊可在GPU、DSP、ASIC或其他逻辑电路而非CPU上执行，这释放了CPU资源以用于其他任务。在一些实施方案中，与图3的局部梯度比较和增强方法相比，基于AI的去模糊可以具有更小的延迟和减少的伪影。基于AI的算法的参数的训练可以基于其中损失函数是MSE的Adam优化器：

其中K是轮次(Epoch)，N是补丁(Patch)号，a是基准真值PSF，并且a-是在补丁中的第n个图像和第k个轮次的估计PSF。可使用由人类分配给各对模糊ROI和非模糊ROI的主题分数来离线执行训练，并且训练模型被配置为图像捕获设备上的静态模型。

在一些实施方案中，基于AI的去模糊算法可以使用由ResNet算法(诸如ResNet-34算法)训练的模型，该ResNet算法使用来自图像帧的对应清晰和模糊面ROI的数据集集合，并且通过采用ResNet-34来考虑与模糊和清晰背景面ROI有关的劣化问题来训练该模型。虽然ResNet-34被提供作为机器学习算法的一个示例，但是其他算法可以被训练并且替代地或与ResNet-34组合地使用。

在一些实施方案中，如本文所述的机器学习模型可包括逻辑回归技术、线性判别分析、线性回归分析、人工神经网络、机器学习分类器算法或分类/回归树。在一些方面，机器学习可包括一个或多个人工神经网络，该一个或多个人工神经网络可包括用于对参数之间(诸如对应于面或其他对象的对焦表示和模糊表示的两个图像帧之间)的关系进行建模的互连人工神经元组(例如，神经元模型)。在一些方面，机器学习可包括一个或多个卷积神经网络，该一个或多个卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每个神经元具有感受野并且共同地拼出一输入空间。在一些方面，机器学习可以包括一个或多个深度学习架构诸如深度信念网络和深度卷积网络，该一个或多个深度学习架构是分层的神经网络架构，其中第一层神经元的输出成为对第二层神经元的输入，第二层神经元的输出成为对第三层神经元的输入，以此类推。深度神经网络可以被训练以识别特征的层次结构。在各种方面，机器学习系统可采用若干类型的朴素贝叶斯预测性建模分析、学习矢量量化或提升算法的实施方式诸如Adaboost或随机梯度提升系统，以用于迭代地更新加权来训练机器学习分类器来确定影响属性(诸如局部梯度水平)与图像帧内的对象或面的对焦或模糊方面之间的关系和/或此类影响属性影响此类系统的结果或用于校正图像帧的最终输出像素的程度。

处理图像帧以对背景ROI诸如背景面进行去模糊可克服利用较大镜头和较大光圈(其增加背景的模糊)的缺点，增加低光条件下的光摄取，并且具有比其他计算技术更自然的散景性能。具体地，在双面对焦实施方案中，可以改善后面上的锐度，也可以使前面更清晰，并且/或者可以增强后面的头发以改善面在背景中的自然外观。

在一些实施方案中，在不将第一图像帧中的数据与第二图像帧中的数据合并的情况下确定校正的第一图像帧。这消除了由于合并来自两个不同图像帧的两个表示而导致的校正的第一图像帧中的伪影的可能性。

应当注意的是，参考图3至图5所述的一个或多个框(或操作)可以与参考图中的另一图所述的一个或多个框(或操作)组合。

在一个或多个方面，用于支持图像信号处理的技术可以包括附加方面，诸如在下文或者结合本文在别处描述的一个或多个其他过程或设备描述的任何单个方面或各方面的任何组合。在第一方面，支持图像信号处理可以包括被配置为执行包括以下各项的步骤的装置：接收表示在第一焦距处捕获的场景的第一图像帧；接收表示在不同于第一焦距的第二焦距处捕获的场景的第二图像帧；确定第一图像帧的第一部分与第二图像帧的第二部分之间的局部梯度差异，第一部分和第二部分对应于场景中的感兴趣区域(ROI)；以及/或者基于局部梯度差异对第一图像帧的第一部分执行对比度增强操作以确定校正的第一图像帧。另外，该装置可以根据如下文所描述的一个或多个方面来执行或操作。在一些实施方式中，该装置包括无线设备，诸如UE。在一些实施方式中，该装置可以包括至少一个处理器，以及耦接到处理器的存储器。处理器可以被配置为执行本文中关于该装置描述的操作。在一些其他实施方式中，该装置可以包括非暂态计算机可读介质，具有其上记录的程序代码，并且该程序代码可以由计算机可执行用于使得计算机执行本文中参考该装置描述的操作。在一些实施方式中，该装置可以包括被配置为执行本文中所描述的操作的一个或多个部件。在一些实施方式中，无线通信的方法可以包括本文中参考该装置描述的一个或多个操作。

在一个或多个方面，用于支持图像捕获和/或图像处理的技术可以包括附加方面，诸如在下文或者结合本文在别处描述的一个或多个其他过程或设备描述的任何单个方面或各方面的任何组合。在第一方面，支持图像捕获和/或图像处理可包括被配置为执行以下步骤的装置：接收表示在第一焦距处捕获的场景的第一图像帧；接收表示在不同于第一焦距的第二焦距处捕获的场景的第二图像帧；确定对应的感兴趣区域集合，该对应的感兴趣区域集合包括第一图像帧中的第一感兴趣区域和第二图像帧中的第二感兴趣区域；基于第一感兴趣区域与第二感兴趣区域的比较来确定值；基于第一图像帧和该值来确定校正的第一图像帧。另外，该装置可以根据如下文所描述的一个或多个方面来执行或操作。在一些实施方式中，该装置包括无线设备，诸如UE。在一些实施方式中，该装置可以包括至少一个处理器，以及耦接到处理器的存储器。处理器可以被配置为执行本文中关于该装置描述的操作。在一些其他实施方式中，该装置可以包括非暂态计算机可读介质，具有其上记录的程序代码，并且该程序代码可以由计算机可执行用于使得计算机执行本文中参考该装置描述的操作。在一些实施方式中，该装置可以包括被配置为执行本文中所描述的操作的一个或多个部件。在一些实施方式中，无线通信的方法可以包括本文中参考该装置描述的一个或多个操作。

在第二方面，结合第一方面，该装置被进一步配置为执行包括以下各项的操作：确定第一区域中和第二区域中的第一面；以及确定第三感兴趣区域中的第二面，其中确定校正的第一图像帧包括增加第一面的细节，使得第一面和第二面在校正的第一图像帧中呈现为对焦。

在第三方面，结合第一方面或第二方面中的一者或多者，确定值包括确定第一感兴趣区域与第二感兴趣区域之间的局部梯度差异；并且确定校正的第一图像帧包括基于局部梯度差异对第一图像帧的第一感兴趣区域执行对比度操作。

在第四方面，结合第一方面至第三方面中的一者或多者，执行对比度操作保持第一图像帧的亮度。

在第五方面，结合第一方面至第四方面中的一者或多者，确定校正的第一图像帧包括执行基于人工智能的操作。

在第六方面，结合第一方面至第五方面中的一者或多者，该装置被进一步配置为执行包括确定第一图像感兴趣区域与第二图像感兴趣区域之间的对准差异的操作，其中确定值是基于对准差异的。

在第七方面，结合第一方面至第六方面中的一者或多者，确定对准差异包括确定在第一图像帧中识别的对象从第一图像帧中的第一位置到第二图像帧中的第二位置的运动。

在第八方面，结合第一方面至第七方面中的一者或多者，该装置被进一步被配置为执行包括确定第一图像帧中的感兴趣区域的数量的操作，其中执行接收第二图像帧、确定值和确定校正的第一图像帧的操作是基于区域的数量大于一。

在第九方面，结合第一方面至第八方面中的一者或多者，确定第一图像帧中的感兴趣区域的数量包括检测第一图像帧中的面。

在第十方面，结合第一方面至第九方面中的一者或多者，第一焦距与第一感兴趣区域和第二感兴趣区域中的第一面相关联；并且第二焦距与第三感兴趣区域中的不同的第二面相关联。

在第十一方面，结合第一方面至第十方面中的一者或多者，第一焦距是第一感兴趣区域中的第一面与第三感兴趣区域中的第二面之间的位置，并且其中第二焦距是第二面的焦距。

在第十二方面，结合第一方面至第十一方面中的一者或多者，确定校正的第一图像帧不是基于将第二图像帧的任何部分与第一图像帧组合。

在第十三方面，结合第一方面至第十二方面中的一者或多者，该装置还包括相机，该相机包括图像传感器和镜头。

在第十四方面，结合第一方面至第十三方面中的一者或多者，该至少一个处理器耦合到相机并且被配置为执行包括以下各项的操作：控制相机以在第一焦距处捕获第一图像帧；确定第一面和第二面在第一图像帧中的存在；并且基于确定第一面和第二面在第一图像帧中的存在，控制相机以在第二焦距处捕获第二图像帧。

在第十五方面，结合第一方面至第十四方面中的一者或多者，该至少一个处理器包括图像信号处理器(ISP)。

本领域技术人员应当理解的是：可以使用多种不同的技术和技艺中的任意一种来表示信息和信号。例如，在遍及上文的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以通过电压、电流、电磁波、磁场或粒子、光场或粒子或者其任何组合来表示。

本文关于图1至图7所描述的组件、功能框和模块包括处理器、电子设备、硬件设备、电子组件、逻辑电路、存储器、软件代码、固件代码等，或它们的任何组合。软件应当被宽泛地解释成意为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行件、执行的线程、规程、和/或函数等，无论其被称为软件、固件、中间件、微代码、硬件描述语言还是其他术语皆是如此。另外，本文讨论的特征可以经由专用处理器电路、经由可执行指令或其组合来实施。

技术人员将进一步理解，结合本文的公开内容所描述的各种说明性逻辑框、模块、电路和算法步骤可以被实施为电子硬件、计算机软件或两者的组合。为了清楚地例示硬件和软件的这种可互换性，已经在其功能性方面大致描述了各种例示性组件、方框、模块、电路和步骤。将这种功能性实现为硬件还是软件取决于具体的应用和对整个系统提出的设计约束条件。本领域技术人员可以针对每个特定应用以不同的方式实施所描述的功能，但是这样的实施方式决定不应被解释为导致背离本公开的范围。技术人员还将会容易地认识到本文中所描述的组件、方法或交互的顺序或组合仅仅是示例，并且本公开内容的各个方面的组件、方法或交互可以以本文所示出和描述的方式以外的方式来组合或执行。

结合本文中所公开的实施方式来描述的各种说明性逻辑、逻辑框、模块、电路和算法过程可以被实施为电子硬件、计算机软件、或这两者的组合。硬件和软件的可互换性已在功能方面大致进行了描述，并且在上述各种说明性组件、框、模块、电路和过程中进行了说明。这种功能性是以硬件还是软件来实施取决于具体应用和加诸于整体系统的设计约束。

可以利用被设计为执行本文中所描述的功能的通用单芯片或者多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意组合，来实施或执行用于实施结合本文中所公开的各方面描述的各种说明性的逻辑、逻辑框、模块和电路的硬件和数据处理装置。通用处理器可以是微处理器，或者，任何常规的处理器、控制器、微控制器或者状态机。在一些实施方式中，处理器可以被实施为计算设备的组合，诸如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核心相结合、或者任何其他这样的配置。在一些实施方式中，可以由特定于给定功能的电路来执行特定过程和方法。

在一个或多个方面中，所描述的功能可以在硬件、数字电子电路、计算机软件、固件、包括本说明书中公开的结构和其结构等效物或在其任意组合中来实施。本说明书中所描述的主题内容的实施方式也可以被实施为一个或多个计算机程序，即编码在计算机存储介质上以供数据处理装置执行或用于控制数据处理装置的操作的计算机程序指令的一个或多个模块。

如果以软件实施，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者通过计算机可读介质传输。本文中所公开的方法或算法的过程可以在可以驻留在计算机可读介质上的处理器可执行软件模块中实施。计算机可读介质包括计算机存储介质和通信介质两者，包括可被实现成将计算机程序从一地转移到另一地的任何介质。存储介质可以是计算机能够访问的任何可用介质。作为示例而非限制，这种计算机可读介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM或其他光盘存储装置、磁盘存储设备或其他磁性存储设备，或能够用于以指令或数据结构的形式存储所需程序代码并且能够被计算机访问的任何其他介质。此外，任何连接可被恰适地称为计算机可读介质。如本文中所用的磁盘和光盘包括压缩光盘(CD)、激光盘、光盘、数字通用光盘(DVD)、软盘和蓝光盘，其中磁盘通常磁性复制数据，而光盘用激光光学复制数据。上述的组合应当也被包括在计算机可读介质的范围内。另外，方法或算法的操作可以作为一个代码和指令集或者代码和指令集的任意组合，位于机器可读介质和计算机可读介质上，机器可读介质和计算机可读介质可以并入到计算机程序产品中。

对本公开内容中描述的实施方式的各种修改对于本领域技术人员来说是显而易见的，并且本文定义的一般原理可以应用于一些其他实施方式而不背离本公开内容的精神或范围。因此，权利要求不旨在受限于本文示出的实施方式，而是要符合与本公开内容、本文所公开的原则和新颖性特征相一致的最宽的范围。

另外，本领域技术人员将容易认识到的是，术语“上”和“下”有时用于易于描述附图，并且指示在正确朝向的页面上与附图的朝向相对应的相对位置，并且可能不反映如实施的任何设备的正确朝向。

本说明书中在分开实施方式的上下文中描述的某些特征也可组合地实施在单个实施方式中。相反，在单个实施方式的上下文中描述的各种特征也可分开地或以任何合适的子组合实施在多个实施方式中。此外，虽然诸特征在上文可能被描述为以某些组合的方式起作用且甚至最初是如此要求保护的，但来自所要求保护的组合的一个或多个特征在一些情形中可从该组合中去掉，且所要求保护的组合可以针对子组合、或子组合的变体。

类似地，虽然在图中以特定的次序描绘了操作，但是这并不应当被理解为要求这样的操作以所示出的特定次序或者以顺序次序来执行，或者执行所有示出的操作来实现期望的结果。进一步地，附图可能以流程示意图的形式示意性地描绘了一个或多个示例过程。然而，未描绘的其他操作可被纳入示意性地示出的示例过程中。例如，可在任何所示出的操作之前、之后、同时或之间执行一个或多个附加操作。在某些环境下，多任务处理和并行处理是有利的。此外，上文所描述的实施方式中的各种系统组件的分开不应被理解为在所有实施方式中都要求此类分开，并且应当理解，所描述的程序组件和系统一般可以一起集成在单个软件产品中或封装成多个软件产品。另外，一些其他实施方式也落在所附权利要求书的范围内。在一些情形中，权利要求中叙述的动作可按不同次序来执行并且仍达成期望的结果。

如本文中(包括权利要求中)所使用的，在两个或更多个项目的列表中使用的术语“或”意指所列出的项目中的任一者可单独被采用，或者两个或更多个所列出的项目的任何组合可被采用。例如，如果组合物被描述为含有组件A、B或C，则该组合物可以包含A单独；B单独；单独的C；A和B组合；A和C组合；B和C组合；或者A、B和C组合。此外，如本文中(包括权利要求中)所使用的，如用在以“至少一个”开头的条目列表中的“或”指示分离列表，例如，“A、B或C中的至少一个”的列表是指A或B或C或AB或AC或BC或ABC(即，A和B和C)或者这些中的任何条目的任何组合。术语“基本上”被定义为在很大程度上但不必完全是所指定的(并且包括所指定的；例如，基本上90度包括90度，并且基本上平行包括平行)，如本领域的普通技术人员所理解的。在任何公开的实施方式中，术语“基本上”可以用在所指定内容的“[百分比]内”代替，其中，百分比包括0.1％、1％、5％或10％。

提供本公开的先前描述以使本领域的任何技术人员能够制作或使用本公开。对本公开的各种修改对于本领域技术人员来说将是显而易见的，并且本文定义的一般原理可以应用于其他变型而不背离本公开的精神或范围。因此，本公开内容并非旨在受限于本文中所描述的示例和设计，而是符合与本文中所公开的原理和新颖特征相一致的最广范围。

Claims (34)

1.一种方法，所述方法包括：

接收表示在第一焦距处捕获的场景的第一图像帧；

接收表示在不同于所述第一焦距的第二焦距处捕获的所述场景的第二图像帧；

确定对应的感兴趣区域集合，所述对应的感兴趣区域集合包括所述第一图像帧中的第一感兴趣区域和所述第二图像帧中的第二感兴趣区域；

基于所述第一感兴趣区域与所述第二感兴趣区域的比较来确定值；以及

基于所述第一图像帧和所述值来确定校正的第一图像帧。

2.根据权利要求1所述的方法，所述方法还包括：

确定所述第一感兴趣区域中和所述第二感兴趣区域中的第一面；以及

确定第三感兴趣区域中的第二面，

其中确定所述校正的第一图像帧包括增加所述第一面的细节，使得所述第一面和所述第二面在所述校正的第一图像帧中呈现为对焦。

3.根据权利要求1所述的方法，其中：

确定所述值包括确定所述第一感兴趣区域和所述第二感兴趣区域之间的局部梯度差异；并且

确定所述校正的第一图像帧包括基于所述局部梯度差异对所述第一图像帧的所述第一感兴趣区域执行对比度操作。

4.根据权利要求3所述的方法，其中执行所述对比度操作保持所述第一图像帧的亮度。

5.根据权利要求1所述的方法，其中确定所述校正的第一图像帧包括执行基于人工智能的操作。

6.根据权利要求1所述的方法，所述方法还包括：

确定所述第一感兴趣区域与所述第二感兴趣区域之间的对准差异，

其中确定所述值是基于所述对准差异的。

7.根据权利要求6所述的方法，其中确定所述对准差异包括确定在所述第一图像帧中识别的对象从所述第一图像帧中的第一位置到所述第二图像帧中的第二位置的运动。

8.根据权利要求1所述的方法，所述方法还包括：

确定所述第一图像帧中的感兴趣区域的数量，

其中执行接收所述第二图像帧、确定所述值和确定所述校正的第一图像帧的所述操作是基于感兴趣区域的所述数量大于一。

9.根据权利要求8所述的方法，其中确定所述第一图像帧中的感兴趣区域的所述数量包括检测所述第一图像帧中的面。

10.根据权利要求1所述的方法，其中：

所述第一焦距与所述第一感兴趣区域和所述第二感兴趣区域中的第一面相关联；并且

所述第二焦距与第三感兴趣区域中的不同的第二面相关联。

11.根据权利要求10所述的方法，其中所述第一焦距是所述第一感兴趣区域中的所述第一面与所述第三感兴趣区域中的所述第二面之间的位置，并且其中所述第二焦距是所述第二面的焦距。

12.根据权利要求1所述的方法，其中确定所述校正的第一图像帧不是基于将所述第二图像帧的任何部分与所述第一图像帧组合。

13.一种装置，所述装置包括：

存储器，所述存储器存储处理器可读代码；和

至少一个处理器，所述至少一个处理器耦合到所述存储器，所述至少一个处理器被配置为执行所述处理器可读代码以致使所述至少一个处理器执行包括以下各项的操作：

接收表示在第一焦距处捕获的场景的第一图像帧；

接收表示在不同于所述第一焦距的第二焦距处捕获的所述场景的第二图像帧；

确定对应的感兴趣区域集合，所述对应的感兴趣区域集合包括所述第一图像帧中的第一感兴趣区域和所述第二图像帧中的第二感兴趣区域；

基于所述第一感兴趣区域与所述第二感兴趣区域的比较来确定值；以及

基于所述第一图像帧和所述值来确定校正的第一图像帧。

14.根据权利要求13所述的装置，其中所述至少一个处理器被进一步配置为执行所述处理器可读代码以致使所述至少一个处理器执行包括以下各项的操作：

确定所述第一感兴趣区域中和所述第二感兴趣区域中的第一面；以及

确定第三感兴趣区域中的第二面，

其中确定所述校正的第一图像帧包括增加所述第一面的细节，使得所述第一面和所述第二面在所述校正的第一图像帧中呈现为对焦。

15.根据权利要求13所述的装置，其中：

确定所述值包括确定所述第一感兴趣区域和所述第二感兴趣区域之间的局部梯度差异；并且

确定所述校正的第一图像帧包括基于所述局部梯度差异对所述第一图像帧的所述第一感兴趣区域执行对比度操作。

16.根据权利要求15所述的装置，其中执行所述对比度操作保持所述第一图像帧的亮度。

17.根据权利要求13所述的装置，其中确定所述校正的第一图像帧包括执行基于人工智能的操作。

18.根据权利要求13所述的装置，其中所述至少一个处理器被配置为执行所述处理器可读代码以致使所述至少一个处理器执行包括以下各项的进一步的操作：

确定所述第一感兴趣区域与所述第二感兴趣区域之间的对准差异，

其中确定值是基于所述对准差异的。

19.根据权利要求18所述的装置，其中确定所述对准差异包括确定在所述第一图像帧中识别的对象从所述第一图像帧中的第一位置到所述第二图像帧中的第二位置的运动。

20.根据权利要求13所述的装置，其中所述至少一个处理器被配置为执行所述处理器可读代码以致使所述至少一个处理器执行包括以下各项的进一步的操作：

确定所述第一图像帧中的感兴趣区域的数量，

其中执行接收所述第二图像帧、确定所述值和确定所述校正的第一图像帧的所述操作是基于感兴趣区域的所述数量大于一。

21.根据权利要求20所述的装置，其中确定所述第一图像帧中的感兴趣区域的所述数量包括检测所述第一图像帧中的面。

22.根据权利要求13所述的装置，其中：

所述第一焦距与所述第一感兴趣区域和所述第二感兴趣区域中的第一面相关联；并且

所述第二焦距与第三感兴趣区域中的不同的第二面相关联。

23.根据权利要求22所述的装置，其中所述第一焦距是所述第一感兴趣区域中的所述第一面与所述第三感兴趣区域中的所述第二面之间的位置，并且其中所述第二焦距是所述第二面的焦距。

24.根据权利要求13所述的装置，其中确定所述校正的第一图像帧不是基于将所述第二图像帧的任何部分与所述第一图像帧组合。

25.根据权利要求13所述的装置，所述装置还包括：

相机，所述相机包括图像传感器和镜头，

其中所述至少一个处理器耦合到所述相机并且被配置为执行包括以下各项的操作：

控制所述相机以在所述第一焦距处捕获所述第一图像帧；

确定第一面和第二面在所述第一图像帧中的存在；以及

基于确定所述第一面和所述第二面在所述第一图像帧中的所述存在，控制所述相机以在所述第二焦距处捕获所述第二图像帧。

26.根据权利要求13所述的装置，其中所述至少一个处理器包括图像信号处理器(ISP)。

27.一种存储指令的非暂态计算机可读介质，所述指令在由处理器执行时致使所述处理器执行包括以下各项的操作：

接收表示在第一焦距处捕获的场景的第一图像帧；

接收表示在不同于所述第一焦距的第二焦距处捕获的所述场景的第二图像帧；

确定对应的感兴趣区域集合，所述对应的感兴趣区域集合包括所述第一图像帧中的第一感兴趣区域和所述第二图像帧中的第二感兴趣区域；

基于所述第一感兴趣区域与所述第二感兴趣区域的比较来确定值；以及

基于所述第一图像帧和所述值来确定校正的第一图像帧。

28.根据权利要求27所述的非暂态计算机可读介质，其中所述指令在由所述处理器执行时致使所述处理器执行包括以下各项的进一步的操作：

确定所述第一感兴趣区域中和所述第二感兴趣区域中的第一面；以及

确定第三感兴趣区域中的第二面，

其中确定所述校正的第一图像帧包括增加所述第一面的细节，使得所述第一面和所述第二面在所述校正的第一图像帧中呈现为对焦。

29.根据权利要求27所述的非暂态计算机可读介质，其中：

确定所述值包括确定所述第一感兴趣区域和所述第二感兴趣区域之间的局部梯度差异；并且

确定所述校正的第一图像帧包括基于所述局部梯度差异对所述第一图像帧的所述第一感兴趣区域执行对比度操作。

30.根据权利要求27所述的非暂态计算机可读介质，其中所述指令在由所述处理器执行时致使所述处理器执行包括以下各项的进一步的操作：

确定所述第一图像帧中的感兴趣区域的数量，

其中执行接收所述第二图像帧、确定所述值和确定所述校正的第一图像帧的所述操作是基于感兴趣区域的所述数量大于一。

31.一种装置，所述装置包括：

相机，所述相机包括图像传感器和镜头；

存储器，所述存储器存储处理器可读代码；和

至少一个处理器，所述至少一个处理器耦合到所述存储器并且耦合到所述相机，所述至少一个处理器被配置为执行所述处理器可读代码以致使所述至少一个处理器执行包括以下各项的操作：

控制所述相机以获得表示在第一焦距处捕获的场景的第一图像帧；

确定所述第一图像帧包括与所述第一焦距相关联的第一面和与第二焦距相关联的第二面；

控制所述相机以获得表示在所述第一焦距与所述第二焦距之间的第三焦距处捕获的所述场景的第二图像帧；

控制所述相机以获得表示在所述第二焦距处捕获的所述场景的第三图像帧；

确定对应的感兴趣区域集合，所述对应的感兴趣区域集合包括所述第二图像帧中的与所述第一面相关联的第一感兴趣区域和所述第三图像帧中的与所述第一面相关联的第二感兴趣区域；

基于所述第一感兴趣区域与所述第二感兴趣区域的比较来确定值；以及

基于所述第二图像帧和所述值来确定校正的图像帧。

32.根据权利要求31所述的装置，其中确定所述校正的图像帧包括对所述第二图像帧的所述第一感兴趣区域执行对比度增强操作。

33.根据权利要求32所述的装置，其中对所述第二图像帧的所述第一感兴趣区域执行所述对比度增强操作基于对应于所述值的强度。

34.根据权利要求31所述的装置，其中确定所述校正的图像帧包括对所述第二图像帧的所述第一感兴趣区域执行基于人工智能的操作。