CN116368811A - 基于显著性的捕获或图像处理 - Google Patents

Abstract

一种用于图像捕获的设备包括存储器；以及耦接到存储器的一个或多个处理器，该处理器被配置成：在预览模式或录制期间，接收第一图像(130)；生成指示第一图像(130)内不同区域的相对显著性的第一显著性图(132)，其中不同区域的相对显著性指示吸引观看者目光的可能性；基于操纵第一图像(130)中的像素来生成一个或多个附加图像(136)；生成指示一个或多个附加图像(136)内不同区域的相对显著性的一个或多个附加显著性图(138)；以及在预览模式或录制期间，基于第一显著性图(132)和一个或多个附加显著性图(138)来确定相机设置。

Description

基于显著性的捕获或图像处理

本申请要求2021年9月21日提交的美国申请号17/480,970和2020年9月25日提交的美国临时申请号63/083,579的优先权，这两个申请的全部内容通过引用并入本文。美国申请号17/480,970要求2020年9月25日提交的美国临时申请号63/083,579的权益。

技术领域

本公开涉及捕获或图像处理。

背景技术

相机设备包括捕获帧(例如，图像)的一个或多个相机。相机设备的示例包括独立的数字相机或数字视频摄录机、配备相机的无线通信设备手机，诸如具有一个或多个相机的移动电话、蜂窝或卫星无线电电话、配备相机的个人数字助理(PDA)、计算面板或平板电脑、游戏设备、包括相机的计算机设备，诸如所谓的“网络摄像头”，或者具有数字成像或视频能力的任何设备。

相机设备处理捕获的帧并输出这些帧用于显示。在一些示例中，相机设备控制曝光、聚焦和白平衡以捕获高质量图像。

发明内容

总的来说，本公开描述了用于基于显著性的捕获或图像处理的技术。显著性可以指观看者眼中图像的焦点，诸如突出并吸引观看者注意的元素。显著性图可以指示图像内不同区域在吸引观看者目光方面的相对显著性。

如更详细描述的，一个或多个处理器可以被配置成生成第一图像的第一显著性图，并且生成一个或多个附加图像中的每一个的一个或多个显著性图。一个或多个附加图像可以基于操纵第一图像中的像素。一个或多个处理器可以基于第一显著性图和一个或多个附加显著性图来确定相机设置(例如，自动聚焦设置、自动曝光设置等)。

例如，设备可以比较第一显著性图和一个或多个附加显著性图来确定相机的相机设置。在一些示例中，显著区域可以在不同的深度。通过比较第一显著性图和一个或多个附加显著性图，设备可以确认显著区域的深度，并且基于正确的深度来确定相机设置。换句话说，设备可以基于第一显著性图和一个或多个附加显著性图来确定最显著深度，并且基于所确定的最显著深度来确定相机设置。

在一个示例中，本公开描述了一种用于图像捕获的设备，该设备包括存储器；以及耦接到存储器的一个或多个处理器，该处理器被配置成：在预览模式或录制期间，接收第一图像；生成指示第一图像内不同区域的相对显著性的第一显著性图，其中不同区域的相对显著性指示吸引观看者目光的可能性；基于操纵第一图像中的像素来生成一个或多个附加图像；生成指示一个或多个附加图像内不同区域的相对显著性的一个或多个附加显著性图；以及在预览模式或录制期间，基于第一显著性图和一个或多个附加显著性图来确定相机设置。

在一个示例中，本公开描述了一种用于图像捕获的方法，该方法包括：在预览模式或录制期间，接收第一图像；生成指示第一图像内不同区域的相对显著性的第一显著性图，其中不同区域的相对显著性指示吸引观看者目光的可能性；基于操纵第一图像中的像素来生成一个或多个附加图像；生成指示一个或多个附加图像内不同区域的相对显著性的一个或多个附加显著性图；以及在预览模式或录制期间，基于第一显著性图和一个或多个附加显著性图来确定相机设置。

在一个示例中，本公开描述了一种其上存储有指令的计算机可读存储介质，当执行该指令时，使得一个或多个处理器：在预览模式或录制期间，接收第一图像；生成指示第一图像内不同区域的相对显著性的第一显著性图，其中不同区域的相对显著性指示吸引观看者目光的可能性；基于操纵第一图像中的像素来生成一个或多个附加图像；生成指示一个或多个附加图像内不同区域的相对显著性的一个或多个附加显著性图；以及在预览模式或录制期间，基于第一显著性图和一个或多个附加显著性图来确定相机设置。

在一个示例中，本公开描述了一种用于图像捕获的设备，该设备包括：用于在预览模式或录制期间、接收第一图像的部件；用于生成指示第一图像内不同区域的相对显著性的第一显著性图的部件，其中不同区域的相对显著性指示吸引观看者目光的可能性；用于基于操纵第一图像中的像素来生成一个或多个附加图像的部件；用于生成指示一个或多个附加图像内不同区域的相对显著性的一个或多个附加显著性图的部件；以及用于在预览模式或录制期间、基于第一显著性图和一个或多个附加显著性图来确定相机设置的部件。

一个或多个示例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求，其他特征、目的和优点将变得显而易见。

附图说明

图1是被配置成执行本公开中描述的一个或多个示例技术的设备的框图。

图2是进一步详细说明图1的设备的中央处理单元(CPU)和系统存储器的框图。

图3是示出将作为显著性值的函数应用于自动曝光的缩放权重的图表。

图4是示出根据本公开中描述的一个或多个示例的示例操作方法的流程图。

图5是示出根据本公开中描述的一个或多个示例的另一示例操作方法的流程图。

图6是示出根据本公开中描述的一个或多个示例的另一示例操作方法的流程图。

图7是示出根据本公开中描述的一个或多个示例的另一示例操作方法的流程图。

图8是示出根据本公开中描述的一个或多个示例的另一示例操作方法的流程图。

图9是示出根据本公开中描述的一个或多个示例的另一示例操作方法的流程图。

图10A-10E是示出生成和利用显著性图的示例的图。

图11是示出利用多个显著性图进行自动聚焦的示例的流程图。

图12是示出利用多个显著性图进行自动聚焦的另一示例的流程图。

具体实施方式

本公开中描述的示例技术涉及生成(例如，在预览模式或录制期间)显著性图，该显著性图指示图像内不同区域在吸引观看者目光方面的相对显著性。例如，显著性图可以指示图像内的不同区域吸引观看者目光并因此显著的概率。也就是说，显著性图可以指示图像内不同区域的相对显著性，并且不同区域的相对显著性可以指示吸引观看者目光的可能性。

相机设备然后可以利用显著性图来控制相机，诸如相机的聚焦或曝光。一般而言，相机设备可以利用显著性图来处理图像(例如，捕获处理或图像处理)，其中处理图像的示例包括控制聚焦、曝光和白平衡。作为一个示例，对于图像捕获处理，相机设备可以调整自动白平衡、自动聚焦或自动曝光来捕获图像。作为另一示例，对于图像处理，相机设备可以确定用于编码图像的量化级别、图像的缩放或裁剪部分，或者增加对与其他区域相比具有相对较高显著性的区域执行的处理量。

如上所述，显著性图可以指示图像内不同区域在吸引观看者目光方面的相对显著性。通过基于显著性图处理图像，示例技术描述了生成与不依赖于显著性图的图像捕获或图像处理技术相比视觉效果更好的图像的方式。

例如，相机设备可以控制自动聚焦，从而与非显著区域相比，更多地聚焦在显著区域(例如，更有可能吸引观看者目光的区域)，以捕获到显著区域中清晰度和清晰度更高的图像。利用自动曝光，相机设备可以确定图像内容的哪个区域将被曝光(例如，使用测光图(metering map))。在一些示例中，相机设备可以修改曝光以确保显著区域被适当曝光。在一些示例中，测光通常可以偏向图像的中心，但其他类型的测光也是可能的。例如，测光图可以标识哪些部分将被曝光，并且可以指示图像的中间区域比其他区域曝光更多，但其他类型的测光图也是可能的。利用本公开中描述的示例技术，可以缩放测光图，从而基于显著性图在显著区域中保持曝光恒定。可能存在使用显著性图来处理图像的附加示例方式。

在一些示例中，显著性图可以相对准确地标识图像中相机应该聚焦的显著区域。然而，可能存在不同深度的显著区域(例如，可能存在在不同深度具有不同对象的多个显著区域)。为了确保相机设置被调整成聚焦在适当深度的对象上，相机设备可以生成一个或多个附加图像。例如，该图像可以被认为是第一图像，并且相机设备可以基于第一图像生成一个或多个附加图像，诸如通过操纵第一图像中的像素。

相机设备可以确定一个或多个附加图像中的一个或多个附加显著性图。如更详细描述的，在一个或多个示例中，相机设备可以确定不同图像内容的深度，并且可以确定贡献显著性的图像内容，作为确定自动聚焦设置的方式。例如，可能存在在第一深度处被表示为第一图像内容的第一对象，以及在第二深度处被表示为第二图像内容的第二对象。本公开描述了使用第一图像的显著性图和一个或多个附加显著性图来确认自动聚焦应该在哪里的示例方式。

例如，如下面更详细描述的，如果一个或多个附加显著性图与第一图像的第一显著性图基本相同，则相机设备可以确认自动聚焦应当基于所确定的第一图像的显著区域。然而，如果一个或多个附加显著性图与第一显著性图并非基本相同，则相机设备可以确定应该基于第一图像的前景中的对象来确定自动聚焦。这样，可以通过确保焦点不在非显著区域上来改进相机设备的自动聚焦操作。

确定第一显著性图与一个或多个附加显著性图是否基本相同的一种示例方式可以基于确定第一显著性图与一个或多个附加显著性图之间的差异，以及确定该差异是小于阈值还是大于阈值。如上所述，可以基于操纵第一图像中的像素来生成一个或多个附加图像。操纵第一图像中的像素的一种示例方式是确定第一图像中的对象的像素(例如，诸如基于确定像素的相对距离的相位检测自动聚焦(PDAF)技术)并操纵前景中的对象的像素(例如，诸如通过修补前景中的对象的像素)。在修补时，要修补的像素被移除，并且通过混合(例如，对红色、蓝色和绿色值求平均)与前景中的对象的像素相邻的像素来替换。

上述示例描述了作为相机设置的示例的自动聚焦设置。相机设置的另一示例可以是自动曝光设置。在一些示例中，相机设备可以通过模拟第一图像上的不同曝光，诸如通过改变第一图像的色调，来生成一个或多个附加图像。相机设备可以在由模拟生成的一个或多个附加图像内生成一个或多个附加显著性图。

相机设备可以基于第一显著性图和一个或多个附加显著性图来生成测光图。例如，相机设备可以基于相应的显著性图生成多个测光图，每个图像(例如，第一图像和一个或多个附加图像)一个测光图。相机设备可以对测光图进行平均(作为一个示例)以生成更新的测光图。相机设备可以基于更新的测光图(即，由多个测光图的平均生成的测光图)来确定自动曝光设置。

为了便于解释，描述关于用于图像捕获的自动白平衡、自动曝光和自动聚焦，以及用于图像处理的量化、缩放/裁剪和处理量的示例技术。然而，示例技术不应被视为限于这些示例。示例技术可用于其他捕获或图像处理。

在一个或多个示例中，因为相机设备使用显著性图来处理用于图像捕获的图像，所以相机设备可以被配置成实时或实况地(即，在捕获图像的处理中，作为静止图像或作为视频录制)确定显著性图。实时或实况可以指基本上即时的(例如，在少于毫秒的时间内)。例如，相机设备可以执行应用来捕获图像或用于录制，相机设备可以在应用的运行期间生成显著性图。作为一个示例，相机设备可以在预览模式下(例如，在图像捕获之前)生成显著性图，然后利用该显著性图来处理图像(例如，调整自动曝光、自动聚焦、自动白平衡参数和/或量化、缩放/裁剪，以及基于显著性图来确定图像处理的处理量)。在一些示例中但不是在所有示例中，可以仅在预览模式中生成显著性图的情况下改变曝光或聚焦(例如，通过移动相机镜头的位置)。

在一个或多个示例中，示例技术在捕获时(例如，实时地)利用显著性图，而不是利用后处理技术(例如，应用于捕获的图像的技术)来校正白平衡、聚焦或曝光，虽然这也是可能的。用于校正白平衡、聚焦或曝光的后处理技术往往在可能的校正量方面受到限制。此外，在一些示例中，后处理技术可能会在图像中生成其他伪像。与后处理技术相比，通过显著性图的实时生成和显著性图的实时利用来处理图像(例如，作为捕获的一部分)，示例技术可以提供更好的图像处理。

由于显著性图的实时生成，相机设备可以被配置成生成显著性图并使用显著性图相对快速地处理图像(例如，以毫秒量级，诸如小于20ms)。然而，显著区域是非常易变的。例如，森林中的一栋房子会在一个场景中突出，而一棵树会在城市街区的背景中突出。

本公开描述的示例技术中，相机设备可以应用神经网络(NN)来确定显著性图。在一个或多个示例中，神经网络所使用的权重可以基于机器学习技术来生成。

作为示例，可以向一个或多个观看者呈现数百或数千个不同的训练图像。观看者可以佩戴具有眼动追踪电路的眼镜，或者眼动追踪电路可以耦接到观看者用来观看训练图像的设备(例如，监视器)。眼动追踪电路可以确定观看者在每个训练图像上的目光位置，并存储指示位置的信息。在一些示例中，替代眼动追踪电路或者除了使用眼动追踪电路之外，观看者可以手动标识吸引观看者目光的区域。然而，使用眼动追踪电路可以比手动输入更快地确定吸引观看者目光的位置。

指示位置的信息可以是“基本事实”(即，吸引观看者目光的经验证的位置)。利用“基本事实”，一个或多个处理器(例如，位于云网络中的一个或多个服务器上)可以为神经网络生成权重，使得当输入图像的样本值乘以权重时，输出是显著性图。权重可以被认为是已训练模型，其中已训练模型是通过用“基本事实”训练未训练模型而生成的。

一个或多个处理器可以通过输入用于生成“基本事实”的图像来测试权重的准确性，并且确定神经网络输出的显著性图是否近似等于吸引观看者目光的位置，这些位置由眼动追踪电路确定或者基于观看者的手动标识。例如，一个或多个处理器可以接收训练图像和基本事实，并归纳(例如，学习)什么类型的图像内容吸引观看者的目光。学习的结果可以是乘以图像的样本值以生成该图像的显著性图的权重。

云网络中的一个或多个服务器中的一个或多个处理器可以向相机设备输出权重。在一些示例中，可以利用相机设备本身来生成权重。相机设备的神经网络然后可以利用权重并基于权重来处理图像(例如，诸如在预览模式下将被捕获的图像，或者诸如在录制中正在被捕获的图像)，以实时(例如，用于图像捕获的应用的运行时间)生成显著性图来处理图像。

本公开中描述的显著性图不应与对象检测(例如，面部检测、宠物检测等)算法相混淆。对象检测算法标识特定的对象。虽然有可能，但显著性图不一定能标识特定的对象。相反，显著性图提供吸引观看者目光的可能性的信息。例如，显著性图可以指示特定位置是显著的(例如，观看者的目光被吸引到该特定位置的可能性很高)，但是可能不提供关于吸引观看者目光的对象的附加信息。具有很大概率(即可能性)吸引观看者目光的特定位置可能恰好是人脸或宠物等，但是显著性图可能不指示对象的类型。另一方面，对象检测可以指示特定类型的对象的位置或存在，但可能不提供显著性信息，诸如吸引观看者目光的概率。可能的是，偶然地，观看者自然地被检测到的对象吸引，但是对象检测可能不指示吸引观看者目光的概率。

此外，显著性图可以基于图像组成(例如，正在显示的是什么)而不是对象有多有趣来指示区域是显著的。例如，在图像中可能有显著的透视消失点。作为另一示例，建筑物或隧道入口中的开口可能是显著的。作为另一示例，示出有人用手指向某处的图像可能是显著的，因为观看者倾向于跟随所指的线/方向。

利用显著性图的示例技术可以与相机设备的其他功能一起使用，用于自动聚焦、自动曝光和自动白平衡控制。例如，一些相机设备可以被配置成标识前景中的对象而不是背景，并且聚焦于前景对象。在一些示例中，相机设备可以首先确定图像中的显著区域，然后控制对也在前景中的显著区域的聚焦。通过首先确定显著区域，然后调整对前景中显著区域中的对象的聚焦的处理顺序是一个示例。作为另一示例，相机设备可以标识前景中的对象，然后利用显著性图来进一步控制对所标识的对象的聚焦。

图1是被配置成执行本公开中描述的一个或多个示例技术的设备的框图。相机设备10的示例包括独立的数字相机或数字视频摄录机、配备相机的无线通信设备手机，诸如具有一个或多个相机的移动电话、蜂窝或卫星无线电话、配备相机的个人数字助理(PDA)、计算面板或平板电脑、游戏设备、包括相机的计算机设备，诸如所谓的“网络摄像头”，或者具有数字成像或视频能力的任何设备。

如图1的示例所示，相机设备10包括相机12(例如，具有图像传感器和镜头)、相机处理器14和相机处理器14的本地存储器20、中央处理单元(CPU)16、图形处理单元(GPU)18、用户接口22、提供对系统存储器30的访问的存储控制器24、以及输出使图形数据显示在显示器28上的信号的显示器接口26。尽管图1的示例示出了包括一个相机12的相机设备10，但是在一些示例中，相机设备10可以包括多个相机，诸如用于全方位图像或视频捕获。

此外，尽管各种组件被示为单独的组件，但是在一些示例中，这些组件可以组合形成片上系统(SoC)。作为示例，相机处理器14、CPU 16、GPU 18和显示器接口26可以形成在公共集成电路(IC)芯片上。在一些示例中，相机处理器14、CPU 16、GPU 18和显示器接口26中的一个或多个可以在单独的IC芯片中。可以被配置成执行示例技术的组件的其他示例包括数字信号处理器(DSP)、矢量处理器或用于神经网络(NN)计算的其他硬件块。各种其他排列和组合是可能的，并且这些技术不应被认为局限于图1所示的示例。

图1所示的各种组件(无论是形成在一个设备上还是不同的设备上)可以形成为固定功能或可编程电路中的至少一个，诸如在一个或多个微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他等效的集成或分立逻辑电路中。本地存储器20和系统存储器30的示例包括一个或多个易失性或非易失性存储器或存储设备，诸如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁数据介质或光存储介质。

图1所示的各种单元使用总线32彼此通信。总线32可以是各种总线结构中的任何一种，诸如第三代总线(例如，超传输总线或无限带宽总线)、第二代总线(例如，高级图形端口总线、外围组件互连(PCI)快速总线或高级可扩展接口(AXI)总线)或另一种类型的总线或设备互连。图1中所示的不同组件之间的总线和通信接口的具体配置仅是示例性的，具有相同或不同组件的相机设备和/或其他图像处理系统的其他配置可以用于实现本公开的技术。

相机处理器14被配置成从相机12接收图像帧，并处理图像帧以生成用于显示的输出帧。CPU 16、GPU 18、相机处理器14或一些其他电路可以被配置成将包括由相机处理器14生成的图像内容的输出帧处理成用于在显示器28上显示的图像。在一些示例中，GPU 18可进一步被配置成在显示器28上渲染图形内容。

在一些示例中，相机处理器14可以被配置成图像处理流水线。例如，相机处理器14可以包括在相机12和相机处理器14之间接口的相机接口。相机处理器14可以包括处理图像内容的附加电路。相机处理器14经由存储控制器24向系统存储器30输出具有图像内容(例如，每个图像像素的像素值)的结果帧。

CPU 16可以包括控制相机设备10的操作的通用或专用处理器。用户可以向相机设备10提供输入，以使CPU 16执行一个或多个软件应用。在CPU 16上执行的软件应用可以包括例如媒体播放器应用、视频游戏应用、图形用户界面应用或其他程序。用户可以经由一个或多个输入设备(未示出)向相机设备10提供输入，该输入设备诸如键盘、鼠标、麦克风、触摸板或经由用户接口22耦接到相机设备10的另一输入设备。

软件应用的一个示例是相机应用。CPU 16执行相机应用，并且作为响应，相机应用使CPU 16生成显示器28输出的内容。GPU 18可以被配置成处理由CPU 16生成的内容以在显示器28上渲染。例如，显示器28可以输出诸如光强度、是否启用闪光灯的信息，以及其他这样的信息。相机设备10的用户可以与显示器28交互以配置生成图像的方式(例如，有或没有闪光灯、聚焦设置、曝光设置和其他参数)。

作为示例，在执行相机应用之后，相机设备10可以被认为处于预览模式。在预览模式下，相机12将图像内容输出到相机处理器14，相机处理器14执行相机处理，并将图像内容输出到系统存储器30，显示器接口26检索图像内容并在显示器28上输出。在预览模式下，用户可以通过显示器28查看当用户按下按钮(真实的或显示的)拍照时将被捕获的图像内容。作为另一示例，用户可以录制视频内容(例如，一系列图像)，而不是拍摄静止图像(例如，画面)。在录制期间，用户可能能够在显示器28上观看正在捕获的图像内容。

在预览模式或录制期间，相机设备10(例如，经由CPU 16)可以控制相机12捕获图像的方式(例如，在捕获或存储图像之前)。本公开将示例技术描述为由CPU 16执行。然而，示例技术不应被认为限于由CPU 16执行。例如，CPU 16结合相机处理器14、GPU 18、DSP、矢量处理器和/或显示器接口26可以被配置成执行本发明中描述的示例技术。例如，处理器可以被配置成执行本公开中描述的示例技术。处理器的示例包括相机处理器14、CPU 16、GPU18、显示器接口26、DSP、矢量处理器或相机处理器14、CPU 16、GPU 18、显示器接口26、DSP或矢量处理器中的一个或多个的任何组合。

CPU 16可以被配置成控制相机12的相机设置(例如，曝光和/或聚焦)以捕获视觉效果好的图像。例如，CPU 16可以被配置成生成控制相机12的曝光、聚焦和白平衡设置(作为一些非限制性示例)的信号。控制曝光设置被称为确定自动曝光设置，控制聚焦设置被称为确定自动聚焦设置，控制白平衡被称为确定自动白平衡设置。CPU 16可以被配置成基于在预览模式或录制期间从相机处理器14接收的图像来控制曝光、聚焦和白平衡设置。这样，对于静止图像，当用户拍照时，曝光、聚焦和白平衡得以调整(例如，曝光、聚焦和可能的白平衡设置的参数在图像捕获之前得以确定，使得曝光、聚焦和白平衡可以在图像捕获期间被校正)。对于录制，曝光、聚焦和白平衡可能会在录制处理中定期更新。

对于自动曝光设置，CPU 16可以基于诸如外部照明条件的因素来确定相机12的光圈、快门速度和模拟增益。作为一个示例，相机处理器14可以确定指示光的信息，并相应地调整光圈、快门速度和模拟增益以保持图像的曝光恒定。例如，如果光太多(即，曝光过度)，则图像中的细节可能会丢失，如果光太少(即，曝光不足)，则图像可能太暗，细节可能不可见。有各种控制曝光的方法，包括使用“测光”，诸如中心加权测光图，其中保持较高的图像中心曝光，而逐渐降低图像边缘附近的曝光。本公开中描述的技术不限于中心加权测光图的示例(例如，不限于偏向图像中间的曝光控制的测光图)。

对于自动聚焦设置，CPU 16可以确定聚焦的区域，使得聚焦区域中的图像内容看起来比其他区域更清晰。作为一个示例，CPU 16可以利用下述相位检测自动聚焦(PDAF)技术。CPU 16然后可以基于要聚焦的区域来控制相机12(例如，相机12的镜头的位置)。在一些示例中，CPU 16可以确定前景中的对象，并且可以控制相机12聚焦于前景对象上。作为另一示例，CPU 16可以利用对象检测技术，如面部检测，来确定要聚焦的区域。

对于自动白平衡，CPU 16可以确定光源的“色温”，其中色温是指白色的相对暖度或冷度。在某些情况下，捕获的图像可能会有不真实的色偏。CPU 16可以确定色温以控制捕获图像的方式。例如，CPU 16可以基于由相机处理器14提供的亮度信息将图像的最亮部分确定为白色。

在一些示例中，自动白平衡算法分析红色、绿色和蓝色分量之间的比率，并应用所建议的红色和蓝色增益水平的结果的试探法。当R、B通道乘以这些乘数时，图像将看起来更加平衡：灰色区域看起来是灰色的，不会有不自然的色偏。然而，在多照明场景的情况下(例如，存在阴影的情况)，确定乘数可能更具挑战性，因为不同的乘数对于不同的区域是理想的。

以上描述了用于捕获处理的一些示例技术(例如，自动曝光、自动聚焦和自动白平衡)。在本发明中描述的一个或多个示例中，CPU 16可以被配置成基于显著性图来确定自动曝光、自动聚焦和自动白平衡设置。显著性图可以指示图像内不同区域在吸引观看者目光方面的相对显著性。例如，显著性图可以指示图像内不同区域的相对显著性，不同区域的相对显著性可以指示吸引观看者目光的可能性。

作为一个示例，显著性图可以指示图像内的不同区域吸引观看者目光的概率(例如，可能性)。作为另一示例，显著性图可以包括指示区域是显著还是不显著的二进制值。因为调整曝光、聚焦和/或白平衡是实时或实况执行的(例如，基本上在图像被捕获的瞬间)，所以CPU 16可以被配置成在预览模式或录制期间生成显著性图，该显著性图指示图像内不同区域在吸引观看者目光时的相对显著性。

在一个或多个示例中，CPU 16可以利用人工智能(AI)技术，诸如机器学习技术。例如，在机器学习中，可能有一个或多个定义权重的机器学习模型(例如，已训练模型)。CPU16可以利用权重来处理图像中的样本(例如，像素)的样本值(例如，在预览模式下或者作为录制的一部分)，处理的结果可以是显著性图。例如，CPU 16可以将存储在存储器(例如，系统存储器30)中的由一个或多个机器学习模型生成的权重与图像的样本值相乘，以区分图像中吸引观看者目光概率较高的区域与图像中吸引观看者目光概率较低的区域。

例如，显著性图可以是多个样本，其中每个样本被分配值(例如，在0和255之间)。低值(例如，接近0)可能意味着图像中对应于具有低值的样本的区域不显著(例如，吸引观看者目光的概率低)。高值(例如，接近255)可能意味着图像中对应于具有高值的样本的区域是显著的(例如，吸引观看者目光的概率高)。因此，图像中吸引观看者目光概率较高的区域可以与图像中吸引观看者目光概率较低的区域区分开来。例如，显著性图具有对应于图像中吸引观看者目光概率较高的区域的较高值，显著性图具有对应于图像中吸引观看者目光概率较低的区域的较低值。

作为另一示例，显著性图可以是多个样本，其中每个样本被分配二进制值(例如，1或0)。如果样本被赋予值0，则该样本对应于图像中不显著的区域(例如，吸引观看者目光的概率低)。如果样本被赋予值1，则该样本对应于图像中的显著区域(例如，吸引观看者目光的概率高)。可能存在显著性图的其他示例。在一个或多个示例中，显著性图可以区分图像中吸引观看者目光概率较低的区域与图像中吸引观看者目光概率较高的区域(例如，二进制值或诸如0到255的范围内的值)。

CPU 16可以有各种方式来确定机器学习模型的权重。作为一个示例，权重可以预先生成并上传到系统存储器30中。CPU 16可以根据存储在系统存储器30中的权重来确定权重。例如，可以给一个或多个观看者多个(例如，数百或数千个)训练图像来观看。观看者可以佩戴眼动追踪眼镜，或者眼动追踪电路可以耦接到观看者在其上观看图像的设备(例如，监视器)，该图像确定观看者正在观看的位置的信息，并且可以用观看者正在观看的区域来标记图像。标记可以是显著性点。一个或多个处理器(例如，在云系统中的一个或多个服务器中)可以利用标记图像中的这些显著性点作为“基本事实”来确定权重(例如，生成定义权重的已训练模型)，该权重在被用来处理训练图像的样本值时生成显著性图。

在一个或多个示例中，CPU 16可以利用显著性图来进行以下一个或多个操作：调整被配置成捕获图像的设备10(例如，相机12)的白平衡、调整被配置成捕获图像的设备10(例如，相机12)的聚焦、或调整被配置成捕获图像的设备10(例如，相机12)的曝光。作为一个示例，CPU 16可以确定自动曝光、自动聚焦和/或自动白平衡，并且之后CPU 16可以基于显著性图来更新自动曝光、自动聚焦和/或自动白平衡。作为另一示例，CPU 16可以被配置成将显著性图作为自动曝光、自动聚焦和/或自动白平衡设置的确定的一部分，而不是首先确定自动曝光、自动聚焦和/或自动白平衡然后再更新。在这些示例的每一个中，CPU 16可以被认为是调整被配置成捕获图像的设备10(例如，相机12)的白平衡、调整被配置成捕获图像的设备10(例如，相机12)的聚焦、或者调整被配置成捕获图像的设备10(例如，相机12)的曝光。

作为一个示例，对于自动曝光，CPU 16可以被配置成基于显著性图生成测光图，其中测光图指示图像的哪些区域将被曝光。作为一个示例，CPU 16可以检索测光图，并且可以基于显著性图来缩放测光图以生成更新的测光图。CPU 16可以基于更新的测光图来调整曝光。在一些示例中，可以利用显著性图本身作为测光图。然而，在显著性图不完美的情况下(例如，被确定为具有高显著性的区域不是具有高显著性的区域)，CPU 16基于显著性图来缩放用于自动曝光的测光图以生成更新的测光图，并基于更新的测光图来调整图像的曝光可能是有益的。在一些示例中，测光图和显著性图的大小可以不同，因此测光图和/或显著性图可以被放大或缩小到相同的大小。

作为另一示例，对于自动聚焦，CPU 16可以被配置成确定图像中指示比图像的一个或多个其他区域相对较高的显著性的区域(例如，其中较高的显著性指吸引观看者目光的概率较高)。CPU 16可以被配置成基于所确定的区域来调整聚焦。例如，CPU 16可以被配置成控制相机12的镜头的位置，使得所确定的具有较高显著性的区域看起来比其他区域更清晰(例如，更清楚、更详细、毛刺更少等)。

作为另一示例，对于自动白平衡，CPU 16可以基于由相机处理器14提供的亮度信息将具有最高显著性的区域的最亮部分确定为白点，而不是评估完整图像。利用从具有最高显著性的区域的最亮部分确定的白点，CPU 16可以配置相机12和/或相机处理器14来执行白平衡。在这样的示例中，有可能在非显著区域(例如，吸引观看者目光概率较低的区域)上存在不真实的色偏，而显著区域(例如，可能吸引观看者目光的区域)中的白平衡是正确的。然而，在非显著区域上具有这种不真实的色偏可能无碍，因为观看者可能不会看那些区域。这样，显著性图可以通过比其他区域更偏向于校正显著对象周围的区域来辅助自动白平衡算法。

在一些示例中，CPU 16可以利用显著性图来补充用于确定自动曝光、自动聚焦和/或自动白平衡的其他技术。例如，在一些示例中，CPU 16可以被配置成确定前景对象和背景对象。例如，相机12可以包括深度相机，CPU 16利用该深度相机来确定对象的相对深度，以标识前景对象和背景对象。一些示例技术可以被配置成自动聚焦前景对象。在一个或多个示例中，CPU 16可以被配置成确定感兴趣区域(例如，前景对象中的对象)，并且之后在该感兴趣区域内，CPU 16可以确定显著区域。也就是说，为了生成显著性图，CPU 16可以确定所确定的感兴趣区域内的显著性图。作为另一示例，CPU 16可以确定显著性图(例如，针对整个图像)并确定感兴趣区域(例如，前景对象)。在该示例中，CPU 16可以确定感兴趣区域中的哪些对象也是显著的，且聚焦于也在感兴趣区域中的显著区域。

利用显著性图的潜在好处之一可能是，尽管聚焦于前景对象在许多情况下效果良好，但有时聚焦于前景对象可能并不理想。例如，在一些示例中，背景中更远处的对象可能更令人感兴趣。通过利用本发明中描述的示例技术，CPU 16可以基于显著性图来确定背景中的对象更令人感兴趣。在这样的示例中，CPU 16可以被配置成调整聚焦，使得背景对象在图像中显得更清晰。

也就是说，如本公开中所描述的，与利用显著性图的示例技术相比，仅依赖于前景对象的标识可能导致图像质量较差。然而，在显著区域碰巧在前景中的示例中，示例技术可以进一步补充基于前景对象的标识的自动聚焦。

使用显著性图的一个可能的问题是显著区域可能处于不同的相对深度。作为一个示例，在不同的深度可能有两个相对显著的对象。在这种情况下，可能不清楚应该聚焦两个对象中的哪一个。本公开描述CPU 16可以确定相机设置(例如，自动聚焦设置、自动曝光设置和/或自动白平衡设置)的示例方式，诸如在不同深度的显著区域中存在对象的情况下。也就是说，显著区域可以包含多个深度，本公开描述了哪个深度分量应该被聚焦或者哪个深度分量应该被用于自动曝光和/或自动白平衡的示例技术。换句话说，CPU 16可以被配置成确定最显著深度，并且基于所确定的最显著深度来确定相机设置。最显著深度可以指应该用于确定自动聚焦设置、自动曝光设置和/或自动白平衡设置的深度分量。

确认显著区域以确定(例如，控制)相机设置(例如，自动聚焦、自动曝光和/或自动白平衡设置)的示例方式是通过将图像的显著性图与为一个或多个附加图像生成的一个或多个附加显著性图进行比较实现的，其中一个或多个附加图像是基于该图像生成的。例如，在预览模式下捕获的或者作为录制的一部分的图像可以被认为是第一图像。在预览模式或录制期间，CPU 16可以接收第一图像。

CPU 16可以生成第一图像的第一显著性图。CPU 16(例如，具有GPU 18和/或其他组件)可以基于第一图像生成一个或多个附加图像(例如，通过操纵第一图像中的像素)。作为一个示例，CPU 16可以确定第一图像中的对象的相对深度。CPU 16(例如，具有GPU 18和/或其他组件)可以基于第一图像中的图像内容的深度来操纵第一图像中的对象的像素，以生成一个或多个附加图像。例如，CPU 16可以操纵第一图像的前景中的对象的像素以生成一个或多个附加图像。例如，CPU 16和/或GPU 18可以移除前景中的对象的像素(例如，最靠近相机12的具有最小深度的像素)并执行数字修补以替换所移除的像素。所得图像可以是一个或多个附加图像的一个示例。

基于前景中图像的深度来操纵对象的像素(例如，操纵对象的像素)以生成一个或多个附加图像是一个示例，而不应被认为是限制性的。替代操纵前景中的对象的像素或者除了操纵前景中的对象的像素之外，还可以操纵背景中的对象的像素、视野之外的对象的像素或其他像素来生成一个或多个附加图像。此外，修补是操纵对象像素的一种示例技术，并且该示例技术不应被认为限于修补。

作为另一示例，CPU 16可以基于第一显著性图(例如，第一图像的显著性图)生成第一图像的第一测光图。CPU 16可以通过改变第一图像的色调来生成一个或多个附加图像。例如，CPU 16可模拟应用第一图像的第一测光图以生成第一附加图像的结果。改变色调可以指基于第一测光图调整第一图像的亮度，并且可以是操纵第一图像中的像素的一种方式。可能有其他方式来操纵第一图像中的像素。

在一些示例中，为了生成一个或多个附加图像，CPU 16和/或GPU 18可以在迭代处理中操纵像素。例如，CPU 16和/或GPU 18可以操纵第一图像中的一组像素来生成第一附加图像。CPU 16和/或GPU 18之后可以操纵第一附加图像中的一组像素来生成第二附加图像，等等。在这样的示例中，CPU 16和/或GPU 18可以被认为是基于第一图像生成一个或多个附加图像。例如，尽管第二附加图像是从第一附加图像生成的，但是因为第一附加图像是针对第一图像生成的，所以第二附加图像可以被认为是从第一图像生成的。

CPU 16和/或GPU 18可以通过“多层剥离”生成多个附加图像。例如，第一图像可以被认为具有多个层，其中每一层包括相对距离大约相同的多个对象的像素。CPU 16和/或GPU 18可以操纵第一层中的像素以生成第一附加图像，然后操纵第一附加图像中的第二层以生成第二附加图像，等等。

因此，生成一个或多个附加图像可以被认为是操纵第一图像的层的处理。第一图像的每一层可以被认为是具有相同相对深度的对象，并且生成一个或多个附加图像可以是操纵对应于特定层(例如，深度)的像素的一部分。对于曝光，CPU 16可以改变第一图像中像素的色调来操纵像素，而不是“多层剥离”。

CPU 16可以确定一个或多个附加图像的一个或多个附加显著性图(例如，每个附加图像对应一个附加显著性图)。CPU 16可以基于第一显著性图和一个或多个附加显著性图来确定(例如，控制)相机12的相机设置(例如，自动聚焦设置、自动曝光设置和/或自动白平衡设置)。

例如，CPU 16可以将第一显著性图(例如，第一图像的显著性图)与一个或多个附加显著性图进行比较。基于该比较，CPU 16可以确定(例如，控制)相机12的相机设置。作为一个示例，CPU 16可以确定第一显著性图和一个或多个附加显著性图是否基本相同。如果第一显著性图和一个或多个附加显著性图基本相同，那么CPU 16可以确定在第一图像或一个或多个附加图像中确定的显著区域是在自动聚焦应在的深度处的显著区域，且将自动聚焦设置调整到一个或多个显著区域。

例如，第一图像和一个或多个附加图像的差异可以是剥离第一图像中的前景像素以生成一个或多个附加图像。如果第一图像的第一显著性图和一个或多个显著性图相同，则前景中的对象可能不显著(例如，对于场景合成不重要)。例如，如果前景中的对象是显著的，则第一显著性图和一个或多个附加显著性图将是不同的，因为一个或多个附加显著性图基于前景像素被剥离的一个或多个附加图像。

然而，在一些情况下，第一显著性图和一个或多个附加显著性图可能不同。在这种情况下，前景中的对象可能是显著的，并且可以调整焦点以聚焦在前景上。

在一些示例中，如果第一显著性图和一个或多个附加显著性图并非基本相同，则CPU 16可以确定前景对象的像素是要自动聚焦的区域。例如，如果第一显著性图和一个或多个附加显著性图并非基本相同，则CPU 16可以确定为其执行修补的像素处于可能存在显著性的深度。因此，CPU 16可以确定前景中较远的对象的像素应该是自动聚焦的位置。

作为另一示例，在多层剥离的示例中，CPU 16可以确定第一显著性图是否与第一附加显著性图相同，且如果基本相同，那么可以确定第一显著性图是否与第二附加显著性图相同，等等。CPU 16可以确定哪个附加显著性图不同于第一显著性图。例如，随着层被剥离(例如，随着每个层的对象的像素被操纵)，一些附加显著性图可能与第一显著性图相同。然而，对于附加图像之一，其相关联的附加显著性图可能不同于其他显著性图。在此情况下，CPU 16可以确定当显著性图改变时剥离的层对应于焦点应在的深度。

作为示例，第一显著性图(例如，第一图像的显著性图)可以与第一附加显著性图和第二附加显著性图相同。在该示例中，第一附加显著性图与第一附加图像相关联，并且第二附加显著性图与第二附加图像相关联。第一附加图像可以基于第一图像，该第一图像具有与被操纵的最靠前对象相关联的像素。第二附加图像可以基于第一附加图像，该第一附加图像具有与被操纵的下一个最靠前对象相关联的像素。

第三附加图像可以基于第二附加图像，该第二附加图像具有与被操纵的下一个前景对象相关联的像素。在该示例中，与第三附加图像相关联的第三显著性图可以不同于第一显著性图、第一附加显著性图或第二附加显著性图。CPU 16可以确定在第二附加显著性图中确定的显著区域对应于应设定自动聚焦的深度，且将自动聚焦调整到第二附加图像中的显著区域。

例如，第一图像可以用相机12的镜头在第一镜头位置生成。也就是说，当在预览模式或录制时接收到第一图像的图像内容时，相机12的镜头位置可以在第一镜头位置。为了确定相机设置(例如，控制相机设置)，CPU 16可以确定定义相机12的镜头的第二镜头位置的自动聚焦设置。

在第一种情况下，CPU 16可以确定第二镜头位置和第一镜头位置相同。在第一种情况下，对于自动聚焦设置，当接收到第一图像时，相机12的镜头的镜头位置可能已经处于适当的位置。在第一种情况下，CPU 16可以避免调节镜头的镜头位置。

在第二种情况下，CPU 16可以确定第二镜头位置和第一镜头位置不同。在第二种情况下，对于自动聚焦设置，可能需要调整相机12的镜头的镜头位置。因此，CPU 16可以将镜头的镜头位置调整到第二镜头位置。

这样，CPU 16可以基于是否要调整相机12的镜头的镜头位置来控制相机设置(例如，确定自动聚焦设置)。自动聚焦设置可以定义相机12的镜头的镜头位置，以确保捕获到适当的深度分量。

以上示例技术描述了确定第一显著性图与一个或多个附加显著性图是否基本相同的方式。可以有各种方式来确定第一显著性图和一个或多个附加显著性图是否基本相同。

作为一个示例，CPU 16可以执行第一显著性图和一个或多个附加显著性图之间的互相关。如果互相关的结果指示第一显著性图和一个或多个附加显著性图在相关阈值内相关，则CPU 16可以确定第一显著性图和一个或多个显著性图基本相同。如果互相关的结果指示第一显著性图和一个或多个附加显著性图在相关阈值内不相关，则CPU 16可以确定第一显著性图和一个或多个显著性图并非基本相同。

作为另一示例，CPU 16可以执行第一显著性图与一个或多个附加显著性图之间的绝对误差和处理。例如，CPU 16可以确定第一显著性图和一个或多个附加显著性图中的像素之间的逐像素差异(例如，减去像素值)。CPU 16可以基于该差异确定绝对误差和。如果绝对误差和的结果小于阈值，则CPU 16可以确定第一显著性图和一个或多个显著性图基本相同。如果绝对误差和的结果不小于阈值，则CPU 16可以确定第一显著性图和一个或多个显著性图并非基本相同。

作为另一示例，CPU 16可以执行第一显著性图与一个或多个附加显著性图之间的均方误差处理。例如，CPU 16可以确定第一显著性图和一个或多个附加显著性图中的像素之间的逐像素差异(例如，减去像素值)。CPU 16可以基于该差异确定均方误差。如果均方误差的结果小于阈值，则CPU 16可以确定第一显著性图和一个或多个显著性图基本相同。如果均方误差的结果不小于阈值，则CPU 16可以确定第一显著性图和一个或多个显著性图并非基本相同。

此外，可能存在其他技术，诸如面部检测或宠物检测，或一般的对象检测，本公开中描述的显著性图技术的利用可以补充这些技术，以进行自动聚焦、自动曝光和/或自动白平衡。然而，在预览模式或录制期间实时生成显著性图不应与对象检测混淆。如上所述，显著性图可以指示图像内不同区域在吸引观看者目光方面的相对显著性，诸如图像内不同区域吸引观看者目光的概率(例如，可能性)。有可能显著区域恰好是人脸或宠物或某个特定对象的区域，但是显著性图可能不标识对象类型。然而，这些技术不应被解释为排除对象类型的标识。

在一些示例中，CPU 16可以将如何调整曝光、聚焦和白平衡优先化。例如，如果存在用户提供的用于曝光、聚焦和/或白平衡的明确信息，则CPU 16可以优先使用用户提供的信息来调整曝光、聚焦和白平衡。如果对象检测算法检测到对象，那么CPU 16可以优先使用来自对象检测算法的信息来调整曝光、聚焦和白平衡。CPU 16可以优先处理显著性图以调整曝光、聚焦和白平衡。

上述示例优先顺序仅作为示例提供，不应被认为是限制性的。优先顺序可能不同。在一些示例中，CPU 16可以利用用户提供的信息、对象检测和显著性图的某种加权来调整曝光、聚焦和白平衡。

对象检测技术可以生成标识特定对象的位置的信息，但可能不提供显著性的任何指示(例如，对象吸引观看者目光的概率)。被标识的对象有可能吸引观看者的目光，但是对象检测可能不会生成这样的信息。例如，如果一个人站在某人的肖像旁边，则面部检测可以标识肖像中的人和站立的人的面部，但是没有关于两者中哪一个更显著的信息。

在以上示例中，CPU 16可以利用显著性图来捕获图像。然而，示例技术不限于此。在一个或多个示例中，CPU 16可在捕获图像之后利用显著性图。

作为一个示例，相机设备10可以包括视频或图像编码器，其被配置成缩小与所捕获图像相关联的图像数据，诸如根据高效视频编码(HEVC)标准或开发中的通用视频编码(VVC)标准。视频或图像编码包括量化操作，其中值被量化。量化是一种有损操作，意味着一些图像内容会丢失，但会减少需要用信号发送给视频或图像解码器以重建图像的位数。量化的量化级别会影响解码时图像内容的清晰度或模糊度。在一个或多个示例中，CPU 16可以基于显著性图来确定所捕获图像的量化级别。例如，显著区域的量化级别可以小于非显著区域的量化级别，使得显著区域的清晰度得以保持，而非显著区域可以是模糊的，以节省用信号发送的比特数。

作为另一示例，相机设备10可以基于显著性图来确定图像的缩放或裁剪。例如，当要裁剪图像内容时，CPU 16可以确保基于显著性图被确定为显著的区域不会被裁剪掉。

类似地，当启用缩放时，CPU 16可以确保显著区域的分辨率相对较高，以允许放大显著区域，同时保持图像的清晰度。例如，不同裁剪的显著性可以帮助自动缩放，以确保显著性在整个缩放处理中保持一致。

作为另一示例，相机设备10可以增加对与其他区域相比具有相对较高显著性的区域执行的处理量。作为一个示例，作为渲染图像内容的一部分，GPU 18可以被配置成执行一个或多个像素着色器(也称为片段着色器)。GPU 18为渲染图像区域而执行的像素着色器越多，该区域的图像内容就越清晰。例如，如果GPU 18为一个区域执行100个像素着色器实例，则该区域的分辨率将是10×10。然而，如果GPU 18对同一区域执行16个像素着色器实例，那么该区域的分辨率将为4×4。执行100个像素着色器实例而不是16个意味着需要增加在与其他区域相比具有相对较高显著性的区域上执行的处理量(例如，与非显著区域相比在显著区域上执行)。控制为管理图像不同区域的分辨率而执行的像素着色器的数量被称为注视点渲染。可能存在与非显著区域相比，增加在显著区域上执行的处理量的其他方式，并且用于注视点渲染的像素着色器的执行是一个示例。

在用于图像处理的上述示例中，CPU 16可以被配置成实时或实况地(例如，在应用正被用来捕获图像并且在图像被实际捕获到之前的运行时)生成显著性图。然而，在一些情况下，CPU 16可能不必实时生成显著性图，而是在稍后的时间生成，诸如当确定用于编码图像、缩放或裁剪图像或渲染图像的量化级别时，以增加对与其他区域相比具有相对较高显著性的区域执行的处理量。为方便起见，用实时生成显著性图来描述示例，但是示例技术不限于此。此外，以上是利用显著性图进行图像处理的几个非限制性示例，示例技术不应被认为限于以上示例。

这样，CPU 16可以被配置成在预览模式或录制中接收图像(例如，从相机处理器14或相机12)，生成指示图像内不同区域吸引观看者目光的概率的显著性图，并且基于显著性图处理图像。处理图像可以包括图像捕获处理。图像捕获处理的示例包括在捕获之前处理图像，诸如调整被配置成捕获图像的设备的白平衡、调整被配置成捕获图像的设备的聚焦、或调整被配置成捕获图像的设备的曝光中的一个或多个。处理图像还可以包括在捕获之后处理图像，诸如确定用于编码图像的量化级别、缩放或裁剪图像、或者与非显著区域相比增加在显著区域上执行的处理量中的一个或多个。

例如，在预览模式或录制期间，CPU 16可以接收第一图像。第一图像可以在相机12的镜头处于第一镜头位置时生成。CPU 16可以生成指示第一图像内不同区域的相对显著性的第一显著性图，其中不同区域的相对显著性可以指示吸引观看者目光的可能性。CPU 16可以基于操纵第一图像中的像素来生成一个或多个附加图像，并且生成指示一个或多个附加图像内的不同区域的相对显著性的一个或多个附加显著性图。在一个或多个示例中，CPU16可以在预览模式或录制期间基于第一显著性图和一个或多个附加显著性图来确定(例如，控制)相机设置。确定相机设置的一个示例包括基于第一显著性图和一个或多个附加显著性图来控制相机设置。

作为一个示例，为了确定相机设置，CPU 16可以确定定义相机12的镜头的第二镜头位置的自动聚焦设置。如上所述，第一图像在相机12的镜头处于第一镜头位置时生成。

在第一种情况下，CPU 16可以确定第二镜头位置和第一镜头位置相同，以及避免调节镜头的镜头位置。在第二种情况下，CPU 16可以确定第二镜头位置和第一镜头位置不同，以及将镜头的镜头位置调整到第二镜头位置。这样，CPU 16可在预览模式或录制期间基于第一显著性图和一个或多个附加显著性图来控制相机设置(例如，自动聚焦设置)。

例如，CPU 16可将第一显著性图与一个或多个附加显著性图进行比较，并且基于比较来确定自动聚焦设置。将第一显著性图与一个或多个附加显著性图进行比较的示例包括执行互相关、绝对误差和处理或像素值的均方误差处理中的一个或多个。

作为一个示例，为了基于第一显著性图和一个或多个附加显著性图来确定自动聚焦设置，CPU 16可以被配置成将第一显著性图与一个或多个附加显著性图进行比较，确定第一显著性图和一个或多个附加显著性图基本相同，并且基于在第一显著性图和一个或多个附加显著性图中具有相对显著性的区域来调整自动聚焦。作为另一示例，为了基于第一显著性图和一个或多个附加显著性图来确定自动聚焦设置，CPU 16可以被配置成将第一显著性图与一个或多个附加显著性图进行比较，确定第一显著性图和一个或多个附加显著性图并非基本相同，确定第一图像中的前景区域(例如，基于第一显著性图和一个或多个附加显著性图并非基本相同)，并且基于前景区域来调整自动聚焦。

生成一个或多个附加图像(例如，通过操纵第一图像中的像素)的一种示例方式是通过修补第一图像来生成一个或多个附加图像。基于第一图像生成一个或多个附加图像的一种示例方式是通过基于操纵不同层(例如，通过操纵不同相对深度处的对象的像素的多层剥离)连续生成一个或多个附加图像。例如，一个或多个附加图像可以包括第一附加图像和第二附加图像。CPU 16可以被配置成通过操纵第一图像的像素来生成第一附加图像，并且操纵第一附加图像的像素来生成第二附加图像，从而基于操纵第一图像中的像素来生成一个或多个附加图像。这样，CPU 16可以基于第一图像中的图像内容的深度来生成一个或多个附加图像(例如，确定哪些像素用于前景对象，并且操纵那些像素)。

上面描述了确定(例如，控制)相机设置，其中相机设置示例是自动聚焦设置。在一些示例中，确定(例如，控制)相机设置可以包括确定自动曝光设置。

例如，为了生成一个或多个附加图像，CPU 16可以通过改变第一图像的色调来模拟第一图像上的不同曝光，以生成一个或多个附加图像。模拟不同的曝光可以指生成具有不同色调(例如，亮度)的模拟图像。在这样的示例中，为了生成一个或多个附加显著性图，CPU 16可以在通过模拟第一图像上的不同曝光而生成的一个或多个附加图像内生成一个或多个附加显著性图。

CPU 16可以基于第一显著性图和一个或多个附加显著性图来生成多个测光图。例如，CPU 16可以基于第一图像和第一显著性图生成第一测光图，基于第一附加图像和第一显著性图生成第二测光图，等等。CPU 16可以基于多个测光图确定更新的测光图(例如，通过平均多个测光图)。CPU 16可以基于测光图来确定(例如，控制)自动曝光设置。

一般而言，显著性图可以包括图像中的区域的值，其中该值指示图像内不同区域的相对显著性，并且不同区域的相对显著性指示吸引观看者目光的可能性(例如，作为两个非限制性示例，指示对应区域吸引观看者目光的概率的值或者指示对应区域是否是二元的二元值)。因此，在显著性图中，图像中吸引观看者目光概率较高的区域可以与图像中吸引观看者目光概率较低的区域区分开(例如，不同的值)。然而，对于显著性图，可能存在将图像中吸引观看者目光概率较低的区域与图像中吸引观看者目光概率较高的区域区分开的其他方式。

如上所述，在一些示例中，用于生成显著性图的权重(例如，由一个或多个机器学习模型生成的)可以存储在系统存储器30中。在一些示例中，在生成显著性图之后，CPU 16可以将显著性图存储在系统存储器30中，以用于基于显著性图处理图像。替代将显著性图存储在系统存储器30中或者除了将显著性图存储在系统存储器30中之外，CPU 16可以将显著性图存储在CPU 16的本地存储器中。存储显著性图的存储器可以被称为相机属性池，其存储图像的元数据。

存储控制器24便于进出系统存储器30的数据传输。例如，存储控制器24可以接收存储器读和写命令，并且相对于存储器30服务这些命令，以为相机设备10中的组件提供存储服务。存储控制器24通信耦接到系统存储器30。尽管存储控制器24在图1的相机设备10的示例中被示出为与CPU 16和系统存储器30分离的处理电路，但是在其他示例中，存储控制器24的一些或所有功能可以在CPU 16和系统存储器30中的一个或两个上实现。

系统存储器30可以存储相机处理器14、CPU 16和GPU 18可访问的程序模块和/或指令和/或数据。例如，系统存储器30可以存储用户应用(例如，用于相机应用的指令)、来自相机处理器14的结果帧等。系统存储器30可以额外存储由相机设备10的其他组件使用和/或生成的信息。例如，系统存储器30可以充当相机处理器14的设备存储器。

图2是进一步详细说明图1设备的中央处理单元(CPU)和系统存储器的框图。如图2所示，相机12包括镜头34和传感器36。CPU 16可以被配置成执行自动曝光应用38、自动聚焦应用40和自动白平衡应用42。CPU 16还可以被配置成执行卷积神经网络(CNN)应用44，以生成存储在系统存储器30中的显著性图46和一个或多个附加显著性图47。系统存储器30还可以存储神经网络(NN)权重48。

在一个或多个示例中，系统存储器30可以存储CPU 16检索并执行的自动曝光应用38、自动聚焦应用40、自动白平衡应用42和CNN应用44的目标代码。在一个或多个示例中，CPU 16可以包括执行自动曝光、自动聚焦、自动白平衡操作的专用硬件，以及生成显著性图46和一个或多个附加显著性图47的专用硬件，而不是在CPU 16上执行的软件应用。

作为一个示例，相机设备10可以包括矢量处理器(未示出)。矢量处理器可以是被配置成相对快速地执行乘法运算的专用硬件。如上所述，生成显著性图，如显著性图46或一个或多个附加显著性图47，可以包括来自图像的样本值的许多乘法操作。CPU 16(例如，通过CNN应用44)可以将乘法任务卸载给矢量处理器。

在一个或多个示例中，光通过镜头34进入，并被传感器36接收。自动聚焦应用40可以修改镜头34在相机12内的位置，从而调整镜头34的聚焦。例如，通过修改镜头34的位置，自动聚焦应用40可以控制传感器36的焦点，进而控制图像内容的哪些部分将被聚焦。

对于自动曝光，自动曝光应用38可以被配置成确定图像内容的哪个区域用于曝光测光或空间测光图。作为一个示例，自动曝光应用38可以利用测光图。测光图可以被认为是图像上的权重图。测光图可以向自动曝光应用38指示是否需要改变全局曝光以使图像变亮或变暗。光圈(即，光可以进入镜头34和/或到达传感器36的面积)的改变，可能连同快门速度和传感器增益一起，可以是自动曝光应用38实现期望的曝光改变的示例方式。例如，自动曝光应用38还可以利用测光图或某一其他技术来控制快门速度(例如，允许光进入镜头34和/或到达传感器36的时间量)和传感器36对光的敏感度。

在一些示例中，测光图是中心偏移的，这意味着自动曝光应用38可能偏向于确保中心像素被适当曝光，而朝向边缘的像素被较少曝光。可能存在测光图的其他示例，该技术不限于偏向于图像中间区域的曝光控制的测光图。在一个或多个示例中，系统存储器30可以存储各种测光图(例如，用户可选择的测光图)，并且自动曝光应用38可以利用用户选择的测光图。

自动白平衡应用42可以被配置成控制白平衡。自动白平衡应用42可以确定图像中白色的温度，并基于所确定的白色温度生成图像内容。例如，如果存在混合照明(例如，阴影区域和非阴影区域)，则与非阴影区域相比，阴影区域中的白色温度可能不同。自动白平衡应用42可以被配置成确定白色的适当温度，以最小化阴影区和非阴影区上的不真实色偏。

虽然自动曝光应用38、自动聚焦应用40和自动白平衡应用42可相对良好地操作，但可能存在某些限制。例如，可以通过确保镜头34聚焦在图像中的显著区域上来改进自动聚焦，从而生成质量更好的图像，其中显著区域的清晰度得以保持。一些技术，诸如面部检测或对象检测，有助于标识镜头34可以聚焦的对象，并且自动聚焦应用40可以使镜头34聚焦在检测到的对象上。然而，这种对象检测算法不指示检测到的对象是否显著(例如，通过根据人类观看者在多个训练图像上的目光追踪数据训练神经网络来确定)。

对于自动曝光设置，自动曝光应用38可以被配置成利用测光图。然而，测光图可能没有考虑图像内容的显著性。相反，测光图可以被设置为暴露图像中的某个区域，诸如中心，但是该中心有可能不包括任何显著内容，而显著内容位于图像中的其他地方。因此，将显著性图用于自动曝光设置可能是有益的。

对于自动白平衡设置，自动白平衡应用42可以被配置成确定白色的温度，使得阴影区域和非阴影区域看起来适当(例如，两者均具有一定量的不真实色偏)。然而，如果阴影区域比非阴影区域更显著，则通过基于阴影区域设置白色温度，可以捕获更好的图像。在这种情况下，非阴影区域可能会有更多的色偏。然而，因为非阴影区域不显著，所以色偏可能没有任何负面影响，但是因为显著区域没有色偏，所以可能有好处。

在一个或多个示例中，CPU 16可以被配置成执行CNN应用44以生成显著性图46和一个或多个附加显著性图47，CPU 16将显著性图46和一个或多个附加显著性图47用于自动聚焦、自动曝光或自动白平衡设置中的一个或多个。生成显著性图46和一个或多个附加显著性图47的示例技术可以与CPU 16确定自动聚焦、自动曝光和自动白平衡设置的方式相同。例如，CNN应用44可能不利用在分别由自动聚焦应用40、自动曝光应用38和自动白平衡应用42确定的自动聚焦、自动曝光和自动白平衡的情况下捕获之后生成的图像。CPU 16可以利用显著性图46和/或一个或多个附加显著性图47来更新自动聚焦、自动曝光和/或自动白平衡。

CPU 16(例如，经由CNN应用44)可以被配置成在预览模式或图像录制期间实时生成显著性图46和一个或多个显著性图47，其中显著性图46指示图像内不同区域的相对显著性，并且一个或多个显著性图47指示基于用于生成显著性图46的图像生成的一个或多个附加图像内不同区域的相对显著性。

例如，用于生成显著性图46的图像可以是第一图像，并且显著性图46可以是第一显著性图。CPU 16可以基于第一图像生成一个或多个附加图像。例如，CPU 16可以执行像素操纵单元49。尽管像素操纵单元49被示为CPU 16执行的软件，但是示例技术并不限于此。像素操纵单元49可以实现为固定功能电路或硬件和软件的某种组合。

像素操纵单元49可以被配置成操纵第一图像中的像素来生成一个或多个附加图像。CPU 16可以执行CNN应用44来生成一个或多个附加显著性图47，一个或多个附加图像中的每一个对应一个附加显著性图47。

作为一个示例，CPU 16可以确定第一图像中的对象的相对深度。例如，CPU 16可以利用相位检测自动聚焦(PDAF)算法来生成相对深度的信息，但是诸如光飞时间(ToF)的其他技术也是可能的。在PDAF中，出于确定相对深度的目的，相机12内的传感器(或者可能是一些其他传感器)可以捕获图像内容的两幅图像。为确定相对深度而捕获的图像不一定是高分辨率图像，但是画面可能是高分辨率的。两幅图像中图像内容的相对视差可以指示对象的深度。利用相对视差，CPU 16可以生成指示第一图像中的对象的相对深度的深度图。下面将更详细地描述PDAF。

像素操纵单元49可以基于对象的相对深度来操纵对象的像素。作为一个示例，像素操纵单元49可以移除如深度图所指示的前景中的对象的像素，并用修补来替换像素。执行修补的一种示例方式包括移除像素并混合相邻像素以生成被移除像素的像素。执行修补的另一种方式可以是模糊前景中的像素。修补是一个示例，操纵像素的其他技术也是可能的。像素操纵单元49的操作结果可以是第一附加图像。像素操纵单元49可以对第一附加图像重复该操作(例如，修补第一附加图像中前景中的对象的像素)以生成第二附加图像，等等。

如上所述，CPU 16可以执行CNN应用44来生成一个或多个附加显著性图47，一个或多个附加图像中的每一个对应一个附加显著性图。例如，CPU 16可以为第一附加图像生成第一附加显著性图，其中第一附加显著性图是一个或多个附加显著性图47之一。CPU 16可以为第二附加图像生成第二附加显著性图，其中第二附加显著性图是一个或多个附加显著性图47中的另一个，等等。

显著性图46和/或一个或多个附加显著性图47可以指示整个图像的显著性。例如，显著性图46和/或一个或多个附加显著性图47可能不仅仅是感兴趣区域(ROI)的边界框或来自对象检测的边界框。在一些示例中，显著性图46和一个或多个附加显著性图47可以是整个图像(例如，第一图像)或相应附加图像的图，其指示哪些部分是显著的以及哪些部分是不显著的。

为了生成显著性图46和/或一个或多个附加显著性图47，CNN应用44可以被配置成利用NN权重48。NN权重48可以是从多个训练图像上的显著性点生成的已训练模型的权重，该显著性点是基于观看训练图像的一个或多个观看者的眼动追踪来标识的。

CNN应用44(例如，可能使用矢量处理器)可以被配置成利用存储在系统存储器30中(但是权重48可以存储在某个其他存储器中)且通过用一个或多个机器学习模型训练数据来处理来自图像的样本值而生成的权重48，以区分图像中吸引观看者目光概率较高的区域与图像中吸引观看者目光概率较低的区域。也就是说，显著性图46和/或一个或多个附加显著性图47可以包括映射到图像或相应的一个或多个附加图像中的区域的值，并且这些值指示吸引观看者目光的概率，或者可以是指示区域是否显著的二进制值。因此，图像中吸引观看者目光概率较高的区域在显著性图中的值不同于图像中吸引观看者目光概率较低的区域在显著性图中的值。

可以有各种方式来表示显著性图46和/或一个或多个附加显著性图47。作为一个示例，显著性图46和/或一个或多个附加显著性图47可以是值的二维图，其中每个值与图像的区域相关联，并且具有0到255之间的值。值255可以意味着图像中的关联区域具有高显著性，值0可以意味着图像中的关联区域具有低显著性。

如上所述，NN权重48可以由一个或多个机器学习模型生成。下面描述了生成NN权重48的一种示例方式。在训练期间，云网络中的一个或多个服务器上的一个或多个处理器可以被配置成确定多个训练图像上的显著性点，这些显著性点是基于观看多个训练图像(例如，10，000个图像)的一个或多个观看者的眼动追踪来标识的。尽管关于云网络中的一个或多个服务器上的一个或多个处理器进行了描述，但是在相机设备10(例如，CPU 16)上生成NN权重48(例如，训练模型)也是可能的。

根据显著性点，一个或多个处理器可以生成显著区域的信息，称为“基本事实”。一个或多个处理器可以馈送训练图像和基本事实，并且训练一个或多个机器学习模型以生成用于卷积神经网络的权重，如CNN应用44，使得当权重被应用于训练图像时，结果是类似于基本事实的显著性图。系统存储器30可以存储由一个或多个机器学习模型生成的权重作为NN权重48。

对于新图像(例如，来自预览模式或在录制期间)，CNN应用44可以利用NN权重48来生成显著性图46和/或一个或多个附加显著性图47。因此，显著性图46和/或一个或多个附加显著性图47可以被认为是基于机器学习模型的显著性图46和/或一个或多个附加显著性图47。在一些示例中，CNN应用44可以在大多数层上利用具有8个通道的3×3核的2+16个卷积层(例如，16个卷积层的序列，每个层具有3×3的内核大小和8个通道)来生成基于机器学习模型的显著性图46和/或一个或多个附加显著性图47。

例如，CNN应用44可以由许多连续的层构成，每个层处理前一层的输出。这些层的示例包括卷积层和激活层。在一些示例中，这两种类型的层可以交错。卷积层将样本的前一层及其周围的所有通道相乘(例如，利用3×3核)。例如，如果前一层有32个通道，并且使用了3x3核，则新层的输出是32x3x3个数字相乘并求和的结果。对每一层重复这一处理。如更详细描述的，在一些示例中，输入图像可以被缩小到128×96的大小，这意味着CPU 16(或者DSP，如果DSP正在执行或实施CNN应用44的操作)可能需要进行128×96×32×3×3×32次乘法运算。激活层是应用于每个通道的简单的非线性响应函数。一些常见的函数包括：ReLU(校正线性单位)、PReLU(参数ReLU)、ELU(指数线性单位)、TAHH和Sigmoid。

如上所述，CNN应用44可以利用总共18个卷积层(例如，2+16个卷积层)。其中两个卷积层是“步进卷积”，这意味着它们用于缩小。因此，对于大小为128×96的输入图像，第一次缩小到64×48，然后第二次缩小到32×24。通过缩小，乘法的次数可以减少。所有后面的层都不是步进的，但包括填充以保持64x48的大小。然而，填充并非在所有示例中都是必要的。因此，在该示例中，由CNN应用44生成的显著性图的大小是64×48，而在不使用填充的示例中，显著性图的大小是32×24。CNN应用44的一些示例包括时序网络、U-Net、resNET(残差神经网络)、VGGNet(视觉几何组网络)等。

因此，为了生成显著性图46和/或一个或多个附加显著性图47，CNN应用44可以接收图像(例如，第一图像和/或一个或多个附加图像)的缩小(例如，下采样)版本作为输入。例如，CPU 16可以缩小图像(例如，作为一个非限制性示例，具有1024×768的分辨率)以生成N×M大小的缩小图像(例如，128×96的RGB图像)。CNN应用44可以对缩小的图像执行示例技术(例如，基于缩小的图像生成显著性图46和/或基于缩小的一个或多个附加图像生成一个或多个附加显著性图47)。来自CNN应用44的输出是显著性图46和/或一个或多个附加显著性图47。显著性图46和/或一个或多个附加显著性图47的大小是X×Y，其中X小于N或Y小于M至少满足其一。例如，显著性图46和/或一个或多个附加显著性图47的大小可以是32×24。CNN应用44可以将显著性图46和/或一个或多个附加显著性图47存储在属性池中，该属性池可以是被配置成存储图像的元数据的指定存储空间(例如，在系统存储器30内或别处)。

CPU 16之后可以利用显著性图46和/或一个或多个附加显著性图47来调整白平衡、聚焦和/或曝光设置中的一个或多个(即，调整相机设置)。例如，在显著性图46中，在不同深度可能存在不同的显著区域，并且可能不清楚在哪个深度使用自动聚焦设置。确定自动聚焦的深度的一种示例方式是基于比较将显著性图46与一个或多个附加显著性图47。

例如，CPU 16可以将第一显著性图46与一个或多个附加显著性图47进行比较，并且基于该比较来确定(例如，控制)相机设置(例如，自动聚焦、白平衡和/或曝光设置)。将第一显著性图46与一个或多个附加显著性图47进行比较可以包括对像素值执行互相关、绝对误差和处理或均方误差处理中的一个或多个。

例如，为了生成一个或多个附加图像，CPU 16和/或GPU 18可以操纵对应于不同深度的像素(例如，修补)。例如，第一附加图像可以用与前景中的对象相对应的像素被操纵来生成，第二附加图像可以用与下一个最靠前对象相对应的像素被操纵来生成，等等。如果第一显著性图46与对应于第一附加图像的第一附加显著性图相同，则自动聚焦的深度应该在对于第一图像和第一附加图像相同的显著区域中。例如，第一显著性图46和第一附加显著性图相同可以暗示前景像素没有那么显著。在一些示例中，由于第一附加图像是通过修补第一图像的前景像素(例如，内插或模糊前景像素)来生成的，因此对于第一显著性图46和第一附加显著性图相同，前景像素可能不显著。如果前景像素是显著的，则第一显著性图46和第一附加显著性图将是不同的。

然而，如果第一显著性图46与对应于第一附加图像的第一附加显著性图不同，则自动聚焦位置可能需要比第一附加显著性图指示的更靠前。例如，第一显著性图46和第一附加显著性图不同可以暗示前景像素是显著的，因为当前景像素被修补时，显著区域被改变。

作为生成一个或多个附加图像的另一示例方式，像素操纵单元49可以通过改变第一图像的色调(例如，改变第一图像的亮度)来模拟第一图像上的不同曝光。CNN应用44可以在通过模拟第一图像上的不同曝光而生成的一个或多个附加图像内生成一个或多个附加显著性图47。

自动曝光应用38可以基于显著性图46和一个或多个附加显著性图47生成多个测光图。例如，自动曝光应用38可以基于显著性图46生成第一图像的第一测光图，基于一个或多个附加显著性图47的第一附加显著性图生成第一附加图像的第二测光图，基于一个或多个附加显著性图47的第二附加显著性图生成第二附加图像的第三测光图，等等。自动曝光应用38可以基于多个测光图来确定更新的测光图(例如，通过求平均)。自动曝光应用38可以基于更新的测光图来确定自动曝光设置。

作为一个示例，为了基于第一显著性图46和一个或多个附加显著性图47来确定(例如，控制)自动聚焦、自动白平衡或自动曝光设置，CPU 16可以被配置成将第一显著性图46与一个或多个附加显著性图47进行比较，并且确定第一显著性图46和一个或多个附加显著性图47基本相同(例如，互相关满足相关阈值，绝对误差和小于阈值，或者均方误差小于阈值)。CPU 16(例如，经由自动曝光应用38、自动聚焦应用40或自动白平衡应用42)可以基于第一显著性图46和一个或多个附加显著性图47中具有相对显著性的区域来确定自动聚焦、自动曝光或自动白平衡设置。

作为另一示例，为了基于第一显著性图46和一个或多个附加显著性图47来确定自动聚焦、自动白平衡或自动曝光设置，CPU 16可以被配置成将第一显著性图46与一个或多个附加显著性图47进行比较，并且确定第一显著性图46和一个或多个附加显著性图47并非基本相同(例如，互相关不满足相关阈值，绝对误差和不小于阈值，或者均方误差不小于阈值)。响应于确定第一显著性图46和一个或多个附加显著性图47并非基本相同，CPU 16可以确定第一图像中的前景区域。CPU 16(例如，经由自动曝光应用38、自动聚焦应用40或自动白平衡应用42)可以基于前景区域来确定自动聚焦、自动曝光或自动白平衡设置。

作为一个示例，CPU 16可以用显著性图46来替换自动曝光应用38要利用的测光图(例如，基于显著性图46和一个或多个附加显著性图47之间的比较)。然而，显著性图46有可能是不完美的。在一个或多个示例中，CPU 16可以利用测光图来缩放显著性图46以生成更新的测光图。为了用测光图来缩放显著性图46，CPU 16可以确定要应用于测光图的缩放权重，其中缩放权重基于显著性图46中的显著性值。CPU 16可以对一个或多个附加图像执行类似的测光图缩放操作，诸如用于确定自动曝光设置。

图3是示出将作为显著性值的函数应用于自动曝光的缩放权重的图表。例如，图3示出了线50，其表示CPU 16基于显著性值将应用于测光图的缩放权重。在一些示例中，不是利用线50，而是系统存储器30可以存储查找表，该查找表指示要应用于显著性值的测光图的缩放权重。

如上所述，在一些示例中，显著性图46的大小可以相对较小(例如，32×24)。测光图的大小可以不同于(例如，更大或更小)显著性图46的大小。CPU 16可以内插显著性图46的值，以将显著性图46的大小放大或缩小到测光图的大小。CPU 16之后可以基于放大或缩小的显著性图46来确定缩放权重。除了显著性图46之外或者代替显著性图46，可以放大或缩小测光图。

CPU 16可以将缩放权重与测光图的值(例如，如线50所示)相乘，以生成更新的测光图。自动曝光应用38可以利用更新的测光图来基于更新的测光图调整曝光(例如，光圈)。这样，显著区域将具有更高的测光权重，并确保显著区域被适当曝光。

仍参考图2，在一个或多个示例中，自动聚焦应用40可以利用显著性图46和/或一个或多个附加显著性图47来确定镜头34聚焦在哪些区域上。例如，自动聚焦应用40可以确定图像中具有比图像的一个或多个其他区域相对更高的显著性的区域。自动聚焦应用40可以基于所确定的区域来调整聚焦(例如，镜头34的镜头位置)。然而，自动聚焦应用40可以基于显著性图46与一个或多个附加显著性图47的比较来确认显著性图46的显著区域的深度是应该自动聚焦的地方。例如，如果显著性图46与一个或多个附加显著性图47基本相同，则自动聚焦应用40可以基于显著性图46和/或一个或多个附加显著性图47中的显著区域进行自动聚焦。然而，如果显著性图46与一个或多个附加显著性图47并非基本相同，则自动聚焦应用40可以基于用于生成显著性图46的图像的前景中的对象进行自动聚焦。

此外，在一些示例中，自动聚焦应用40可以确定是否应该改变自动聚焦设置。例如，第一图像可以在相机12的镜头34处于第一镜头位置的情况下生成，并且为了确定相机设置，自动聚焦应用40可以确定界定镜头34的第二镜头位置的自动聚焦设置。也就是说，基于显著性图46和一个或多个显著性图47的比较，自动聚焦应用40可以确定镜头34的第二镜头位置。

自动聚焦应用40可以确定第二镜头位置和第一镜头位置是相同还是不同。例如，在第一种情况下，自动聚焦应用40可以确定第二镜头位置和第一镜头位置是相同的，以及避免调整镜头34的镜头位置。在第二种情况下，自动聚焦应用40可以确定第二镜头位置和第一镜头位置不同，并将镜头34的镜头位置调整到第二镜头位置。

在一些示例中，自动聚焦应用40可以利用显著性图46来补充由自动聚焦应用40使用其他技术确定的要聚焦的区域。例如，自动聚焦应用40可以被配置成利用相位检测自动聚焦(PDAF)。在PDAF中，自动聚焦应用40可以利用在传感器36的不同光电二极管上捕获的光之间的相位差来控制应该聚焦哪个区域。PDAF可以基于用不同不对称光圈生成的两个或多个图像的比较。当主镜头不在焦点上时，可以检测到由不对称模糊的不同形状引起的视差。视差的大小和方向与散焦量和方向相关。相机设备10上的自动聚焦可以使用在传感器像素级实现的PDAF，使用掩蔽层、双二极管或特殊的微透镜设计。这允许相机设备10以很少的成本或不增加成本的前提下可靠且有效地聚焦。

作为另一示例，自动聚焦应用40可以配置有对象检测(例如，面部检测、宠物检测等)，并配置成聚焦于检测到的对象。作为另一示例，自动聚焦应用40可以被配置成检测前景中的对象，且被配置成聚焦于前景中的对象。前景检测也可以用PDAF来执行，其中为PDAF捕获的图像之间的图像内容的相对视差指示深度。利用PDAF确定深度是一个示例，用其他技术确定深度也是可能的。

在这些示例技术(例如，PDAF、对象检测、前景检测)或诸如立体视差、结构光或用于检测前景的光飞时间的其他技术中，自动聚焦应用40可以被配置成确定感兴趣区域(ROI)，并聚焦在ROI上。为了补充这种示例技术，CPU 16(例如，经由CNN应用44)可以被配置成确定ROI内的显著性图46和/或一个或多个附加显著性图47。例如，通过确定ROI内的显著性图46和/或一个或多个附加显著性图47，自动聚焦应用40可以在ROI内更局部地优化聚焦。作为另一示例，CPU 16可以确定显著性图46和/或一个或多个附加显著性图47中被标识为具有相对较高显著性的哪些区域也在根据对象检测或前景检测确定的ROI内，并且更局部地聚焦于也在ROI内的那些区域。

在一个或多个示例中，自动白平衡应用42可以利用显著性图46来确定应从其确定白色温度的区域(例如，基于显著性图46与一个或多个附加显著性图47的比较)。例如，自动白平衡应用42可以利用图像中更显著(例如，吸引观看者目光的可能性较高)的区域来确定白色的温度。

图4是示出根据本公开中描述的一个或多个示例的示例操作方法的流程图。基于一个或多个处理器描述了图4的示例技术，处理器的示例包括相机处理器14、CPU 16、GPU18、显示器接口26或一些其他处理器(例如，矢量处理器)。

一个或多个处理器可以在预览模式期间或者为了录制而接收第一图像(60)。例如，用户可以配置相机设备10来准备拍照。在这种情况下，显示器28可以显示用户可能拍摄的图像的图像内容。在用户拍摄图像之前，显示器28正在显示图像的图像内容的时间可以是预览模式。当用户录制电影时，用户可能同时拍摄多张照片。

一个或多个处理器可以生成指示图像内不同区域的相对显著性的显著性图46(62)。例如，显著性图46可以指示图像内的不同区域吸引观看者目光的概率(例如，可能性)。作为一个示例，一个或多个处理器(例如，经由CNN应用44和可能的矢量处理器)可以利用存储在系统存储器30中的、由一个或多个机器学习模型生成的权重48来处理来自图像的样本值，以区分图像中吸引观看者目光概率较低的区域与图像中吸引观看者目光概率较高的区域。由一个或多个机器学习模型生成的权重48可以从多个训练图像上的显著性点生成，这些显著性点是基于观看多个训练图像的一个或多个观看者的眼动追踪来标识的。

在一些示例中，一个或多个处理器可以确定图像中的感兴趣区域(例如，基于PDAF、对象检测或前景检测)。在这样的示例中，生成显著性图46可以包括确定所确定的感兴趣区域内的显著性图46。

一个或多个处理器可以基于显著性图来处理图像(64)。例如，处理图像可以包括调整被配置成捕获图像的设备的白平衡、调整被配置成捕获图像的设备的聚焦、或调整被配置成捕获图像的设备的曝光中的一个或多个。作为其他示例，处理图像可以包括确定用于编码图像的量化级别、缩放或裁剪图像、或者增加在与其他区域相比具有相对较高显著性的区域上执行的处理量中的一个或多个。

作为调整曝光的一种示例方式，一个或多个处理器可以被配置成基于显著性图46来缩放用于自动曝光的测光图，以生成更新的测光图。在这样的示例中，处理图像可以包括基于更新的测光图调整图像的曝光。

作为调整聚焦的一种示例方式，一个或多个处理器可以被配置成基于显著性图来确定图像中具有比图像的一个或多个其他区域相对更高的显著性的区域。在这样的示例中，处理图像可以包括基于所确定的区域调整聚焦。

图5是示出根据本公开中描述的一个或多个示例的另一示例操作方法的流程图。例如，图5示出了生成显著性图46的示例方式。如上所述，一个或多个处理器可以在预览模式下或为了录制接收图像(70)。

一个或多个处理器可以缩小(例如，下采样)图像以生成N×M大小的缩小图像(72)。作为一个示例，N×M是128x96。一个或多个处理器可以基于缩小的图像生成大小为X×Y的显著性图46(74)。在一个示例中，X小于N或Y小于M至少满足其一，即，X<N和/或Y<M。例如，CNN应用44可以接收大小为128×96的缩小图像，并输出大小为32×24的显著性图46。

在图4和图5的示例中，CPU 16可以利用平均4.45毫秒、最小0.75毫秒和最大15.4毫秒来缩小图像以生成N×M大小的缩小图像(例如，在图5中)。CPU 16可以利用平均4.09毫秒、最小2.52毫秒和最大12.15毫秒来生成显著性图46。CPU 16可以基于显著性图46利用平均0.1毫秒、最小0.02毫秒和最大1.53毫秒来调整聚焦、曝光和/或白平衡。因此，在一些示例中，基于显著性图处理图像的最大时间可以是19.17毫秒，平均时间是8.78毫秒。因为基于显著性图处理图像的时间量小于10ms(平均)，所以在预览模式和视频录制时有足够的时间使显著性图可用于每一帧。

图6是示出根据本公开中描述的一个或多个示例的另一示例操作方法的流程图。例如，图6示出了利用显著性图来确定图像中的ROI的示例。如上所述，在一些示例中，CNN应用44可以利用所确定的ROI内的显著性(例如，根据PDAF、对象检测或前景检测来确定)来进行自动聚焦。然而，在一些示例中，可以使用显著性图46来确定ROI，而不是利用PDAF、对象检测或前景检测。

一个或多个处理器可以将显著性图46的显著性值归一化到特定范围内(80)。一个或多个处理器可以应用先前ROI和中心ROI优先级乘数来实现ROI稳定(82)。例如，从一幅图像到另一幅图像(例如，在视频录制中)，ROI可能没有实质性变化。一个或多个处理器可以利用先前图像中的ROI以及显著性图的中心46来生成当前图像的ROI可位于其中的区域。

一个或多个处理器可以找到最大显著性位置(84)。例如，一个或多个处理器可以确定显著性图46中哪里的显著性最大。一个或多个处理器可以在显著性位置周围构建ROI(86)。例如，基于优先级乘数和基于ROI中心和大小评估的各种试探法，一个或多个处理器可以确定当前图像的ROI。

在一些示例中，一个或多个处理器可以比较当前ROI和先前ROI的统计数据(88)。例如，一个或多个处理器可以比较例如ROI显著性总和及最大显著性等统计数据，以确定ROI相对于先前ROI的改变是否稳定(例如，小于阈值改变量)。基于当前ROI是稳定的(例如，ROI相对于先前ROI的改变是稳定的)，一个或多个处理器可以输出ROI(90)。

图7是示出根据本公开中描述的一个或多个示例的另一示例操作方法的流程图。类似于图4，基于一个或多个处理器描述了图7的示例技术，处理器的示例包括相机处理器14、CPU 16、GPU 18、显示器接口26或一些其他处理器(例如，矢量处理器)。

一个或多个处理器可以在预览模式或录制期间接收第一图像(91)。在一些示例中，第一图像可以是镜头34在第一镜头位置时获得的。类似于图4，一个或多个处理器可以生成第一图像内不同区域的第一显著性图46(92)。不同区域的相对显著性指示吸引观看者目光的可能性。

在图7的示例中，一个或多个处理器可以基于操纵第一图像中的像素来生成一个或多个附加图像(94)。例如，一个或多个处理器可以利用像素操纵单元49来生成一个或多个附加图像。一个或多个附加图像可以存储在系统存储器30中。

作为一个示例，为了生成一个或多个附加图像，一个或多个处理器可以基于第一图像中的图像内容的深度来生成一个或多个附加图像。例如，一个或多个处理器可以基于操纵第一图像的前景中的对象的像素来生成一个或多个附加图像。一个或多个处理器可以利用上述PDAF技术来确定对象的相对深度，并且基于相对深度来标识前景中的对象。

在一些示例中，一个或多个处理器可以执行第一图像的修补，以生成一个或多个附加图像。一个或多个处理器可以被配置成执行多层剥离以生成一个或多个附加图像。例如，一个或多个附加图像可以包括第一附加图像和第二附加图像。为了基于操纵第一图像中的像素来生成一个或多个附加图像，一个或多个处理器可以被配置成操纵第一图像的像素来生成第一附加图像，并且操纵第一附加图像的像素来生成第二附加图像。

作为另一示例，一个或多个处理器可以通过改变第一图像的色调来模拟第一图像上的不同曝光，从而生成一个或多个附加图像。可能存在生成一个或多个附加图像的其他方式，以上是一些示例。

一个或多个处理器可以生成指示一个或多个附加图像内不同区域的相对显著性的一个或多个附加显著性图47(96)。例如，一个或多个处理器可以利用CNN应用44来为每个附加图像生成附加显著性图。

一个或多个处理器可以在预览模式或录制期间基于第一显著性图46和一个或多个附加显著性图47来确定相机设置(98)。作为一个示例，一个或多个处理器可以基于第一显著性图46和一个或多个附加显著性图47来确定是否调整自动聚焦设置(例如，相机设置的一个示例)。作为另一示例，一个或多个处理器可以基于第一显著性图46和一个或多个附加显著性图47来确定是否调整自动曝光设置(例如，相机设置的另一示例)。

作为示例，如上所述，第一图像是在相机12的镜头34处于第一镜头位置的情况下生成的，并且为了确定相机设置，一个或多个处理器可以确定定义镜头34的第二镜头位置的自动聚焦设置。作为一个示例，一个或多个处理器被配置成确定第二镜头位置和第一镜头位置是相同的，以及避免调节镜头34的镜头位置。作为另一示例，一个或多个处理器可以确定第二镜头位置和第一镜头位置不同，以及将镜头的镜头位置调整到第二镜头位置。

作为确定相机设置的另一示例，一个或多个处理器可以被配置成通过改变第一图像的色调来模拟第一图像上的不同曝光，以生成一个或多个附加图像。一个或多个处理器可以在一个或多个附加图像内生成一个或多个附加显著性图，这些附加图像是通过模拟第一图像上的不同曝光而生成的。一个或多个处理器可以基于第一显著性图和一个或多个附加显著性图来生成多个测光图，并且基于该多个测光图来确定更新的测光图。在这样的示例中，一个或多个处理器可以通过基于更新的测光图确定自动曝光设置来确定相机设置。

为了比较显著性图46和一个或多个附加显著性图47，在一些示例中，一个或多个处理器可以比较第一显著性图46和一个或多个附加显著性图47，并且基于该比较来确定自动聚焦设置。将第一显著性图46与一个或多个附加显著性图47进行比较的示例包括执行互相关、绝对误差和处理或均方误差处理中的一个或多个。

作为一个示例，诸如对于多层剥离，一个或多个处理器可以确定一个或多个附加显著性图47中的哪一个与第一显著性图46并非基本相同。一个或多个处理器可以确定与第一显著性图46并非基本相同的附加显著性图47之一中的区域不在应该自动聚焦的深度处(例如，不在最显著深度处)。也就是说，一个或多个处理器可以确定最显著深度(例如，在一个或多个附加显著性图47之一不同于显著性图46的深度之前的深度)，并且基于所确定的最显著深度来确定相机设置。可能存在将第一显著性图46与一个或多个附加显著性图47进行比较的其他方式。

图8是示出根据本公开中描述的一个或多个示例的另一示例操作方法的流程图。例如，图8示出了比较第一显著性图46和一个或多个附加显著性图47以确定自动聚焦设置的一种示例方式。

一个或多个处理器可以被配置成将第一显著性图46与一个或多个附加显著性图47进行比较(100)。例如，一个或多个处理器可以执行互相关、绝对误差和处理或均方误差处理。

一个或多个处理器可以确定第一显著性图46和一个或多个附加显著性图47基本相同(102)。例如，一个或多个处理器可以确定互相关指示第一显著性图46和一个或多个附加显著性图47在相关阈值内相关。一个或多个处理器可以确定第一显著性图46和一个或多个附加显著性图47的绝对误差和小于阈值。一个或多个处理器可以确定第一显著性图46和一个或多个附加显著性图47之间的均方误差小于阈值。

在这样的示例中，一个或多个处理器可以基于在第一显著性图46和一个或多个附加显著性图47中具有相对显著性的区域来确定自动聚焦设置(104)。例如，如果第一显著性图46和一个或多个附加显著性图47相同，则第一图像中被确定为显著的区域可以处于应该确定自动聚焦设置的深度。

图9是示出根据本公开中描述的一个或多个示例的另一示例操作方法的流程图。例如，图9示出了比较第一显著性图46和一个或多个附加显著性图47以确定自动聚焦设置的另一示例方式。

类似于图8，一个或多个处理器可以被配置成将第一显著性图46与一个或多个附加显著性图47进行比较(106)。例如，一个或多个处理器可以执行互相关、绝对误差和处理或均方误差处理。

在图9中，一个或多个处理器可以确定第一显著性图46和一个或多个附加显著性图47并非基本相同(108)。例如，一个或多个处理器可以确定互相关指示第一显著性图46和一个或多个附加显著性图47在相关阈值内不相关。一个或多个处理器可以确定第一显著性图46和一个或多个附加显著性图47的绝对误差和不小于阈值。一个或多个处理器可以确定第一显著性图46和一个或多个附加显著性图47之间的均方误差不小于阈值。

在该示例中，因为第一显著性图46与一个或多个附加显著性图47并非基本相同，所以在第一显著性图46中确定的显著区域可能不是应该确定自动聚焦设置的深度(例如，不是最显著深度)。在这样的示例中，一个或多个处理器可能不将自动聚焦设置确定为在第一显著性图46中被确定为显著的区域。

相反，一个或多个处理器可以确定第一图像中的前景区域(110)。作为一个示例，一个或多个处理器可以利用捕获PDAF的相同图像内容的两个图像之间的视差来确定相对深度。根据相对深度，一个或多个处理器可以确定哪些对象在前景中。一个或多个处理器可以基于前景区域来确定自动聚焦设置(112)。

图10A-10E是示出生成和利用显著性图的示例的图。图10A示出了输入图像114的示例，CNN应用44可以确定该输入图像的显著性图，诸如图10B中示出的显著性图116。在一些示例中，CNN应用44可以缩小图像114(或接收到缩小版本)，其中缩小图像具有N×M的大小(例如，128×96)。CNN应用44可以输出显著性图116。在一些示例中，显著性图116更小(例如，32×24)。为了便于说明，图10B被示为显著性图116与图像114大小相同。

如图所示，在图10A中，在图像114中，前景中有花，背景中有湖和山。图像114中的花比图像114中的其他区域更容易吸引观看者的目光。在图10B中，显著性图116包括具有0到255的值的样本。例如，显著性图116可以被认为是亮度图，其中暗样本(例如，具有接近0的值的样本)表示图像114中吸引观看者目光概率较低的区域，而亮样本(例如，具有接近255的值的样本)表示图像114中吸引观看者目光概率较高的区域。从显著性图116中可以看出，显著性图116中的亮样本聚集在图像114中包括花的区域周围。

图10C和图10D示出了用于基于显著性图更新测光图的示例。例如，图10D示出了中心偏移的测光图118，使得曝光偏向图像114的中心区域。测光图118可以被认为是亮度图，其中测光图118中的亮样本(例如，值接近255)是对于适当曝光具有较高测光权重的地方，测光图118中的暗样本(例如，值接近0)是测光图具有较小权重的地方。在一个或多个示例中，自动曝光应用38可以基于显著性图116的显著性值来确定缩放权重，诸如使用图3的线50(或者可能在查找表中)。自动曝光应用38可以将缩放权重与测光图118中的值相乘，以更新测光图118并生成测光图120。如在测光图120中可以看到的，在图像114的与图像114的更显著区域(例如，在图像114中花所在的位置)相对应的区域中，曝光将增加。

图10E示出了控制自动聚焦的示例。作为一个示例，自动聚焦应用40可以基于显著性图116来确定图像114中具有比图像114的一个或多个其他区域相对更高的显著性的区域。例如，图10E示出了显著性相对高于其他区域的区域122。在一些示例中，自动聚焦应用40可以确定显著性图116的区域中的样本的合计值在哪里大于或等于阈值。例如，在图10E的示例中，区域122中的显著性图116的合计值大约是显著性图116的总合计值的50％。在一个或多个示例中，自动聚焦应用40可以调整镜头34以聚焦在图像114中对应于显著性图116中的区域122的区域上。可以看出，自动聚焦将聚焦在图像114中的花上。

图11是示出利用多个显著性图进行自动聚焦的示例的流程图。在图11的示例中，第一图像130可以是作为预览或录制的一部分捕获的图像的示例。一个或多个处理器可以生成第一图像130的显著性图132。显著性图132是图2的显著性图46的示例。

图像134是显示具有不同相对深度的区域的概念性图像。例如，图像134中较暗颜色的像素代表更靠前的对象的像素。如图所示，栅栏在花盆前面，因此像素较暗。

图像136是对图像130的前景中的对象的像素进行修补的结果。例如，在图像136中，栅栏被修补。图像136是从第一图像130生成的附加图像的示例。一个或多个处理器可以生成附加显著性图138。附加显著性图138是一个或多个附加显著性图47的示例。

一个或多个处理器可以确定显著性图132和显著性图138是否基本相同。在图11的示例中，一个或多个处理器可以确定显著性图132和显著性图138基本相同。因此，一个或多个处理器可以确认前景中的对象的像素确实不显著。例如，因为栅栏在前景中，并且在栅栏被修补(例如，操纵)之后，显著性图132和显著性图138保持不变；因此，栅栏可能不被认为是显著的。如果栅栏是显著的，则显著性图132和显著性图138将是不同的。在该示例中，一个或多个处理器可以根据显著性图132或显著性图138中的显著区域将自动聚焦设置确定为更远离栅栏。

图12是示出利用多个显著性图进行自动聚焦的附加示例的流程图。在图12的示例中，第一图像140可以是作为预览或录制的一部分捕获的图像的示例。一个或多个处理器可以生成第一图像140的显著性图142。显著性图142是图2的显著性图46的示例。

图像144是显示具有不同相对深度的区域的概念性图像。例如，图像144中较暗颜色的像素表示更靠前的对象的像素。如图所示，泰迪熊在栅栏前面，因此像素较暗。栅栏在墙的前面，因此像素比墙暗，但比泰迪熊亮。

图像146是对图像140的前景中的对象的像素进行修补的结果。例如，在图像146中，泰迪熊被修补。图像146是从第一图像140生成的附加图像的示例。一个或多个处理器可以生成附加显著性图148。附加显著性图148是一个或多个附加显著性图47的示例。

一个或多个处理器可以确定显著性图142和显著性图148是否基本相同。在图12的示例中，一个或多个处理器可以确定显著性图142和显著性图148并非基本相同。因此，一个或多个处理器可以确认前景中存在显著的部分。例如，如果显著性图142和显著性图148相同，则前景中的对象的像素可能不那么显著。然而，因为显著性图142和显著性图148不同，所以前景中的对象(例如，被修补的)可能是显著的。因此，一个或多个处理器可以基于来自显著性图142的显著区域的深度来确定自动聚焦设置，并且将自动聚焦调整到前景区域。

下文描述了根据本公开的一个或多个示例技术。

条款1A.一种用于捕获或图像处理的设备，所述设备包括：存储器；以及耦接到所述存储器的一个或多个处理器，所述处理器被配置成：在预览模式下或为了录制接收图像；在所述预览模式或所述录制期间实时生成显著性图，所述显著性图指示所述图像内的不同区域在吸引观看者目光方面的相对显著性；以及基于所述显著性图处理所述图像。

条款2A.根据条款1B所述的设备，其中所述显著性图指示所述图像内的所述不同区域吸引观看者目光的概率，并且其中所述概率指示所述相对显著性。

条款3A.根据条款1A和2A中任一项所述的设备，其中生成所述显著性图包括利用存储在所述存储器中的由一个或多个机器学习模型生成的权重来处理来自所述图像的样本值，以区分所述图像中吸引观看者目光概率较低的区域与所述图像中吸引观看者目光概率较高的区域。

条款4A.根据条款3A所述的设备，其中由所述一个或多个机器学习模型生成的所述权重是从多个训练图像上的显著性点生成的，所述显著性点是基于观看所述训练图像的一个或多个观看者的眼动追踪来标识的。

条款5A.根据条款1A-4A中任一项所述的设备，其中处理所述图像包括调整被配置成捕获所述图像的所述设备的白平衡、调整被配置成捕获所述图像的所述设备的聚焦、或者调整被配置成捕获所述图像的所述设备的曝光中的一个或多个。

条款6A.根据条款1A-5A中任一项所述的设备，其中处理所述图像包括确定用于编码所述图像的量化级别、缩放或裁剪所述图像、或者增加在与其他区域相比具有相对较高显著性的区域上执行的处理量中的一个或多个。

条款7A.根据条款1A-6A中任一项所述的设备，其中所述一个或多个处理器被配置成：确定所述图像中的感兴趣区域，并且其中生成所述显著性图包括确定所述确定的感兴趣区域内的显著性图。

条款8A.根据条款1A-7A中任一项所述的设备，其中所述一个或多个处理器被配置成基于所述显著性图来缩放用于自动曝光的测光图，以生成更新的测光图，其中处理所述图像包括基于所述更新的测光图调整所述图像的曝光。

条款9A.根据条款1A-8A中任一项所述的设备，其中所述一个或多个处理器被配置成基于所述显著性图来确定所述图像中具有比所述图像的一个或多个其他区域相对更高的显著性的区域，其中处理所述图像包括基于所述确定的区域调整聚焦。

条款10A.根据条款1A-9A中任一项所述的设备，其中生成所述显著性图包括：缩小所述图像以生成N×M大小的缩小图像；以及基于所述缩小图像生成所述显著性图，其中所述显著性图的大小是X×Y，并且其中X小于N或Y小于M至少满足其一。

条款11A.根据条款1A-10A中任一项所述的设备，其中所述设备是数字相机、数字视频摄录机、配备相机的无线通信设备手机中的一个或多个。

条款12A.一种用于捕获或图像处理的方法，所述方法包括：利用一个或多个处理器在预览模式下或为了录制接收图像；利用所述一个或多个处理器，在所述预览模式或所述录制期间实时生成显著性图，所述显著性图指示所述图像内的不同区域在吸引观看者目光方面的相对显著性；以及利用所述一个或多个处理器基于所述显著性图处理所述图像。

条款13A.根据条款12A所述的方法，其中所述显著性图指示所述图像内的所述不同区域吸引观看者目光的概率，并且其中所述概率指示所述相对显著性。

条款14A.根据条款12A和13A中任一项所述的方法，其中生成所述显著性图包括利用存储在存储器中的由一个或多个机器学习模型生成的权重来处理来自所述图像的样本值，以区分所述图像中吸引观看者目光概率较低的区域与所述图像中吸引观看者目光概率较高的区域。

条款15A.根据条款14A所述的方法，其中由所述一个或多个机器学习模型生成的所述权重是从多个训练图像上的显著性点生成的，所述显著性点是基于观看所述训练图像的一个或多个观看者的眼动追踪来标识的。

条款16A.根据条款12A-15A中任一项所述的方法，其中处理所述图像包括调整被配置成捕获所述图像的设备的白平衡、调整被配置成捕获所述图像的所述设备的聚焦、或者调整被配置成捕获所述图像的所述设备的曝光中的一个或多个。

条款17A.根据条款12A-16A中任一项所述的方法，其中处理所述图像包括确定用于编码所述图像的量化级别、缩放或裁剪所述图像、或者增加在与其他区域相比具有相对较高显著性的区域上执行的处理量中的一个或多个。

条款18A.根据条款12A-17A中任一项所述的方法，还包括：确定所述图像中的感兴趣区域，并且其中生成所述显著性图包括确定所述确定的感兴趣区域内的显著性图。

条款19A.根据条款12A-18A中任一项所述的方法，还包括：基于所述显著性图来缩放用于自动曝光的测光图，以生成更新的测光图，其中处理所述图像包括基于所述更新的测光图调整所述图像的曝光。

条款20A.根据条款12A-19A中任一项所述的方法，还包括：基于所述显著性图来确定所述图像中具有比所述图像的一个或多个其他区域相对更高的显著性的区域，其中处理所述图像包括基于所述确定的区域调整聚焦。

条款21A.根据条款12A-20A中任一项所述的方法，其中生成所述显著性图包括：缩小所述图像以生成N×M大小的缩小图像；以及基于所述缩小图像生成所述显著性图，其中所述显著性图的大小是X×Y，并且其中X小于N或Y小于M至少满足其一。

条款22A.根据条款12A-21A中任一项所述的方法，其中所述一个或多个处理器属于包括数字相机、数字视频摄录机、配备相机的无线通信设备手机中的一个或多个的设备。

条款23A.一种其上存储有指令的计算机可读存储介质，所述指令在被执行时使得一个或多个处理器：在预览模式下或为了录制接收图像；在所述预览模式或所述录制期间实时生成显著性图，所述显著性图指示所述图像内的不同区域在吸引观看者目光方面的相对显著性；以及基于所述显著性图处理所述图像。

条款24A.根据条款23A所述的计算机可读存储介质，其中所述显著性图指示所述图像内的所述不同区域吸引观看者目光的概率，并且其中所述概率指示所述相对显著性。

条款25A.根据条款23A和24A中任一项所述的计算机可读存储介质，其中使得所述一个或多个处理器生成所述显著性图的所述指令包括使得所述一个或多个处理器利用由一个或多个机器学习模型生成的权重来处理来自所述图像的样本值以区分所述图像中吸引观看者目光概率较低的区域与所述图像中吸引观看者目光概率较高的区域的指令。

条款26A.根据条款23A-25A中任一项所述的计算机可读存储介质，其中使得所述一个或多个处理器处理所述图像的所述指令包括使得所述一个或多个处理器调整被配置成捕获所述图像的所述设备的白平衡、调整被配置成捕获所述图像的所述设备的聚焦、或者调整被配置成捕获所述图像的所述设备的曝光中的一个或多个的指令。

条款27A.根据条款23A-26A中任一项所述的计算机可读存储介质，其中使得所述一个或多个处理器处理所述图像的所述指令包括使得所述一个或多个处理器确定用于编码所述图像的量化级别、缩放或裁剪所述图像、或者增加在与其他区域相比具有相对较高显著性的区域上执行的处理量中的一个或多个的指令。

条款28A.一种用于捕获或图像处理的设备，所述设备包括：用于在预览模式下或为了录制接收图像的部件；用于在所述预览模式或所述录制期间实时生成显著性图的部件，所述显著性图指示所述图像内的不同区域在吸引观看者目光方面的相对显著性；以及用于基于所述显著性图处理所述图像的部件。

条款29A.根据条款28A所述的设备，其中所述显著性图指示所述图像内的所述不同区域吸引观看者目光的概率，并且其中所述概率指示所述相对显著性。

条款30A.根据条款28A和29A中任一项所述的设备，其中用于生成所述显著性图的所述部件包括用于利用存储在存储器中的由一个或多个机器学习模型生成的权重来处理来自所述图像的样本值，以区分所述图像中吸引观看者目光概率较低的区域与所述图像中吸引观看者目光概率较高的区域的部件。

条款1B.一种用于图像捕获的设备，所述设备包括存储器；以及耦接到所述存储器的一个或多个处理器，所述处理器被配置成：在预览模式或录制期间，接收第一图像；生成指示所述第一图像内不同区域的相对显著性的第一显著性图，其中所述不同区域的所述相对显著性指示吸引观看者目光的可能性；基于操纵所述第一图像中的像素来生成一个或多个附加图像；生成指示所述一个或多个附加图像内不同区域的相对显著性的一个或多个附加显著性图；以及在所述预览模式或所述录制期间，基于所述第一显著性图和所述一个或多个附加显著性图来确定相机设置。

条款2B.根据条款1B所述的设备，其中所述第一图像是相机的镜头处于第一镜头位置时生成的，并且其中确定所述相机设置包括确定定义所述镜头的第二镜头位置的自动聚焦设置。

条款3B.根据条款2B所述的设备，其中所述一个或多个处理器被配置成确定所述第二镜头位置和所述第一镜头位置是相同的；以及避免调整所述镜头的镜头位置。

条款4B.根据条款2B所述的设备，其中所述一个或多个处理器被配置成确定所述第二镜头位置和所述第一镜头位置不同；以及将所述镜头的镜头位置调整到所述第二镜头位置。

条款5B.根据条款1B-4B中任一项所述的设备，其中基于操纵所述第一图像中的像素生成所述一个或多个附加图像包括基于所述第一图像中的图像内容的深度生成所述一个或多个附加图像。

条款6B.根据条款1B-5B中任一项所述的设备，其中生成所述一个或多个附加图像包括基于操纵所述第一图像的前景中的对象的像素来生成所述一个或多个附加图像。

条款7B.根据条款1B-6B中任一项所述的设备，其中基于所述第一显著性图和所述一个或多个附加显著性图来确定所述相机设置包括：将所述第一显著性图与所述一个或多个附加显著性图进行比较；以及基于所述比较来确定所述相机设置。

条款8B.根据条款7B所述的设备，其中将所述第一显著性图与所述一个或多个附加显著性图进行比较包括执行互相关、绝对误差和处理或均方误差处理中的一个或多个。

条款9B.根据条款1B-8B中任一项所述的设备，其中基于所述第一显著性图和所述一个或多个附加显著性图来确定所述相机设置包括：将所述第一显著性图与所述一个或多个附加显著性图进行比较；确定所述第一显著性图和所述一个或多个附加显著性图基本相同；以及基于在所述第一显著性图和所述一个或多个附加显著性图中具有相对显著性的区域来确定自动聚焦设置。

条款10B.根据条款1B-8B中任一项所述的设备，其中基于所述第一显著性图和所述一个或多个附加显著性图来确定所述相机设置包括：将所述第一显著性图与所述一个或多个附加显著性图进行比较；确定所述第一显著性图和所述一个或多个附加显著性图并非基本相同；确定所述第一图像中的前景区域；以及基于所述前景区域确定自动聚焦设置。

条款11B.根据条款1B-10B中任一项所述的设备，其中所述一个或多个附加图像包括第一附加图像和第二附加图像，并且其中基于操纵所述第一图像中的像素生成一个或多个附加图像包括：操纵所述第一图像的像素以生成所述第一附加图像；以及操纵所述第一附加图像的像素以生成所述第二附加图像。

条款12B.根据条款1B-11B中任一项所述的设备，其中生成一个或多个附加图像包括：修补所述第一图像以生成所述一个或多个附加图像。

条款13B.根据条款1B-12B中任一项所述的设备，其中生成所述显著性图包括：缩小所述图像以生成N×M大小的缩小图像；以及基于所述缩小图像生成所述显著性图，其中所述显著性图的大小是X×Y，并且其中X小于N或Y小于M至少满足其一。

条款14B.根据条款1B、5B、6B、11B和13B中任一项所述的设备，其中生成所述一个或多个附加图像包括通过改变所述第一图像的色调来模拟所述第一图像上的不同曝光以生成所述一个或多个附加图像，其中生成所述一个或多个附加显著性图包括在通过模拟所述第一图像上的不同曝光而生成的所述一个或多个附加图像内生成所述一个或多个附加显著性图，其中所述一个或多个处理器被配置成基于所述第一显著性图和所述一个或多个附加显著性图来生成多个测光图，并且基于所述多个测光图来确定更新的测光图，并且其中确定所述相机设置包括基于所述更新的测光图来确定自动曝光设置。

条款15B.根据条款1B-14B中任一项所述的设备，其中确定相机设置包括：基于所述第一显著性图和所述一个或多个附加显著性图来确定最显著深度；以及基于所述确定的最显著深度来确定所述相机设置。

条款16B.根据条款1B-15B中任一项所述的设备，其中所述设备是数字相机、数字视频摄录机、配备相机的无线通信设备手机中的一个或多个。

条款17B.一种用于图像捕获的方法，所述方法包括：在预览模式或录制期间，接收第一图像；生成指示所述第一图像内不同区域的相对显著性的第一显著性图，其中所述不同区域的所述相对显著性指示吸引观看者目光的可能性；基于操纵所述第一图像中的像素来生成一个或多个附加图像；生成指示所述一个或多个附加图像内不同区域的相对显著性的一个或多个附加显著性图；以及在所述预览模式或所述录制期间，基于所述第一显著性图和所述一个或多个附加显著性图来确定相机设置。

条款18B.根据条款17B所述的方法，其中所述第一图像是相机的镜头处于第一镜头位置时生成的，并且其中确定所述相机设置包括确定定义所述镜头的第二镜头位置的自动聚焦设置。

条款19B.根据条款18B所述的方法，还包括：确定所述第二镜头位置和所述第一镜头位置是相同的；以及避免调整所述镜头的镜头位置。

条款20B.根据条款18B所述的方法，还包括：确定所述第二镜头位置和所述第一镜头位置不同；以及将所述镜头的镜头位置调整到所述第二镜头位置。

条款21B.根据条款17B-20B中任一项所述的方法，其中基于操纵所述第一图像中的像素生成所述一个或多个附加图像包括基于所述第一图像中的图像内容的深度生成所述一个或多个附加图像。

条款22B.根据条款17B-21B中任一项所述的方法，其中生成所述一个或多个附加图像包括基于操纵所述第一图像的前景中的对象的像素来生成所述一个或多个附加图像。

条款23B.根据条款17B-22B中任一项所述的方法，其中基于所述第一显著性图和所述一个或多个附加显著性图来确定所述相机设置包括：将所述第一显著性图与所述一个或多个附加显著性图进行比较；以及基于所述比较来确定所述相机设置。

条款24B.根据条款23B所述的方法，其中将所述第一显著性图与所述一个或多个附加显著性图进行比较包括执行互相关、绝对误差和处理或均方误差处理中的一个或多个。

条款25B.根据条款17B-24B中任一项所述的方法，其中基于所述第一显著性图和所述一个或多个附加显著性图来确定所述相机设置包括：将所述第一显著性图与所述一个或多个附加显著性图进行比较；确定所述第一显著性图和所述一个或多个附加显著性图基本相同；以及基于在所述第一显著性图和所述一个或多个附加显著性图中具有相对显著性的区域来确定自动聚焦设置。

条款26B.根据条款17B-24B中任一项所述的方法，其中基于所述第一显著性图和所述一个或多个附加显著性图来确定所述相机设置包括：将所述第一显著性图与所述一个或多个附加显著性图进行比较；确定所述第一显著性图和所述一个或多个附加显著性图并非基本相同；确定所述第一图像中的前景区域；以及基于所述前景区域确定自动聚焦设置。

条款27B.根据条款17B、21B和22B中任一项所述的方法，其中生成所述一个或多个附加图像包括通过改变所述第一图像的色调来模拟所述第一图像上的不同曝光以生成所述一个或多个附加图像，其中生成一所述个或多个附加显著性图包括在通过模拟所述第一图像上的不同曝光而生成的所述一个或多个附加图像内生成所述一个或多个附加显著性图，所述方法还包括基于所述第一显著性图和所述一个或多个附加显著性图生成多个测光图，以及基于所述多个测光图确定更新的测光图，其中确定所述相机设置包括基于所述更新的测光图确定自动曝光设置。

条款28B.根据条款17B-27B中任一项所述的方法，其中生成一个或多个附加图像包括：修补所述第一图像以生成所述一个或多个附加图像。

条款29B.根据条款17B-28B中任一项所述的方法，其中确定相机设置包括：基于所述第一显著性图和所述一个或多个附加显著性图来确定最显著深度；以及基于所述确定的最显著深度来确定所述相机设置。

条款30B.一种其上存储有指令的计算机可读存储介质，当执行所述指令时，使得一个或多个处理器：在预览模式或录制期间，接收第一图像；生成指示所述第一图像内不同区域的相对显著性的第一显著性图，其中所述不同区域的所述相对显著性指示吸引观看者目光的可能性；基于操纵所述第一图像中的像素来生成一个或多个附加图像；生成指示所述一个或多个附加图像内不同区域的相对显著性的一个或多个附加显著性图；以及在所述预览模式或所述录制期间，基于所述第一显著性图和所述一个或多个附加显著性图来确定相机设置。

条款31B.一种其上存储有指令的计算机可读存储介质，当执行所述指令时，使得一个或多个处理器执行条款17B-29B中任一项所述的方法。

条款32B.一种用于图像捕获的设备，所述设备包括：用于在预览模式或录制期间，接收第一图像的部件；用于生成指示所述第一图像内不同区域的相对显著性的第一显著性图的部件，其中所述不同区域的所述相对显著性指示吸引观看者目光的可能性；用于基于操纵所述第一图像中的像素来生成一个或多个附加图像的部件；用于生成指示所述一个或多个附加图像内不同区域的相对显著性的一个或多个附加显著性图的部件；以及用于在所述预览模式或所述录制期间，基于所述第一显著性图和所述一个或多个附加显著性图来确定相机设置的部件。

条款33B.根据条款32B所述的设备，还包括用于执行条款17B-29B中任一项所述的方法的部件。

在一个或多个示例中，所描述的功能可以用硬件、软件、固件或其任意组合来实现。如果以软件实现，这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或在其上传输，并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质的有形介质。这样，计算机可读介质通常可以对应于非暂时性的有形计算机可读存储介质。数据存储介质可以是能够被一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。

作为示例而非限制，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、闪存或可以用于存储指令或数据结构形式的所需程序代码并且可以由计算机访问的任何其他介质。应当理解，计算机可读存储介质和数据存储介质不包括载波、信号或其他瞬态介质，而是指非瞬态的有形存储介质。这里使用的磁盘和光盘包括致密光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地再现数据，而光盘用激光光学地再现数据。上述的组合也应该包括在计算机可读介质的范围内。

指令可以由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或分立逻辑电路。因此，本文使用的术语“处理器”可以指任何前述结构或者适合于实现本文描述的技术的任何其他结构。此外，在一些方面，本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块中提供，或者被结合在组合的编解码器中。这些技术也可以完全在一个或多个电路或逻辑元件中实现。

本公开的技术可以在多种设备或装置中实现，包括无线手机、集成电路(IC)或一组IC(例如，芯片组)。在本公开中描述了各种组件、模块或单元，以强调被配置成执行所公开的技术的设备的功能方面，但是不一定需要由不同的硬件单元来实现。相反，如上所述，各种单元可以结合适当的软件和/或固件被组合在编解码器硬件单元中，或者由互操作硬件单元的集合来提供，包括如上所述的一个或多个处理器。

已经描述了各种示例。这些和其他示例在以下权利要求的范围内。

Claims (30)

1.一种用于图像捕获的设备，所述设备包括：

存储器；以及

耦接到所述存储器的一个或多个处理器，所述处理器被配置成：

在预览模式或录制期间，接收第一图像；

生成指示所述第一图像内不同区域的相对显著性的第一显著性图，其中所述不同区域的所述相对显著性指示吸引观看者目光的可能性；

基于操纵所述第一图像中的像素来生成一个或多个附加图像；

生成指示所述一个或多个附加图像内不同区域的相对显著性的一个或多个附加显著性图；以及

在所述预览模式或所述录制期间，基于所述第一显著性图和所述一个或多个附加显著性图来确定相机设置。

2.根据权利要求1所述的设备，其中所述第一图像是相机的镜头处于第一镜头位置时生成的，并且其中确定所述相机设置包括确定定义所述镜头的第二镜头位置的自动聚焦设置。

3.根据权利要求2所述的设备，其中所述一个或多个处理器被配置成：

确定所述第二镜头位置和所述第一镜头位置相同；以及

避免调整所述镜头的镜头位置。

4.根据权利要求2所述的设备，其中所述一个或多个处理器被配置成：

确定所述第二镜头位置和所述第一镜头位置不同；以及

将所述镜头的镜头位置调整到所述第二镜头位置。

5.根据权利要求1所述的设备，其中基于操纵所述第一图像中的像素生成所述一个或多个附加图像包括：基于所述第一图像中的图像内容的深度生成所述一个或多个附加图像。

6.根据权利要求1所述的设备，其中生成所述一个或多个附加图像包括：基于操纵所述第一图像的前景中的对象的像素来生成所述一个或多个附加图像。

7.根据权利要求1所述的设备，其中基于所述第一显著性图和所述一个或多个附加显著性图来确定所述相机设置包括：

将所述第一显著性图与所述一个或多个附加显著性图进行比较；以及

基于所述比较来确定所述相机设置。

8.根据权利要求7所述的设备，其中将所述第一显著性图与所述一个或多个附加显著性图进行比较包括：执行互相关、绝对误差和处理或均方误差处理中的一个或多个。

9.根据权利要求1所述的设备，其中基于所述第一显著性图和所述一个或多个附加显著性图来确定所述相机设置包括：

将所述第一显著性图与所述一个或多个附加显著性图进行比较；

确定所述第一显著性图和所述一个或多个附加显著性图基本相同；以及

基于在所述第一显著性图和所述一个或多个附加显著性图中具有相对显著性的区域，来确定自动聚焦设置。

10.根据权利要求1所述的设备，其中基于所述第一显著性图和所述一个或多个附加显著性图来确定所述相机设置包括：

将所述第一显著性图与所述一个或多个附加显著性图进行比较；

确定所述第一显著性图和所述一个或多个附加显著性图并非基本相同；

确定所述第一图像中的前景区域；以及

基于所述前景区域确定自动聚焦设置。

11.根据权利要求1所述的设备，其中所述一个或多个附加图像包括第一附加图像和第二附加图像，并且其中基于操纵所述第一图像中的像素生成一个或多个附加图像包括：

操纵所述第一图像的像素以生成所述第一附加图像；以及

操纵所述第一附加图像的像素以生成所述第二附加图像。

12.根据权利要求1所述的设备，其中生成所述一个或多个附加图像包括：修补所述第一图像以生成所述一个或多个附加图像。

13.根据权利要求1所述的设备，其中生成所述显著性图包括：

缩小所述图像以生成N×M大小的缩小图像；以及

基于所述缩小图像生成所述显著性图，

其中所述显著性图的大小是X×Y，并且

其中X小于N或Y小于M至少满足其一。

14.根据权利要求1所述的设备，

其中生成所述一个或多个附加图像包括：通过改变所述第一图像的色调来模拟所述第一图像上的不同曝光，以生成所述一个或多个附加图像，

其中生成所述一个或多个附加显著性图包括：在通过模拟所述第一图像上的不同曝光而生成的所述一个或多个附加图像内生成所述一个或多个附加显著性图，

其中所述一个或多个处理器被配置成基于所述第一显著性图和所述一个或多个附加显著性图来生成多个测光图，并且基于所述多个测光图来确定更新的测光图，并且

其中确定所述相机设置包括：基于所述更新的测光图来确定自动曝光设置。

15.根据权利要求1所述的设备，其中确定所述相机设置包括：

基于所述第一显著性图和所述一个或多个附加显著性图来确定最显著深度；以及

基于所述确定的最显著深度来确定所述相机设置。

16.根据权利要求1所述的设备，其中所述设备是数字相机、数字视频摄录机、或配备相机的无线通信设备手机中的一个或多个。

17.一种用于图像捕获的方法，所述方法包括：

在预览模式或录制期间，接收第一图像；

生成指示所述第一图像内不同区域的相对显著性的第一显著性图，其中所述不同区域的所述相对显著性指示吸引观看者目光的可能性；

基于操纵所述第一图像中的像素来生成一个或多个附加图像；

生成指示所述一个或多个附加图像内不同区域的相对显著性的一个或多个附加显著性图；以及

在所述预览模式或所述录制期间，基于所述第一显著性图和所述一个或多个附加显著性图来确定相机设置。

18.根据权利要求17所述的方法，其中所述第一图像是相机的镜头处于第一镜头位置时生成的，并且其中确定所述相机设置包括确定定义所述镜头的第二镜头位置的自动聚焦设置。

19.根据权利要求18所述的方法，还包括：

确定所述第二镜头位置和所述第一镜头位置相同；以及

避免调整所述镜头的镜头位置。

20.根据权利要求18所述的方法，还包括：

确定所述第二镜头位置和所述第一镜头位置不同；以及

将所述镜头的镜头位置调整到所述第二镜头位置。

21.根据权利要求17所述的方法，其中基于操纵所述第一图像中的像素生成所述一个或多个附加图像包括：基于所述第一图像中的图像内容的深度生成所述一个或多个附加图像。

22.根据权利要求17所述的方法，其中生成所述一个或多个附加图像包括：基于操纵所述第一图像的前景中的对象的像素来生成所述一个或多个附加图像。

23.根据权利要求17所述的方法，其中基于所述第一显著性图和所述一个或多个附加显著性图来确定所述相机设置包括：

将所述第一显著性图与所述一个或多个附加显著性图进行比较；以及

基于所述比较来确定所述相机设置。

24.根据权利要求23所述的方法，其中将所述第一显著性图与所述一个或多个附加显著性图进行比较包括：执行互相关、绝对误差和处理或均方误差处理中的一个或多个。

25.根据权利要求17所述的方法，其中基于所述第一显著性图和所述一个或多个附加显著性图来确定所述相机设置包括：

将所述第一显著性图与所述一个或多个附加显著性图进行比较；

确定所述第一显著性图和所述一个或多个附加显著性图基本相同；以及

基于在所述第一显著性图和所述一个或多个附加显著性图中具有相对显著性的区域，来确定自动聚焦设置。

26.根据权利要求17所述的方法，其中基于所述第一显著性图和所述一个或多个附加显著性图来确定所述相机设置包括：

将所述第一显著性图与所述一个或多个附加显著性图进行比较；

确定所述第一显著性图和所述一个或多个附加显著性图并非基本相同；

确定所述第一图像中的前景区域；以及

基于所述前景区域确定自动聚焦设置。

27.根据权利要求17所述的方法，

其中生成所述一个或多个附加图像包括通过改变所述第一图像的色调来模拟所述第一图像上的不同曝光，以生成所述一个或多个附加图像，

其中生成所述一个或多个附加显著性图包括在通过模拟所述第一图像上的不同曝光而生成的所述一个或多个附加图像内生成所述一个或多个附加显著性图，

所述方法还包括基于所述第一显著性图和所述一个或多个附加显著性图生成多个测光图，以及基于所述多个测光图确定更新的测光图，

其中确定所述相机设置包括基于所述更新的测光图确定自动曝光设置。

28.根据权利要求17所述的方法，其中生成一个或多个附加图像包括：修补所述第一图像以生成所述一个或多个附加图像。

29.根据权利要求17所述的方法，其中确定所述相机设置包括：

基于所述第一显著性图和所述一个或多个附加显著性图，来确定最显著深度；以及

基于所述确定的最显著深度，来确定所述相机设置。

30.一种其上存储有指令的计算机可读存储介质，所述指令当执行时，使得一个或多个处理器：

在预览模式或录制期间，接收第一图像；

生成指示所述第一图像内不同区域的相对显著性的第一显著性图，其中所述不同区域的所述相对显著性指示吸引观看者目光的可能性；

基于操纵所述第一图像中的像素来生成一个或多个附加图像；

生成指示所述一个或多个附加图像内不同区域的相对显著性的一个或多个附加显著性图；以及

在所述预览模式或所述录制期间，基于所述第一显著性图和所述一个或多个附加显著性图来确定相机设置。

Images