CN117751581A - 用于相机系统的自动白平衡(awb) - Google Patents

Abstract

本文档描述了用于相机系统的自动白平衡的技术和装置。这些技术和装置利用前体图像来检测一个或多个检测到的脸部并确定色调。相机系统基于被确定为包含与检测到的脸部相同的脸部的一组图像来取得色调数据。基于该色调数据，基于前体图像内的检测到的脸部的色调与相关联的色调数据的差异来确定白平衡的差异。基于白平衡的差异来调整相机设置，以使得能够捕获具有改进的色调的图像。

Description

用于相机系统的自动白平衡(AWB)

背景技术

相机系统通常具有可用于调整图像或视频的特性(例如，颜色、清晰度、放大率)的许多特征。一个这样的特征包括白平衡(WB)，其是调整如何在图像中渲染颜色的相机设置。WB通常用于使显现白色的对象在图像中被渲染为白色。为了辅助用户，许多相机包括自动白平衡特征(AWB)，其根据颜色校正算法来自动调整WB。然而，常规相机系统可能无法实现期望的准确度，特别是在图像的最重要的部分(诸如脸部)中。此外，当图像的多个部分被识别为重要时附加挑战出现。结果，图像可能特别是在图像的重要部分处出现WB问题。

发明内容

本文档描述了用于相机系统的自动白平衡的技术和装置。这些技术和装置利用前体图像(precursor image)来检测一个或多个检测到的脸部并确定色调。相机系统基于被确定为包含与检测到的脸部相同的脸部的一组图像来取得色调数据。基于该色调数据，基于前体图像内的检测到的脸部的色调与相关联的色调数据的差异来确定白平衡的差异。基于白平衡的差异来调整相机设置，以使得能够捕获具有改进的色调的图像。可以改进白平衡调整和图像色调，特别是在图像的最重要的部分(诸如脸部)中。

此外，可以在前体图像内并且通过所公开的步骤检测附加脸部，附加脸部用于确定可以使得能够捕获具有改进的色调的图像的调整。可以基于优先级值对这些调整进行加权，以确定将改进图像的最重要部分的调整。可替选地，可以使用对相机设置的单独调整来捕获多个图像。这些图像可以被提供给图像融合模块，其合并每个图像的部分以创建具有改进的色调的单个图像。

提供本发明内容以介绍用于相机系统的AWB的技术和装置的简化概念，其概念下面在具体实施方式和附图中进一步描述。本发明内容不旨在标识所要求保护的主题的基本特征，其也不旨在用于确定所要求保护的主题的范围。

附图说明

下面描述用于相机系统的AWB的一个或多个方面的细节。在说明书和附图中的不同实例中使用相同的附图标记指示类似的元件：

图1示出了用于相机系统的AWB的示例操作环境；

图2示出了结合频现脸部模块工作的AWB模块的示例实现；

图3示出了图1的示例操作环境的详细示例；

图4示出了在用于相机系统的AWB的场境内捕获前体图像的示例实现；

图5示出了检测图4的前体图像内的脸部的示例实现；

图6示出了由色调确定模块进行的色调确定的示例实现；

图7示出了被确定为包含与图5的检测到的第一脸部相同的脸部的匹配图像集合的示例；

图8示出了被确定为包含与图5的检测到的附加脸部相同的脸部的匹配图像集合的示例；

图9示出了根据图7的匹配图像组确定色调的示例实现；

图10示出了来自图7的匹配图像组的色调数据的示例；

图11示出了被确定为包含与图5的检测到的第一脸部相同的脸部的另一匹配图像集合的示例；

图12示出了来自图11的匹配图像组的色调数据的示例；

图13示出了用于电子设备内的相机系统的AWB的示例实现；

图14示出了用于电子设备内的相机系统的AWB的另一示例实现；

图15示出了用于图14的AWB的示例实现的图像融合模块的示例实现；

图16示出了用于相机系统的AWB的示例方法；

图17示出了用于相机系统的AWB的另一示例方法；以及

图18示出了用于相机系统的AWB的另一示例方法。

具体实施方式

概述

本文档描述了用于相机系统的AWB的技术和装置。这些技术利用场景的前体图像来检测人脸。然后确定检测到的脸部的色调并将其与和检测到的脸部相关联的色调数据进行比较。色调数据是根据在先前环境条件(ambient condition)下捕获的被确定为包含与检测到的脸部相同的脸部的先前捕获的图像的集合来确定的。色调数据可以描述先前捕获的图像、先前捕获的图像的组或先前捕获的图像的部分。通过将色调数据与检测到的脸部的色调进行比较，AWB的差异被确定并用于调整相机设置，例如当与在没有经调整的相机设置的情况下捕获的等同图像相比时，该相机设置使得能够利用改进的色调来捕获图像。与检测到的脸部的色调相比，改进的色调可以更紧密地匹配第一色调数据。色调的改进可以特别地对应于图像的最重要的部分，诸如脸部。

可以在前体图像内检测附加脸部，并且通过上述技术利用附加脸部来确定AWB的附加差异。可以通过加权和、过滤或任何其他计算方法来组合AWB的差异，以调整相机设置，该相机设置使得能够利用改进的色调来捕获图像。可替选地，可以使用对相机设置的单独调整来捕获多个图像并将其提供给图像融合模块。图像融合模块合并每个图像的部分以创建具有改进的色调的单个图像。

虽然所描述的用于相机系统的AWB的技术和装置的特征和概念可以在任何数量的不同环境中实现，但是在以下示例的场境(context)中描述了各方面。

示例系统

图1示出了用于电子设备102的相机系统104的AWB的示例操作环境100。电子设备102包括相机系统104。在示例操作环境100中，相机系统104包括利用致动器108和显示器110的相机应用106。相机系统104还包括自动白平衡(AWB)模块112，其被配置为通过使用色调确定模块114来确定图像的一部分内的色调并且通过利用白平衡控制器116来控制成像传感器，诸如RGB传感器。

相机系统104还合并了频现(frequent)脸部(FF)模块118，其结合AWB模块112操作。频现脸部模块118包括脸部检测器120和色调时间过滤器122，脸部检测器120被配置为检测图像内的脸部，色调时间过滤器122被配置为根据一个或多个图像内的同一脸部的各个色调确定来确定色调数据。色调时间过滤器122可以通过求和、加权求和、过滤或任何其他计算方法来确定时间数据。相机系统104另外包括能够根据同一场景的多个图像创建单个图像的图像融合模块124。

图2示出了彼此结合操作的图1的AWB模块112和FF模块118的示例实现200。在示例实现200中，相机应用106向FF模块118提供图像。所提供的图像可以是场景的前体图像或先前捕获的图像。脸部检测器120检测图像内的脸部。FF模块可以确定与检测到的脸部相关联的值，诸如脸部频率值。脸部频率值在前体图像内检测到至少一个检测到的附加脸部的情况下是尤其有用的。脸部频率值是基于被确定为包含与前体图像内的检测到的脸部相同的人脸的先前图像的数量来确定的。一旦被处理，检测到的脸部和图像就被提供给相机应用106。

相机应用106将这些图像提供给AWB模块112，AWB模块112处理检测到的脸部以及来自图像的数据，并且确定与图像内的检测到的脸部相关联的值，包括色调。使用色调确定模块114来确定色调，然而，AWB模块112可以进一步使用环境数据(ambient data)(例如，光数据和脸部尺寸数据)来确定与图像内的检测到的脸部相关联的置信度值。所确定的值(包括色调)被输出到相机应用106以被保持在相机应用106内、被提供给FF模块118或两者。

如果提供给FF模块118，则FF模块118可以使用色调时间过滤器122将该值处理成色调数据。色调数据包括更准确的色调，其使用与一个或多个图像内的检测到的脸部相关联的色调值来计算。此外，可以通过将与一个或多个图像内的检测到的脸部相关联的色调值和与相同图像内的检测到的脸部相关联的置信度值组合来计算更准确的色调数据。这些值可以通过使用加权和、过滤或任何其他计算方法来组合。此外，色调数据可以包括被确定为包含与检测到的脸部相同的脸部的图像的数量的脸部频率值。

色调数据可以被提供给AWB模块112并且与前体图像内的检测到的脸部的色调进行比较。基于该比较，WB控制器116可以确定前体图像内的检测到的脸部的色调与色调数据之间的WB的差异。另外，WB控制器116可以基于WB的差异来调整相机应用106内的相机设置。

图3示出了图1的操作环境100的详细示例。具体地，通过各种示例示出了电子设备102，其包括：智能电话102-1、平板电脑102-2、膝上型计算机102-3、台式计算机102-4、智能手表102-5、数字眼镜102-6、电子控制器102-7、家庭自动化和控制系统102-8以及微波炉102-9。这些只是其中可以采用用于相机系统的AWB的许多电子设备中的一些，并且还可以包括其他设备，例如电视、娱乐系统、音频系统、汽车、无人机、轨迹板、绘图板、上网本、电子阅读器、家庭安全系统和其他家用电器。注意，电子设备102可以是移动的、可穿戴的、不可穿戴但移动的、或相对固定的(例如，台式机和电器)。

电子设备102进一步包括一个或多个处理器302、计算机可读介质304和一个或多个传感器306。计算机可读介质304包括存储器和存储介质308、应用310、自动白平衡(AWB)模块介质312、频现脸部(FF)模块介质314和图像融合(IM)模块介质316。实现为计算机可读介质304上的计算机可读指令的应用310可以由计算机处理器302执行以提供本文描述的一些或全部功能。例如，应用310可以包括相机应用(例如，相机应用106)、AWB模块(例如，AWB模块112)或FF模块(例如，FF模块118)或与其一起操作，以执行用于相机系统的AWB。此外，一个或多个传感器306可以包括被配置为捕获图像、视频和音频的一个或多个相机320。

图4示出了在相机系统的AWB的场境内捕获场景402的前体图像404的示例实现。电子设备102被示为具有在显示器110上活动的相机应用106。相机应用包括使得能够对相机应用进行控制的致动器108。电子设备102正被用于使用一个或多个传感器来捕获场景402的前体图像404。例如，一个或多个传感器包括相机，其中前体图像404是由相机捕获的数字图像。然而，一个或多个传感器可以是低分辨率RGB传感器，或可用于从场景捕获细节的任何其他传感器，这些细节使得能够检测脸部并确定检测到的脸部的色调。另外，由于不适当的WB，前体图像的一个或多个部分在颜色或清晰度上可能看起来不同于场景。

图5示出了检测前体图像(例如，图4的前体图像404)内的脸部的示例实现。电子设备102被示为具有在显示器110上活动并且呈现前体图像404的相机应用106。使用脸部检测器120，在前体图像404内检测检测到的第一脸部502。可选地，脸部检测器120可以检测检测到的附加脸部，诸如检测到的附加脸部504。

注意，脸部检测器120不需要辨识和跟踪检测到的脸部或与检测到的脸部相关联的身份。替代地，脸部检测器120可以对与检测到的脸部相关联的特征进行分类，以稍后将特征与来自其他图像的特征临时进行匹配。尽管所分类的特征可以用于将检测到的脸部与来自其他图像的脸部进行匹配，但是与检测到的脸部相关联的所分类的特征不需要用于确定与检测到的脸部相关联的身份。相反，所分类的特征可以简单地用于将检测到的脸部与来自其他图像的脸部进行匹配，而无需使用人的实际身份。以此方式，不需要服务器存储设备、脸部识别和脸部辨识，因此保护与由脸部检测器120检测到的脸部相关联的身份。

一旦检测到，检测到的第一脸部502就被提供给色调确定模块114，以确定前体图像404内的检测到的第一脸部502的色调。色调确定模块可以确定前体图像404内的检测到的附加脸部504的附加色调。由于前体图像内的不适当的WB，检测到的第一脸部502可能看起来具有与场景(例如，场景402)内的同一脸部的色调相比不正确或更改的色调。

考虑图6，其示出了使用色调确定模块(例如，色调确定模块114)的色调确定的示例实现。向色调确定模块114提供检测到的脸部602(例如，检测到的脸部602-1、检测到的脸部602-2、检测到的脸部602-3)。色调确定模块114通过将检测到的脸部602与色调集合604内的色调606相关来确定检测到的脸部602的色调。一旦检测到的脸部602已经与来自色调集合604内的色调606相关，色调606就可以被提供给一个或多个模块(例如，AWB模块112和FF模块118)或一个或多个应用(例如，相机应用106)。

色调集合604可以通过预定值、机器学习技术或任何其他计算方法来创建。类似地，可以通过预定的决策集合(例如，决策树)、机器学习等来确定对检测到的脸部602的色调的确定。机器学习的使用可以包括通过使用神经网络进行的有监督或无监督学习，神经网络包括感知器、前馈神经网络、卷积神经网络、径向基函数神经网络或循环神经网络。在示例中，可以通过有监督机器学习来训练机器学习模型。在有监督机器学习示例中，可以给出标识图像内的检测到的脸部的标记的先前图像捕获的集合以构建机器学习模型。可以通过色调值来对这些脸部进行分类，以训练机器学习模型并构建色调集合604。通过这种有监督机器学习，输入到色调确定模块114的检测到的脸部可以接收对色调的更准确的确定。未来的色调确定可以被反馈到模型中并且被标记为正确或不正确的确定以进一步训练模型。色调确定模块114还可以确定检测到的脸部602的色调606不在色调集合604内并且将其添加到色调集合604。

一旦已经检测到检测到的第一脸部(例如，检测到的第一脸部502)并且已经确定色调，就取得一组先前图像702。图7示出了其中在一组先前图像702内检测到与检测到的第一脸部502相同的脸部的示例实现。取得在先前环境条件下捕获的该组先前图像702。可以从包括设备上图像存储和基于云的图像存储的任何图像存储介质中取得先前图像702。在取得该组先前图像702之后，脸部检测器(例如，脸部检测器120)用于确定该组先前图像702中的哪些(如果有的话)包含与检测到的第一脸部502相同的脸部706(例如，相同的脸部706-1、相同的脸部706-2和相同的脸部706-3)以放置到一组匹配的图像704中。将被确定为包含与检测到的第一脸部502相同的脸部706的先前图像708(诸如先前图像708-1、先前图像708-2和先前图像708-3)放置到该组匹配的图像704中。该组匹配的图像704可以被提供给一个或多个模块(例如，AWB模块112和FF模块118)或一个或多个应用(例如，相机应用106)。

图8示出了其中一组匹配的图像802被确定为包含与前体图像(例如，前体图像404)内的检测到的附加脸部504相同的脸部的示例实现。类似于图7，从图像存储介质取得一组先前图像702。在该示例中，该组先前图像702是与图7中相同的一组图像，但是该组可以全部或部分地不同于用于检测到的第一脸部(例如，检测到的第一脸部502)的先前组图像702。再次，脸部检测器(例如，脸部检测器120)用于确定先前图像804包含与检测到的附加脸部504相同的脸部806。因此，先前图像804被放置到一组匹配的图像802中。

在图9中，色调确定模块114用于确定该组匹配的图像(例如，一组匹配的图像704)内的每个相同的脸部706(例如，相同的脸部706-1、相同的脸部706-2、相同的脸部706-3)的色调606。类似于图6的示例实现，色调确定模块114根据色调集合604确定每个相同的脸部706的色调606。例如，使用色调确定模块114，相同的脸部706-1被确定为具有色调606-1。类似地，相同的脸部706-2和相同的脸部706-3被确定为具有相同的色调606-2。与相同的脸部706相关联的这些色调606可以被提供给一个或多个模块(例如，AWB模块112和FF模块118)或一个或多个应用(例如，相机应用106)。

图10示出了其中根据被确定为包含与检测到的脸部(例如，检测到的第一脸部502)相同的脸部706的一组匹配的图像704确定色调数据1002的示例。色调数据1002是与检测到的脸部(例如，检测到的第一脸部502)相关联并且根据一组匹配的图像704确定的数据集合。该组匹配的图像704是被确定为包含与检测到的脸部(例如，检测到的第一脸部502)相同的脸部706的一组先前图像708。在简化示例中，色调数据1002仅由更准确的色调1004组成。通过组合每个相同的脸部706的色调606来确定更准确的色调1004。每个相同的脸部706的色调606可以通过任何计算方法组合，其中最简单的计算方法是对色调的平均以产生更准确的色调值。

色调数据(诸如来自图10的色调数据1002)的更复杂的示例包括脸部频率值1006。通过确定该组匹配的图像704中的先前图像708的数量来计算脸部频率值1006。广泛地讲，脸部频率值906是基于被确定为包含与检测到的人脸(例如，检测到的第一人脸502)相同的人脸706的先前图像708的数量。脸部频率值1006在前体图像内检测到一个或多个检测到的附加脸部(例如，检测到的附加脸部504)的情况下是尤其有用的。在这种情况下，脸部频率值1006可以用于确定检测到的脸部(例如，检测到的第一脸部502和检测到的附加脸部504)中最重要的脸部。

例如，脸部检测器检测前体图像内的检测到的第一脸部和检测到的附加脸部，提示所公开的相机系统确定前体图像内的每个检测到的脸部的色调并确定每个检测到的脸部的一组匹配的图像。使用所公开的技术，该组匹配的图像产生色调数据，包括更准确的色调值和脸部频率值。将前体图像内的每个检测到的脸部的色调与和每个检测到的脸部相关联的色调数据的更准确的色调值进行比较，以确定将最小化检测到的脸部的色调与相关联的更准确的色调之间的差异的相机设置调整。在该示例中，将提供两个相机调整集合，对于前体图像内的每个检测到的脸部各一个。使用脸部频率值，创建优先级值以确定前体图像内的一个或多个最重要的脸部。该优先级值可以用于使用加权和来组合两个相机调整集合。以此方式，具有最高优先级值并且因此被确定为最重要的检测到的脸部将对相机设置调整具有最大影响。

优先级值可以通过不同的方法来计算，诸如仅基于脸部频率值来指派优先级值。可替选地或结合地，前体图像内的检测到的脸部的脸部尺寸可以用于确定优先级值。具体地，具有较大脸部尺寸的检测到的脸部被给予较高优先级值。

图11示出了被确定为包含与检测到的第一脸部502相同的脸部的一组匹配的图像的更复杂的示例。像图7中一样，取得一组先前图像1104并在该组先前图像1104中搜索与检测到的第一脸部502相同的脸部1106(例如，相同的脸部1106-1、相同的脸部1106-2、相同的脸部1106-3)。再次，将被确定为包含与检测到的第一脸部502相同的脸部1106的先前图像1108(例如，先前图像1008-1、先前图像1008-2和先前图像1008-3)收集在一组匹配的图像1102中。与图7不同，该组匹配的图像1102中的先前图像1108包含经受各种环境条件1110的相同的脸部1106，这些环境条件改变图像元素，诸如光照和脸部尺寸。

图12示出了来自图11的该组匹配的图像1102的色调数据1002的示例。类似于图10，色调数据1002是包含与检测到的脸部(例如，检测到的第一脸部502)相关联并且根据该组匹配的图像1102确定的更准确的色调1004的数据集合。色调数据1002还可以包含脸部频率值1006，并且来自该组匹配的图像1102的先前图像1108内的每个相同的脸部1106与色调606相关联，像图10中一样。与图10相反，现在通过置信度值1202和色调606的组合来确定更准确的色调1004。置信度值1202表示对来自每个相同的脸部1106的色调606的确定的确定性。

回想该组匹配的图像1102包含经受各种环境条件1110的相同的脸部1106。使用诸如从环境条件1110收集的脸部尺寸1206和光照1204的数据，可以为每个相同的脸部1106的色调606确定置信度值1202。例如，由于所述光照1204中的色调确定的增加的变化性，其中环境条件1110包括低光条件的先前图像1108可以被给予低置信度值。可替选地或结合地，由于图像的较小部分中的色调确定的增加的变化性，其中环境条件1110包括小脸部尺寸1206的先前图像1108可以被给予低置信度值。

在已经确定每个相同的脸部1106的色调606和相关联的置信度值1202之后，可以为检测到的脸部(例如，检测到的第一脸部502)确定更准确的色调1004。可以通过色调606和置信度值1202的任何组合来确定更准确的色调1004。一种示例组合方法包括加权和，其中每个相同的脸部1106的色调606由相关联的置信度值1202加权并求和。另一示例方法包括过滤，其中仅使用具有最高相关联的置信度值1202的相同的脸部1106的色调606的子集来确定更准确的色调1004。另外，过滤可以与加权和组合使用，使得色调606被过滤并且然后由置信度值1202加权。

图13示出了用于电子设备内的相机系统的AWB的示例实现。一旦针对检测到的脸部(例如，检测到的第一脸部502)已经做出了更准确的色调决策，就将检测到的脸部的色调与更准确的色调值进行比较。通过比较，确定前体图像内的检测到的脸部的色调与针对检测到的脸部确定的更准确的色调之间的WB的差异。基于WB的差异，调整相机设置以使得电子设备102能够捕获具有改进的色调的图像1302。相机设置调整可能需要使得能够捕获具有改进的色调的图像1302的任何调整，诸如更改RGB传感器增益，包括红色、绿色和蓝色传感器增益。然后，相机可以捕获具有改进的色调的图像1302并将其提供给显示器110。

在用于相机系统的AWB的简单示例中，在前体图像内仅检测到一个检测到的脸部。因此，取得一个色调数据，确定WB的一个差异，并且基于WB的一个差异来调整相机设置。然而，更复杂的示例包括前体图像内的一个或多个检测到的附加脸部。在该示例中，取得多个色调数据，确定WB的多个差异，并且基于WB的多个差异来调整相机设置。可以针对前体图像内的检测到的第一脸部和每个检测到的附加脸部确定优先级值。可以基于色调数据、前体图像或两者的组合来确定优先级值。例如，如果与检测到的脸部相关联的色调数据包括较高的脸部频率值，则检测到的脸部可以被给予较高优先级值，这指示检测到的脸部被相机系统频繁地捕获。另外或单独地，如果检测到的脸部在前体图像内具有较大脸部尺寸，则检测到的脸部可以被给予较高优先级值。一旦已经为每个检测到的脸部确定了优先级值，就基于WB的差异和优先级值来调整相机设置。WB的差异和优先级值可以通过包括加权和和过滤的任何计算方法组合。

在特定示例中，在前体图像内检测到检测到的第一脸部以及1到19个检测到的附加脸部。针对每个检测到的脸部取得色调数据，并且基于色调数据来确定AWB的差异。还针对前体图像内的每个检测到的脸部确定优先级值。基于优先级值对多达20个检测到的脸部进行过滤，以创建具有相关联的色调数据和AWB的差异的检测到的脸部的子集。一旦经过滤，就可以基于具有5个最高优先级值的检测到的脸部的子集的加权和来调整相机设置，使得通过优先级值对WB的差异进行加权。应当注意，可以将检测到的脸部和相关联的色调数据过滤成任何期望的子集，并且仅为了说明组合多个检测到的脸部的WB的差异的特定方法而给出所提供的示例。

图14示出了用于电子设备102内的相机系统的AWB的另一示例实现，其中利用不同相机设置调整来捕获多个图像(例如，第一图像1402和附加图像1404)。在一方面，在前体图像内检测检测到的第一脸部502和检测到的附加脸部504。针对每个检测到的脸部取得色调数据，并将其用于确定与检测到的第一脸部502相关联的WB的差异和与检测到的附加脸部504相关联的WB的差异。基于与检测到的第一脸部502相关联的WB的差异来调整相机设置，其在在检测到的第一脸部502中的改进的色调的情况下捕获第一图像1402。然后，基于与检测到的附加脸部504相关联的WB的差异来调整相机设置，并且在检测到的附加脸部504中的改进的色调的情况下捕获附加图像1404。应注意，第一图像1402和附加图像1404可以利用相同相机或分开的相机来捕获，一个或多个图像可以被保存到存储器，并且相机系统可以利用经调整的相机设置来捕获一个或多个附加图像。

图15示出了执行AWB的相机系统的图像融合模块124的示例实现。示出了两个图像；第一图像1402在检测到的第一脸部502中具有改进的色调，并且附加图像1404在检测到的附加脸部504中具有改进的色调。第一图像1402和附加图像1404被提供给图像融合模块124。图像融合模块124使用图像拼接来将第一图像1402和附加图像1404合并在单个图像1504中，该单个图像1504在检测到的第一脸部502和检测到的附加脸部504中具有改进的色调。图像融合模块124合并检测到的第一脸部502的第一图像1402和检测到的附加脸部504的附加图像1404。在产生单个图像1504之后，将其提供给电子设备102上的显示器110以进行数字显示。另外，单个图像1504可以被存储在电子设备内或经由任何其他图像存储介质存储。

此外，可以将附加图像提供给图像融合模块124，并且可以通过合并前体图像内的检测到的附加脸部的附加图像来通过图像融合模块124产生单个图像1502。因此，单个图像1502将在每个检测到的脸部中具有改进的色调。

示例方法

图16示出了用于相机系统的AWB的示例方法。在1602处，在场景的前体图像内检测检测到的脸部。可以通过包括基于知识、基于特征、模板匹配或基于外观的脸部检测的任何脸部检测方法来执行脸部检测。

在1604处，在前体图像内确定检测到的脸部的色调。可以根据预定的色调值的集合或持续构建的色调值的集合来确定检测到的脸部的色调。色调确定可以通过机器学习方法来执行，机器学习方法包括有监督或无监督学习。另外，色调确定可以是预先训练的或随时间训练的。

在1606处，取得与检测到的脸部相关联的色调数据。使用在先前环境条件下捕获的一组先前图像来确定一组匹配的图像。该组匹配的图像被确定为包含与检测到的人脸相同的人脸。可以通过与先前图像内的检测到的脸部相同或类似的方法来检测先前图像内的相同的脸部。色调数据包含可用于确定更准确的色调值的色调，但是色调数据也可以包含关于先前图像内的相同的脸部和先前图像本身的附加数据。该数据可以包括环境条件，诸如先前图像内的相同的脸部的尺寸和先前图像内的光照。作为示例，环境条件可以用于确定与每个先前图像中的相同的脸部相关联的色调的置信度值。置信度值可以与相同的脸部的色调结合使用以确定更准确的色调。另外，色调数据可以包含可用于辅助确定优先级值的数据，诸如与检测到的脸部相关联的脸部频率值。

在1608处，确定检测到的脸部的色调与色调数据之间的WB的差异。该差异可以仅基于或部分地基于检测到的脸部的色调与来自色调数据的更准确的色调之间的差异来确定。WB的差异是所确定的相机设置上的差异，以将前体图像中的检测到的脸部的色调与来自色调数据的更准确的色调对准。WB的差异可以被表示为包括红色、绿色和蓝色传感器的RGB传感器增益值的变化。

在1610处，基于WB的差异来调整相机设置。相机设置调整可以包括调整相机传感器增益值，包括RGB传感器增益。通过调整相机设置，相机系统将能够捕获场景的、例如与在相机设置未调整的情况下将捕获的场景的图像相比具有改进的色调的图像，。另外，调整相机设置可以使得相机捕获场景的具有改进的色调的图像。所捕获的图像可以被提供给显示器以进行数字显示、存储在电子设备中或两者。

图17示出了用于相机系统的AWB的示例方法，其中在前体图像内检测到一个或多个检测到的附加脸部。类似于图16中所示的方法，在1602处，在前体图像内检测到检测到的脸部。在1604处，针对前体图像内的检测到的脸部确定色调，并且取得与检测到的脸部相关联的色调数据。在1608处，确定检测到的脸部的色调和与检测到的脸部相关联的色调数据之间的WB的差异。不同于图16，确定与检测到的脸部相关联的优先级值。优先级值用于确定前体图像内的检测到的脸部的重要性。可以基于色调数据、前体图像或两者的组合来确定优先级值。例如，如果与检测到的脸部相关联的色调数据包括较高脸部频率值，则检测到的脸部可以被给予较高优先级值，这指示检测到的脸部经常被相机系统捕获。附加地或单独地，如果检测到的脸部在前体图像内具有较大脸部尺寸，则检测到的脸部可以被给予较高优先级值。

可选地，在1702处，可以在前体图像内检测附加脸部。在1604处，将针对附加脸部确定色调，并且将在1606处取得与附加脸部相关联的色调数据。在1608处，将基于前体图像内的检测到的附加脸部的色调和与检测到的附加脸部相关联的色调数据的差异来确定AWB的附加差异。在1704处，确定检测到的附加脸部的优先级值。该方法可以可选地在1702处在前体图像内检测附加脸部并且针对检测到的附加脸部重复这些步骤，或者在1610处调整相机设置。如果相机设置被调整，则调整可以是基于检测到的脸部和检测到的附加脸部的WB的差异和优先级值的组合。WB的差异和优先级值可以通过包括加权和和过滤的任何计算方法组合。

图18示出了用于相机系统的AWB的另一示例方法，其中在前体图像内检测一个或多个附加检测到的脸部。像图17中一样，在1602处，在前体图像内检测第一脸部，并且在1604处，针对前体图像内的检测到的脸部确定色调。在1606处，取得与检测到的脸部相关联的色调数据，并且确定前体图像内的检测到的脸部的色调和与检测到的脸部相关联的色调数据之间的WB的差异。然而，不确定优先级值。代替地，在1802处，利用基于WB的差异的经调整的相机设置来捕获在检测到的脸部中具有改进的色调的第一图像。在1702处，在前体图像内检测检测到的附加脸部并且针对检测到的附加脸部重复上述步骤。因此，在1608处，基于检测到的附加脸部的色调和与检测到的附加脸部相关联的色调数据来确定WB的附加差异。在1802处，利用基于WB的附加差异的经调整的相机设置来捕获附加图像。附加图像在检测到的附加脸部中具有改进的色调。可以在前体图像内检测检测到的附加脸部，并且可以重复这些步骤。

在1804处，将第一图像和附加图像提供给图像融合模块。图像融合模块将第一图像和附加图像组合以产生具有改进的色调的单个图像。例如，图像融合模块可以合并检测到的脸部的第一图像和检测到的附加脸部的附加图像。结果，所产生的单个图像可以在检测到的脸部和检测到的附加脸部中具有改进的色调。可以将该单个图像提供给显示器以进行数字显示、存储在电子设备中或两者。

通常，本文描述的组件、模块、方法和操作中的任何可以使用软件、固件、硬件(例如，固定逻辑电路)、手动处理或其任何组合来实现。示例方法的一些操作可以在存储在计算机可读存储存储器上的可执行指令的一般场境中描述，该计算机可读存储存储器在计算机处理系统本地和/或远程，并且实施方式可以包括软件应用、程序、功能等。可替选地或另外，本文描述的任何功能可以至少部分地由一个或多个硬件逻辑组件执行，硬件逻辑组件包括但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SoC)、复杂可编程逻辑器件(CPLD)等。

下面描述一些示例：

示例1：一种用于电子设备的相机系统中的自动白平衡(AWB)的方法，该方法包括：检测前体图像内的第一人脸；确定前体图像内的检测到的第一人脸的第一色调；取得与检测到的第一人脸相关联的第一色调数据，第一色调数据是根据在先前环境条件下捕获的一组先前图像来确定的，先前图像被确定为包含与检测到的第一人脸相同的人脸；基于第一色调数据来确定前体图像内的检测到的第一人脸的第一色调与第一色调数据之间的白平衡(WB)的第一差异；以及基于WB的第一差异来调整相机设置，该调整使得能够捕获具有改进的色调的图像。

示例2：如示例1所述的方法，进一步包括：检测前体图像内的附加人脸；确定前体图像内的检测到的附加人脸的色调；取得与检测到的附加人脸相关联的色调数据，与检测到的附加人脸相关联的色调数据是根据在先前环境条件下捕获的一组先前图像来确定的，先前图像被确定为包含与检测到的附加人脸相同的人脸；基于与检测到的附加人脸相关联的色调数据来确定前体图像内的检测到的附加人脸的色调和与检测到的附加人脸相关联的色调数据之间的AWB的附加差异；并且其中调整相机设置是基于WB的第一差异和WB的附加差异。

示例3：如示例2所述的方法，进一步包括：确定前体图像内的检测到的第一人脸的第一优先级值；确定前体图像内的检测到的附加人脸的附加优先级值；并且其中调整相机设置是基于通过第一优先级值来加权的WB的第一差异与通过附加优先级值来加权的WB的附加差异的加权和。

示例4：如示例3所述的方法，其中：确定第一优先级值是基于前体图像内的检测到的第一人脸的第一尺寸；并且确定附加优先级值是基于前体图像内的检测到的附加人脸的尺寸。

示例5：如示例3所述的方法，其中：确定第一优先级值是基于确定的第一脸部频率值，确定的第一脸部频率值是基于被确定为包含与检测到的第一人脸相同的人脸的先前图像的数量；以及确定附加优先级值是基于检测到的附加人脸的确定的脸部频率值，检测到的附加人脸的确定的脸部频率值是基于被确定为包含与检测到的附加人脸相同的人脸的先前图像的数量。

示例6：如示例2所述的方法，其中：检测附加人脸包括检测多达19个人脸；并且确定附加优先级值包括确定多达19个优先级值。

示例7：如示例1所述的方法，其中调整相机设置使得电子设备捕获具有拥有改进的色调的检测到的第一人脸的第一图像；并且进一步包括：检测前体图像内的附加人脸；确定前体图像内的检测到的附加人脸的色调；取得与检测到的附加人脸相关联的色调数据，与检测到的附加人脸相关联的色调数据是根据在先前环境条件下捕获的一组先前图像来确定的，先前图像被确定为包含与检测到的附加人脸相同的人脸；基于与检测到的附加人脸相关联的色调数据来确定前体图像内的检测到的附加人脸的色调和与检测到的附加人脸相关联的色调数据之间的AWB的附加差异；基于WB的附加差异来调整相机设置，使得电子设备捕获具有拥有改进的色调的检测到的附加人脸的附加图像；将第一图像和附加图像提供给图像融合模块，以产生合并检测到的第一人脸的第一图像和检测到的附加人脸的附加图像的单个图像。

示例8：如示例1所述的方法，其中第一色调数据包括置信度值，置信度值基于：被确定为包含与检测到的第一人脸相同的人脸的先前图像内的与检测到的第一人脸相同的人脸的脸部尺寸；或者被确定为包含与检测到的第一人脸相同的人脸的先前图像内的环境光条件。

示例9：如示例8所述的方法，其中确定WB的第一差异是基于经过滤的第一色调数据，经过滤的第一色调数据是已经通过置信度值来过滤的第一色调数据的子集。

示例10：如示例8所述的方法，其中确定WB的第一差异是基于通过置信度值来加权的第一色调数据的加权和。

示例11：如示例1所述的方法，其中检测前体图像内的第一人脸是通过致动器来发起的。

示例12：如示例1所述的方法，其中调整相机设置使得电子设备捕获具有改进的色调的图像。

示例13：如示例12所述的方法，进一步包括向显示器提供具有改进的色调的图像。

示例14：如示例1所述的方法，其中调整相机设置包括调整：红色传感器增益；绿色传感器增益；或蓝色传感器增益。

示例15：如示例1所述的方法，其中检测第一人脸包括使用低分辨率传感器。

示例16：一种能够执行自动白平衡(AWB)的电子设备中的相机系统，包括：处理器；计算机可读介质；传感器，该传感器能够捕获前体图像；脸部频率模块，该脸部频率模块能够检测图像内的人脸；存储设备，该存储设备能够存储先前图像；色调确定模块，该色调确定模块能够确定检测到的人脸的色调；以及白平衡控制器，该白平衡控制器能够调整相机设置。

总结

尽管已经以特定于特征和/或方法的语言描述了用于相机系统的AWB的各方面，但是所附权利要求的主题不必限于所描述的特定特征或方法。相反，特定特征和方法被公开为用于相机系统的所要求保护的AWB的示例实现，并且其他等效特征和方法旨在处于所附权利要求的范围内。此外，描述了各个方面，并且应当理解，可以独立地或结合一个或多个其他描述的方面来实现每个描述的方面。

Claims (18)

1.一种用于电子设备的相机系统中的自动白平衡(AWB)的方法，所述方法包括：

检测前体图像内的第一人脸1602；

确定所述前体图像内的检测到的第一人脸的第一色调1604；

取得与检测到的第一人脸相关联的第一色调数据1606，所述第一色调数据是根据在先前环境条件下捕获的一组先前图像来确定的，所述先前图像被确定为包含与检测到的第一人脸相同的人脸；

基于所述第一色调数据来确定所述前体图像内的检测到的第一人脸的所述第一色调与所述第一色调数据之间的白平衡(WB)的第一差异1608；以及

基于所述WB的第一差异来调整相机设置1610，所述调整使得能够捕获具有改进的色调的图像，所述改进的色调比所述第一色调更紧密地匹配所述第一色调数据。

2.如权利要求1所述的方法，进一步包括：

检测所述前体图像内的附加人脸；

确定所述前体图像内的检测到的附加人脸的附加色调；

取得与检测到的附加人脸相关联的附加色调数据，与检测到的附加人脸相关联的所述附加色调数据是根据在先前环境条件下捕获的另一组先前图像来确定的，所述另一组先前图像被确定为包含与所述检测到的附加人脸相同的人脸；

基于与检测到的附加人脸相关联的所述附加色调数据来确定所述前体图像内的检测到的附加人脸的所述附加色调和与检测到的附加人脸相关联的所述附加色调数据之间的AWB的附加差异；并且

其中调整相机设置是基于所述WB的第一差异和所述WB的附加差异。

3.如权利要求2所述的方法，进一步包括：

确定所述前体图像内的检测到的第一人脸的第一优先级值；以及

确定所述前体图像内的检测到的附加人脸的附加优先级值，

其中调整相机设置是进一步基于通过所述第一优先级值来加权的所述WB的第一差异与通过所述附加优先级值来加权的所述WB的附加差异的加权和。

4.如权利要求3所述的方法，其中：

确定所述第一优先级值是基于所述前体图像内的检测到的第一人脸的第一尺寸；并且

确定所述附加优先级值是基于所述前体图像内的检测到的附加人脸的尺寸。

5.如权利要求3所述的方法，其中：

确定所述第一优先级值是基于已确定的第一脸部频率值，所述已确定的第一脸部频率值是基于所述一组先前图像中的、被确定为包含与检测到的第一人脸相同的人脸的先前图像的数量；以及

确定所述附加优先级值是基于检测到的附加人脸的已确定的附加脸部频率值，检测到的附加人脸的所述已确定的附加脸部频率值是基于所述另一组先前图像中的、被确定为包含与检测到的附加人脸相同的人脸的先前图像的数量。

6.如权利要求2至5中任一项所述的方法，其中：

检测附加人脸包括检测多达19个人脸；以及

确定附加优先级值包括确定多达19个优先级值。

7.如权利要求1所述的方法，其中，调整相机设置使得所述电子设备捕获具有拥有改进的色调的检测到的第一人脸的第一图像，并且所述方法进一步包括：

检测所述前体图像内的附加人脸；

确定所述前体图像内的检测到的附加人脸的附加色调；

取得与检测到的附加人脸相关联的附加色调数据，与检测到的附加人脸相关联的所述附加色调数据是根据在先前环境条件下捕获的另一组先前图像来确定的，所述其他先前图像被确定为包含与检测到的附加人脸相同的人脸；

基于与检测到的附加人脸相关联的所述附加色调数据来确定所述前体图像内的检测到的附加人脸的所述附加色调和与检测到的附加人脸相关联的所述附加色调数据之间的AWB的附加差异；

基于所述WB的附加差异来调整相机设置，使得所述电子设备捕获来具有拥有另一改进的色调的检测到的附加人脸的附加图像；以及

将所述第一图像和所述附加图像提供给图像融合模块，以产生合并检测到的第一人脸的所述第一图像和检测到的附加人脸的所述附加图像的单个图像。

8.如任一前述权利要求所述的方法，其中，所述第一色调数据包括置信度值，所述置信度值基于：

被确定为包含与检测到的第一人脸相同的人脸的所述先前图像内的与检测到的第一人脸相同的人脸的脸部尺寸；或者

被确定为包含与检测到的第一人脸相同的人脸的所述先前图像内的环境光条件。

9.如权利要求8所述的方法，其中，确定所述WB的第一差异是基于经过滤的第一色调数据，所述经过滤的第一色调数据是已经通过所述置信度值来过滤的所述第一色调数据的子集。

10.如权利要求8所述的方法，其中，确定所述WB的第一差异是基于通过所述置信度值来加权的所述第一色调数据的加权和。

11.如任一前述权利要求所述的方法，其中，检测所述前体图像内的所述第一人脸是通过致动器来发起的。

12.如任一前述权利要求所述的方法，其中，调整相机设置使得所述电子设备捕获具有所述改进的色调的图像。

13.如权利要求12所述的方法，进一步包括：向显示器提供具有所述改进的色调的所述图像。

14.如任一前述权利要求所述的方法，其中，调整相机设置包括调整：

红色传感器增益；

绿色传感器增益；或

蓝色传感器增益。

15.如任一前述权利要求所述的方法，其中，检测第一人脸包括：使用低分辨率传感器。

16.一种能够执行自动白平衡(AWB)的电子设备中的相机系统，包括：

处理器302；

计算机可读介质304；

传感器306，所述传感器能够捕获前体图像；

脸部频率模块118，所述脸部频率模块能够检测图像内的人脸；

存储设备308，所述存储设备能够存储先前图像；

色调确定模块114，所述色调确定模块能够确定检测到的人脸的色调；以及

白平衡控制器116，所述白平衡控制器能够调整相机320设置。

17.一种电子设备中的相机320系统，所述相机系统被配置成执行如权利要求1至15中任一项所述的方法。

18.一种包括指令的计算机可读存储介质304，所述指令在由一个或多个处理器302执行时使得所述一个或多个处理器302执行如权利要求1至15中任一项所述的方法。