CN106973278B - 一种参照人脸色彩特征的自动白平衡装置及方法 - Google Patents

Abstract

本发明涉及一种参照人脸色彩特征的自动白平衡装置和方法，可在具有前置摄像模式的电子媒体装置或多个电子媒体装置上实现。通过获取用户的人脸色彩特征集，以及在判定待处理图像中含有该用户的人脸时，获取该用户当前人脸色彩特征，合同预先获取的用户的人脸色彩在人脸特征集中的数据，作为对当前色温及色彩估计及自动白平衡矫正和色彩增强的参考依据。本发明还介绍了多种可选目标值的方法，来进行自动白平衡矫正和色彩增强，以达到改进用户体验的效果。

Description

一种参照人脸色彩特征的自动白平衡装置及方法

技术领域

本发明涉及影像技术和电子设备领域，特别的是摄像头图像处理系统中的色彩控制、处理和增强。

背景技术

自动白平衡通常包括照明色彩及色温估计，色彩通道的增益调节和色彩矫正和增强。肤色物体表面通常是白平衡照明色彩及色温估计的比较棘手的场景。其一是种族和个体的肤色差，以及个人化妆等带来的随机变异。其二是白色或其它物体表面在一定的色温光照下和肤色难以分辨，从而使目前流行的一些白平衡算法如A.灰色世界、B.完全反射、C.多表面相关等在肤色充盈的场景下对环境色温发生误判。即便在主流品牌的摄像产品中，肤色引起的白平衡误差和肤色色彩还原误差也颇为多见。因此，美国专利申请公开号US2008037975A1中主张将人脸肤色从环境色温的估计中剔除。自动白平衡的一个主要难点是在估计环境色温时，摄像头看到的是未知光源的光照在未知色彩表面物体上的混叠。如果场景中有已知色彩的表面，比如像专业摄像常用的现场白平衡的灰板，计算则很简单。但这对普通照相用户是不方便的。

发明内容

本发明的目的在于提供一种适用于电子媒体装置的自动白平衡装置。

解决本发明的目的所采取的方案是：采用一种电子媒体装置，包括至少一个前置工作模式的摄像头，所述摄像头的前置工作模式的拍摄视场中通常含有该电子媒体装置的用户；

一个或多个处理器，其中一个处理器用于控制该电子媒体装置的系统；

存储器，用于存有可供处理器读取的指令集及；

缓存帧图像和其它数据，以及处理器用来执行指令；

可通过网络或其它媒介接收和传送图像、视频或其它数据的装置；

可显示图像和图形的显示屏；

用户可控的人机交互界面；

其中，所述摄像头包括镜头、图像传感器、存储器、摄像头控制器、及图像处理器等模块；该图像处理器将图像传感器传过来的信号处理成符合应用格式化的图像或视频；

其中，所述摄像头的上述部分或全部模块是资源独立的，或者是和宿主电子媒体装置资源共享的；

在本发明中，该图像处理器包括自动白平衡模块，该自动白平衡模块包括电子逻辑和控制处理电路及控制处理软件，通过该电子逻辑和控制处理电路及控制处理软件在视频预览、录像或抓拍过程中将该图像处理器流水线上的帧图像缓存于独立的或共享的存储器中，进行人脸检测、分割和识别，提取用户人脸的色彩特征作为自动白平衡的参考表面，利用该表面色彩特征进行更为准确的白平衡的照明色温及色彩估计，并可对人脸及人体裸露的肤色、图像的其它部分进行有区别的白平衡的调节和色彩增强。此外，通过人机交互界面可获取用户对自己人脸色彩的喜好作为AWB调节的参考目标值，以达到一对一的用户人脸色彩表达的体验效果。

本发明的另一个目的在于提供一种更灵活的可由多个电子媒体装置架构实现的上述自动白平衡装置。

在第一电子媒体装置上实现所述获取人脸色彩特征集的步骤，在第二电子媒体装置上实现所述获取图像的步骤，在第一、或第二、或第三电子媒体装置上实现所述确认、提取以及自动白平衡的色温及色彩估计以及色彩调节的步骤，或其它不同的步骤与装置的组合；其中：实现所述自动白平衡的色温及色彩估计以及色彩调节的步骤的电子媒体装置包括接收由拍照获得的所述数字图像和/或已提取的所述用户人脸色彩特征和/或人脸色彩特征集。

综合上述两种不同架构实现的自动白平衡装置及下述的具体实现步骤，本发明提供了一种参照人脸色彩特征的自动白平衡方法，该方法适用于在一个或多个电子媒体置上实现图像及视频媒体的自动白平衡装置，包括以下步骤：

获取包括用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集；

获取一幅数字图像；

确认该图像中至少含有一个用户人脸，且人脸色彩特征集中已获取该用户上述至少一个部位的色彩特征，则提取该图像中该用户人脸的所述人脸相应部位的色彩特征，参照该图像中该用户人脸的所述人脸相应部位的色彩特征及该用户在人脸色彩特征集中的数据对该图像进行自动白平衡的色温及色彩估计以及色彩调节。

附图说明

图1为前摄平台的示意图；

图2为自动白平衡(AWB)模块的ISP示意流程图；

图3为自动白平衡(AWB)模块的另一ISP示意流程图；

图4为后处理模式的流程图示意图；

图5为人脸色彩特征获取模式的流程图；

图6为AWB调节模式的流程图；

图7为AWB机器学习模式的示意图；

图8为将人脸分割成肤色区、眼白、牙齿的示意图；

图9为白点轨迹和肤色轨迹在一个色坐标系中的示意图；

图10为一种AWB调节的方法，使用同一个C₃对整幅图像进行同一处理；

图11为另一种AWB调节的方法：使用C₃有区别的对人脸和背景图像进行处理，以白平衡标准参考光源照明下的白点位置为目标；

图12为另一种AWB调节的方法：使用C₃有区别的对人脸和背景图像进行处理，并以用户喜好的色彩表达为目标；

图13为一种检测人脸以外其他裸露皮肤的方法；

图14为用户人机界面的实现方法示意图；

图15为AWB反馈学习示意图；

图16为人脸色彩特征用于人脸识别的辅助矢量的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了便于理解，对涉及到专用符号或名词进行如下解释：

C₁、C₂、C₃：

将图像分割成人脸部分和背景部分，C₁，C₂，C₃指自动白平衡(Automatic WhiteBalance：AWB)的照明色温及色彩估计基于背景、人脸和全图的计算过程和结果。该结果通常由某一色空间或色坐标系中的坐标点位置来表示。用来计算色温的方法可以用上述背景技术中提到的A、B、C或其它方法。

人脸色彩特征：在本发明中指人脸分割后，包括人脸肤色，眼白以及牙齿部位中至少一个部位的统计色彩特征，包括其本征值及目标值，对应于AWB常用的光照色温区间的照明色温及色彩。

人脸色彩特征集：在本发明中指包括所有用户的对应于AWB常用的光照色温区间的照明色温及色彩的人脸色彩特征的数据集合和结构。

前摄平台：指摄像头或其它含有摄像头电子媒体装置，在操作中至少有一个模式，其中一个摄像头的视场通常含有该装置的使用者。

机主：前摄平台的机主或管理员，有权使用并授权平台使用者用户权，使其有使用本发明的体验的权利。

用户：前摄平台具有用户权的使用者，用户权也有可以有前摄平台的服务程序直接开放授权，直至用户群达到系统支持的最大限度。

ISP(Image Signal Processor：图像信号处理装置或图像信号处理器)：摄像头的图像信号处理系统，包括图像传感器的接口、与宿主设备的控制和信号通讯接口、图像信号处理的电子电路的计算和逻辑硬件引擎、数据和程序使用的存储器，可编程的处理器及控制和处理软件等。

鉴于观测到用户人脸常常是前摄平台的主要摄像目标并占据了拍摄图像的较大的画面，而手机后置摄像头和其它摄像装置也经常拍摄人脸肖像；并由于智能手机及其它前摄平台的日益扩展和普及应用，使得利用现场拍摄到的图像中用户人脸的色彩特征作为AWB的参考表面成为一个实用可行的技术。

本发明自动白平衡(AWB)装置作为摄像头ISP的一个模块适用于前摄平台，也可应用于其它摄像平台的自动白平衡的方法和装置，包括电子逻辑和控制处理电路，和控制处理软件。其主要工作过程为首先获取人脸色彩特征集，其次在实时工作中将ISP流水线上的帧图像缓存于存储器中，进行人脸检测、分割和识别，提取用户人脸的色彩特征作为自动白平衡的参考表面，利用该表面色彩特征以及人脸色彩特征集中的数据进行更为准确的白平衡的照明色温及色彩估计，并可对人脸及人体裸露的肤色、图像的其它部分进行有区别的白平衡的调节和色彩增强。此外，通过人机交互界面可获取用户对自己人脸色彩的喜好作为AWB调节的参考目标值，以达到一对一的用户人脸色彩表达的体验效果。

本发明所述的电子媒体装置包括：一个或多个摄像头，其中至少一个摄像头的一个工作模式中摄像头的视场通常可见该装置的使用者。

一个或多个可编程处理器，其中一个为系统控制器；存储器，可存有可供系统处理器读取的指令集和缓存数据，以及控制器用来执行指令；可通过网络或其它媒介接收和传送图像、视频或其它数据的装置。

前摄平台的摄像头包括镜头和图像传感器；ISP系统；图像传感器与ISP系统的接口；专用的或与宿主平台控制器兼用的可编程摄像头控制器；自带的或与宿主平台共享的显示屏；自带的或与宿主平台共享的图像或视频的抓拍存储传输装置；自带的或与宿主平台共享的存储器，可存储可供摄像头控制器读取的指令集及缓存帧图像和其它数据，以及摄像头控制器用来执行指令；可通过网络或其它媒介接收和传送图像、视频或其它数据的装置；摄像头具有关机、开机、待机、预览、视频抓拍和图像抓拍等工作状态，由摄像头专用控制器或平台系统控制器根据用户的需求来切换。在预览或抓拍工作模式下，帧图像经图像传感器的接口，再经过ISP的前级处理后储存于缓存中。然后一个或多个控制器或其它专用逻辑计算电路对图像进行人脸检测，分割和识别以及人脸色彩特征的提取以及基于人脸色彩特征的AWB增益调节和色彩增强，并将图像传输到耦合的ISP下游模块做进一步处理并产生格式化的输出或显示，存储在本机的固态存储单元中，或经由网络输出。图2和图3是简化的摄像头及ISP的工作示意图。人脸色彩特征的获取也可以把抓拍的图像输出储存为通用的图像文件，由其它具有计算功能的平台来分析处理。

本发明的AWB装置作为ISP的一个模块，其功能包括对照明色温及色彩进行估计，再根据估计的结果将图像从当前照明矫正到在白平衡标准参考光源照明如D50照明下的状态，或将图像矫正到一个非标准但更与人眼感觉更吻合的照明下的状态，或将图像矫正到本机用户偏爱的目标状态。特别的色彩增强可以与AWB的增益调节同时进行，或在AWB增益调节后进行。AWB模块可以用如图2或图3的方法实现，也可以在ISP内不同的位置实现，如Bayer域中，或如图4所示的后处理模块，或在其它平台上作为一个脱机模块来实现。如图2所示的实施例的实现中，抓拍的图像或视频的帧图像在经过前处理里后被存于缓存260中。控制器230通过对缓存260的读写和运算进行人脸检测和识别，人脸特征获取，照明色温及色彩估计，白平衡增益调节，色彩矫正和增强。如有专门设计的硬件加速运算电路，高速控制器和充足的和动态缓存空间会大大提高运算速度和图像处理的质量和效果。

本发明披露的AWB装置有3种工作模式：

AWB人脸色彩特征获取模式如图5所示；

AWB色彩调节模式如图6所示；

AWB的机器学习模式如图7所示。

在AWB人脸色彩特征获取模式下，模块53对经过前处理的缓存51中的图像进行人脸检测，分割和识别；模块52获取被识别认可的用户的人脸色彩特征的本征值，并通过人机交互模块55提取人脸色彩特征的目标值，并将结果存在模块54人脸色彩特征集中。其中，缓存51中的图像也可以经过进一步处理输出为格式化的图像文件，提取人脸色彩特征可以在本装置或其它装置上进行。

在AWB调节模式下，模块63进行人脸检测，分割和识别和人脸色彩特征提取，64根据上述的结果以及人脸色彩特征集62中的人脸色彩特征数据进行照明色温及色彩估计并获取C₁，C₂，C₃，根据C₁，C₂，C₃和人脸色彩特征集中的数据进行白平衡的增益调节和色彩增强。

在AWB的机器学习模式中，AWB控制起初完全基于C₁的计算，人脸色彩特征的获取和学习过程在后台运行。当学习过程收敛之后，如上述基于C₁，C₂，C₃的AWB调节模式在前台运行。

以下对上述三种模式进行详细描述。

AWB人脸色彩特征获取模式：

人脸检测、分割和识别的实时算法实现，已在智能手机和其它视频系统中大量使用。前摄平台可以利用用户群有限和多种用户的辅助身份信息如密码、指纹等，以及利用下述的人脸色彩特征集作为人脸识别的辅助特征矢量，使人脸识别的计算量进一步简化。因此，人脸检测、分割和识别的实时算法实现在本发明中作为现有技术而不作详细叙述。

AWB人脸色彩特征获取模式包括：标准光源多点标测模式、标准色板多点标测模式、单点插值标测模式，和机器学习自动测试模式。

标准光源多点标测模式：

在AWB适用的参考光源照明下，拍摄含有人脸的图像，对人脸进行检测，和分割和识别，并提取包括肤色，眼白和牙齿部位的色彩特征。具体地，可以在D50或其他标准光源和合适的亮度照明下，在摄像平台的自动曝光和对焦稳定后，先用灰卡做手动白平衡，然后关闭白平衡的功能：拍摄用户脸部正面图像，并在显示屏幕显示上述所拍的图像，使其脸部轮廓的尺度足够大，眼白、牙齿清晰可见；测试软件对人脸进行检查和定位，并提取各部位的统计色彩特征，输入到人脸色彩特征集对应于该用户该照明光源的本征值表项中；测试软件再调节人脸肤色在某一色空间的位置，将效果和调节方法在显示屏上显示如图14，并由用户通过人机交互界面来调节选择最佳效果，测试软件再根据用户的选择将人脸肤色在色空间中选定的位置坐标作为目标值输入至人脸色彩特征集对应于该用户该照明光源的目标值表项中；保持自动白平衡关闭，改变照明光源，逐一重复上述步骤，但在本征值测量时不再做手动白平衡，在目标值测量时做手动白平衡，即可获得对应于新的光源点的人脸色彩特征值。使测量的光源以一定的间隔(1000K-2000K)覆盖白平衡需要覆盖的色温区间(如2500K-12000K)，则测试完成。以下以肤色区为例，更为详细的表述本征值的获取过程。如图8所示，首先将肤色区880的像素点从RGB空间转化到HSL空间，并采用一个数据结构使每一个像素点在RGB空间图像矩阵中的位置不被丢失。其次用大小可调的亮度阈值来去除过亮和过暗的像素点。再次对通过滤波的像素点做一个对应于H和S的二维直方图，保留近直方图峰值中心区域约80％的像素点作为肤色特征统计的优选点，并在RGB空间原矩阵中计算这些优选点各个坐标分量的平均值，其结果就作为用户的肤色特征本征值r₁₁₀，g₁₁₀，b₁₁₀输入到人脸色彩特征集中对应于该用户表项在该色温下的本征值的位置。提取眼白和牙齿的本征值的过程与之相似，但人眼区830以及嘴巴区820在上述提取前需经进一步分割以得到准确的眼球和牙齿的轮廓边缘。

标准灰板多点标测模式：

由于标准光源设备的昂贵和上述操作的不方便，可以做如下简易的标测：用含有标准灰板或白色表面的背景在室内外常用环境下拍摄含有上述参考表面的用户脸部图像，可选择例如“日光灯”、“白炽灯”、“阳光下”、“树荫下”等场景，以包含AWB所需覆盖的色温和色谱区间；用户通过上述人机交互界面做色彩调整，选择喜爱的最佳肤色效果；测试程序会根据标准灰板或白色表面来计算环境色温，和与之对应的人脸色彩特征本征值和目标值。

单点插值标测模式：

如图9所示，人类肤色在某一色坐标系中的在自然光照明下的色彩分布可以通过大量经验数据来获取，可以通过上述两种方法之一获取一个色温点的人脸色彩本征值点的坐标P，再根据人类肤色的在色坐标系中的统计分布及其与摄像头标测的白点分布在该色坐标系中的位置的相关性进行外插，即可获取足够多的色温点的本征值。

上述三种人脸色彩特征提取过程是由测试程序对缓存中的图像进行的，也可以将图像抓拍或视频录像，输入到其它平台或装置上进行人脸检测、分割、识别、特征提取以及白平衡的照明估计、矫正和增强。

上述的人脸色彩特征获取过程可以在用户的启动下随时进行或由系统服务程序启动，人脸色彩特征集的数据也随之更新。如果人脸识别不能确认画面中的人脸为用户，可将检测到的人脸部分从C₁白平衡色温估计中剔除。C₂不做计算

以下表一为人脸色彩特征集对应于自然光照明在RGB色空间的坐标示例。

表一：人脸色彩特征集表项结构示意

AWB色彩调节模式

如图6所示，首先模块63对缓存中的图像进行人脸检测、分割和识别，确认为用户后，模块64进行自动白平衡的环境色温估计。以一种基于黑体辐射的光源特性的照明估计方法为例：

C₁计算方式如下：

如图9所示，设背景中任一像素点为i_b，其R、G、B分量为r_ib，g_ib，b_ib。背景像素点总和为T₁，平均色温的估计为

α_ib为加权因子，与该点的色彩特征及亮度相关。

将垂直投影到最近的白点轨迹曲线，即可得到色温估计值C₁。

C₂的计算，其基本原理与C₁计算相似。每个人脸部位都可以看成是一个独立的参考表面，根据其实测的统计平均值在该表面的色温曲线中的投影位置，以及与色温估计的置信度相关的权重，可算出其对C₂的贡献。设人脸图像上任一点i_fj，j对应于各个不同的分割部位，与人脸色彩特征集表中的行列序号相对应，各部位的色温估计先分别进行计算，然后再加以综合，以肤色为例：

肤色区的图像像素点坐标值乘以一个系数为该点对平均色温估计的贡献，可与该点的色彩特征及亮度相关。

其中代表人脸肤色像素点总数。

如图10所示，图中为某一用户人脸肤色的平均估计在色坐标系中的位置，对应该用户肤色本征值色温曲线上的投影P_fm即为上述肤色的色温估计

人脸其余部位的色温估计，与肤色相似，令眼白的色温估计为牙齿为在计算C₂，时，还需要再次通过查找人脸色彩特征值将 和映射到白点轨迹上得到相应的和

其中θ_j为估计的置信度加权因子。

把C₁，C₂的坐标看成一个矢量，则全图的色温估计

C₃＝(C₁*k₁+C₂*k₂)/(k₁+k₂)； 【4】

其中(0＜k₁＜1，0＜k₂＜1；0＜w₁＜1，0＜w₂＜1)，k₁，k₂是加权系数，可以是置信度w₁，w₂的一个函数。

对于色彩与黑体辐射的光源特性的照明有一定差异的、需要做白平衡矫正的人工光源的照明色温和色彩估计和白平衡矫正，C₁即为即统计估计总体平均值不向白点色温曲线作投影，C₂的人脸各部位计算与之类似。

自动白平衡矫正与色彩增强：

本发明可根据色温及色彩估计C₁或C₂或C₃或C₁、C₂、C₃的任意组合对图像进行白平衡矫正和色彩增强，以下是一些可行的实例：

(1)用C₃对背景和人脸进行同一白平衡的矫正和人脸的色彩增强(参见图10)在标准色温照明下，白点的这通常是在ISP系统调试过程中各个色彩通道的增益作了对应于传感器像素光谱以及其它模块作了相应的预处理调节。如果当前的照明色温估计C₃在(B/G，R/G)色坐标系中的坐标是则，对应于R通道和B通道的附加的白平衡增益调节为G/R₁和G/B₁，G通道增益通常不变，以保证自动曝光不受白平衡的影响。白平衡调节之后，还要进行一个3*3CCM色彩矫正矩阵[R′，G′，B′]＝A*[R，G，B]^T。【5】

(2)用C₃对背景和人脸分别进行白平衡的矫正和人脸的色彩增强(参见图11)。人脸的各个部位和背景被从各自当前的C₃位置调节到各自的D50本征值位置。这种方法会使各个部位的色彩还原最佳，但计算量较大，还要处理好边界的平滑，以避免噪声和不自然的图像失真。

(3)另一种实施的方法是用C₂和C₁来分别处理人脸及人体的肤色与其它背景图像，这对人脸和背景照明色谱差异较大时特别有效，并基于用户优选的目标值的白平衡矫正(如图12所示)。人脸各个部位的色彩从对应于当前估计的C₂的本征值位置调节到对应于C₂的目标值位置。每一个用户都有一组本征值和目标值。在某一用户没有目标值选项的情况下，就只能纠正到该用户的标准参考光源下的本征值。如图10和图11所示。

先来考虑人脸的肤色，假设R_ref，B_ref和G_ref肤色的目标值，并且R_current，B_current和G_current是对应于C₃的当前估计值，肤色的矫正可以由以下公式来计算：

虽然上式满足了用户喜好的色彩表达，但由于在自动曝光的过程中，G_ref可能不等于G_current，从而引起人脸亮度的变化。解决这个问题的一种方法可以把肤色像素点从RGB空间转换到比如HSL空间，再将色彩和饱和度矫正到用户优选的目标值，保持亮度不变，再将矫正后的像素点转换回RGB空间。色彩和饱和度的调节具体实现，首先在HSL空间里，计算当前估计值作为一个总体平均值以及目标值在HSL空间里的坐标，(H_current，S_current，L_current)以及H_ref，S_ref，L_ref)，然后计算H和S分量的差值ΔH＝H_ref-H_current；ΔS＝S_ref-S_current。对与肤色区某一像素点(h_current，s_current，l_current)的调节可以采用以下公式；

h_current1＝h_current0+γ×ΔH； 【7】

s_current1＝s_current0+θ×ΔS； 【8】

其中，γ和θ是一个与亮度相关的加权因子。

为了使人脸区的肤色与人体其他裸露部位的肤色的表达一致性，可以采取如下的处理(参见图13)：

首先，进行人体肤色裸露部位的检测和定位，如图8所示，根据人脸的大小和方向性，预测一个人体区间矩形(或用其它现有技术更精准的方法，获取人体的轮廓)，将矩形的像素从RGB空间转变到YCbCr空间，在CbCr坐标系里以当前色温参考肤色的位置，f为核心的一个邻域，为运算和说明方便起见，如半径为L(大小可调)的圆为肤色滤波器，对上述人体矩形区进行滤波，对位于圆内的像素，再计算其与人体形态各部位的位置相关性等特征以及人体肤色区部位的连通性特征，若被判断为裸露的肤色部位，则采用与上述人脸肤色相同的增益调节方法。人脸的其他部位如牙齿和眼白可以按照各自的本征值和目标值进行类似肤色的矫正和增强，或和背景同样处理。

AWB的机器学习特征获取和色彩矫正模式：

首先，通过机器学习来获取用户人脸色彩特征的本征值，具体的：

获取需要进行白平衡矫正的图像，对该图像进行人脸检测、分割、和识别，确认该图像含有用户人脸；

用C₁作为照明的色温及色彩估计来进行白平衡调整，在无监督学习模式下，在某个估计的光照色温下，当估计的置信度w₁高于某个阈值w_t，进行人脸色彩特征本征值数据提取采集，缓存于一个候选数组中，当在同一个估计的光照色温下采集的候选数组中人脸色彩特征本征值数据对应于均值的均方差小于某个阈值的概率P₁大于某个阈值P_1t时，则认为C₁的检测准确，将候选数组中的人脸色彩特征集本征值的均值进行采集，并录入人脸色彩特征集该用户该色温的表项，或者：

在用户监督学习模式下，通过人机界面随机的显示含有用户人脸且基于C₁的照明色温及色彩估计置信度较高的图像，通过人机界面征询用户对色彩还原的满意度；如果用户满意，就说明该图基于C₁的照明估计和白平衡和色彩矫正正确，对该用户进行人脸色彩特征集本征值数据提取采集，录入人脸色彩特征集中该用户对应于当前估计的照明的本征值的表项；

或者：

在用户监督学习模式下，通过人机界面显示含有用户人脸且基于C₁的照明色温及色彩估计并通过无监督学习合格的图像，进一步通过人机界面征询用户对色彩还原的满意度；如果用户满意，就说明该图基于C₁的照明估计和白平衡和色彩矫正正确，对该用户进行人脸色彩特征集本征值数据提取采集，录入人脸色彩特征集中该用户对应于当前估计的照明的本征值的表项；

目标值的获取方法是，通过人机界面显示一幅或多幅经过色彩增强的图像，或提供由用户自行调节人脸色彩和饱和度的界面，或并用上述两种方法，提示并获取用户的输入，根据用户的输入确定提取目标值，同时获取对应于从原始图像变换到用户确认图像的变换函数；将所获取的目标值及变换函数输入至人脸色彩特征集中对应于该用户该色温估计的表项；

当用上述方法采集的人脸色彩特征集的数据充分覆盖了AWB所需覆盖的照明色温及色彩区时，学习过程完成，之后的白平衡的色温及色彩估计和矫正就可以使用上述数据来实现步骤二和步骤三；

上述的机器学习还具有更新的模式，在该模式下，用户随时启动学习过程，更新本征值或目标值。

本发明所披露的方法与装置也适用不同于前摄平台的其它影像装置，例如，后置摄像头和数码相机在自拍的模式时，可以拍到用户人脸。此外，前置摄像头获取的照明估计对后置摄像头的白平衡也是有用的信息，尤其在一些场景，当后置摄像头自动白平衡的照明估计置信度较低时，后置摄像头向系统控制器发出请求前置摄像头获取照明估计信息，系统控制器在系统资源许可时，批准该请求，并在用户不在使用前置摄像头时启动前置摄像头获取照明估计的工作；后置摄像头采用或参考前置摄像头的照明估计相关的判定条件和方法是：前、后置摄像头同时工作且视场的照明相同或相关时；该照明相同或相关的判定条件和方法是：可通过自动曝光和其它场景分析算法判定两摄像头的视场同为室内或室外；通过自动对焦或其它测距算法判定前、后置摄像头的场景与摄像头的距离远近；在前置摄像头的场景中检测到的照明光源与后置摄像头的白平衡模块估计的环境照明光源相同或相近；前置摄像头的白平衡模块估计的环境照明光源与后置摄像头的白平衡模块估计的环境照明光源相同或相近；

后置摄像头的白平衡模块与前置摄像头的白平衡模块的同时工作可以是常态的，也可以是间隙的；当用户在使用后置摄像头而不在使用前置摄像头时，后置摄像头的白平衡模块有权实时通过系统控制程序来启动或关闭前置摄像头及其白平衡模块以获取场景分析和照明色温及色彩估计性息，且前置摄像头在后台工作，不做白平衡矫正及ISP的下游处理，以降低功耗。

本发明的AWB模块的实施结构可以有多种选择。在图2中，帧图像缓存是设在RGB的处理域中；自动白平衡模块可设在图像处理器内的Bayer域中、或RGB域中、或后处理模块，或以分布式的处理架构涉及所述电子媒体装置多项资源，或在其它平台装置上作为一个脱机模块来实现，包括在第一电子媒体装置上实现步骤一的获取图像部分，在第二电子媒体装置上实现步骤一的人脸色彩特征提取部分，在第三电子媒体装置上上实现步骤二、或步骤二及步骤三，或其它步骤与媒体装置的组合；其中，第二或第三电子媒体装置带或不带摄像头，包括电视机、显示屏、游戏机、电脑、视频或图像压缩编码器、或网络传输装置。

摄像头上的ISP系统中的自动白平衡装置包括基于电子电路的逐点处理(硬件)，比如统计数据采集模块，增益调节模块，色彩矫正(CCM)模块或专业ASIC的处理模块；基于可编程控制器或DSP、GPU的软件模块，如照明色温估计，增益调节值等计算，以及整个过程的控制。要完成上述的人脸检测，分割和识别，以及基于人脸色彩特征的自动白平衡任务需要合理配置计算资源。专用的硬件加速单元越多，控制器的速度越快，图像质量就越好，延迟也越小，但功耗和成本会越高。比如，当图像中检测出多个用户的人脸时候，计算量会显著增加，在这种情况下，可以事先赋予人脸色彩特征集中不同用户不同的优先权，首先满足优先权级别最高的用户的需求，保证其色彩还原的效果最佳，并优先采用该用户的人脸色彩特征作为C₂计算的参考，另一个方法是同时参照多个用户的人脸色彩特征来计算C₂，在综合时考虑到优先权以及个体估计的置信度等作为权重的影响因素。在作白平衡矫正和色彩增强时，是否用多用户模式可以有机主设定。如果机主希望自己在图像中色彩还原最好，可以只采用单用户。反之比如是一个家庭合影，人人都希望表现出色，就可以设成多用户模式，显然多用户模式会占用较多的系统资源和较多的处理时间。如前所述，小样本集的实时人脸检测和识别在智能手机上已经可以实时实现，因此，本发明提出的方法在计算资源上是现实可行的，尤其是像对于用C₃对全图进行统一增益调节的实施方法。

如图16所示，人脸色彩特征集可以作为一个辅助的或独立的特征向量集应用于本发明中的人脸识别的模块，也可以用于其它人脸识别的场合如视频监控或网络视频和图像检索。

Claims (15)

1.一种电子媒体装置，其特征在于，包含由一个或多个电子媒体设备估计数字图像和/或视频媒体中人脸的照明色温及色彩，包括：

人脸色彩特征集获取模块，用于获取包含至少一个用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的人脸色彩特征集；

图像获取模块，用于获取一幅数字图像或一帧视频图像；

人脸照明的色温及色彩估计模块，用于确认所述一幅数字图像或一帧视频图像中含有的用户人脸，且所述人脸色彩特征集中已获取所述用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的本征值；提取所述一幅数字图像或一帧视频图像中含有的所述用户人脸的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征，参照所述人脸色彩特征集中的所述本征值，估计所述一幅数字图像或一帧视频图像中含有的所述用户人脸的照明的色温及色彩。

2.如权利要求1所述的装置，其特征在于，当所述电子媒体装置工作在多用户模式下时，对应于人脸色彩特征集中不同用户设置不同的优先权级别；当图像中检测出多个用户人脸时候，按所述优先权级别高低按由高至低的次序来优先实现色彩还原和/或色彩增强的效果。

3.如权利要求1所述的装置，其特征在于，所述人脸色彩特征集获取模块由用户或系统服务程序启动或更新，包含至少下述一种模式：

模式一、在多种标测光源的每一种标测光源下拍摄含有用户人脸的图像，提取对应于所述每一种标测光源的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集；或在多种照明的每一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像，并利用所述参考色彩表面测定所述每一种照明的色温及色彩，提取对应于所述每一种照明的色温及色彩的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集；

模式二、在一种标测光源下拍摄含有用户人脸的图像，提取对应于所述标测光源的所述用户的人脸肤色色彩特征至人脸色彩特征集, 或在一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像，并利用所述参考色彩表面测定所述照明的色温及色彩，提取对应于所述一种照明的色温及色彩的所述用户的人脸肤色色彩特征至人脸色彩特征集,结合人脸肤色色彩特征经验统计数据来获取所述用户人脸肤色在多种标测光源下或多种照明下的本征值至人脸色彩特征集；

模式三、通过机器学习的方法获取用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的本征值至人脸色彩特征集。

4.如权利要求1所述的装置，其特征在于，所述一个或多个电子媒体设备中任一个电子媒体设备能够实现所述人脸色彩特征集获取模块、所述图像获取模块、所述人脸照明的色温及色彩估计模块中至少一个模块的部分或全部功能。

5.一种电子媒体设备，其特征在于：包含至少一个前置工作模式的摄像头，所述电子媒体设备参照人脸色彩特征实现所述摄像头的自动白平衡、色彩校正、色彩增强中的一项或多项，包括以下的步骤：

步骤一、获取包含至少一个用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的人脸色彩特征集；

步骤二、获取需要进行自动白平衡、色彩校正、色彩增强中的一项或多项的一幅数字图像或一帧视频图像；

步骤三、确认所述一幅数字图像或一帧视频图像中含有的用户人脸，且所述人脸色彩特征集中已获取所述用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征；提取所述一幅数字图像或一帧视频图像中含有的所述用户人脸的所述至少一个部位的色彩特征，参照所述人脸色彩特征集中已获取的所述用户人脸的所述至少一个部位的色彩特征的本征值，估计所述一幅数字图像或一帧视频图像中含有的所述用户人脸的照明的色温及色彩；

步骤四、估计所述一幅数字图像或一帧视频图像的非所述用户人脸部分的照明色温及色彩；参照非所述用户人脸的图像部分的照明的色温及色彩，以及所述步骤三所估计的所述用户人脸的照明的色温及色彩，估计所述一幅数字图像或一帧视频图像的全图的照明色温及色彩；

步骤五、根据所述步骤三所估计的所述用户人脸的照明的色温及色彩，和/或所述步骤四所估计的所述非用户人脸的图像部分的照明色温及色彩，和/或所述步骤四所估计的所述全图的照明色温及色彩,参照所述人脸色彩特征集中所述用户人脸肤色、眼白和牙齿部位中所述至少一个部位的色彩特征的目标值和/或对应于非用户人脸的图像部分或全图的目标值，对所述一幅数字图像或一帧视频图像实现自动白平衡、色彩矫正、色彩增强中的一项或多项。

6.如权利要求5所述的电子媒体设备，其特征在于，所述步骤一由用户或系统服务程序启动或更新，包含至少下述一种模式：

模式一、在多种标测光源的每一种标测光源下拍摄含有用户人脸的图像，提取对应于所述每一种标测光源的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集；或在多种照明的每一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像，并利用所述参考色彩表面测定所述每一种照明的色温及色彩，提取对应于所述每一种照明的色温及色彩的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集；

模式二、在一种标测光源下拍摄含有用户人脸的图像，提取对应于所述标测光源的所述用户的人脸肤色色彩特征至人脸色彩特征集, 或在一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像，并利用所述参考色彩表面测定所述照明的色温及色彩，提取对应于所述一种照明的色温及色彩的所述用户的人脸肤色色彩特征至人脸色彩特征集,结合人脸肤色色彩特征经验统计数据来获取所述用户人脸肤色在多种标测光源下或多种照明下的本征值至人脸色彩特征集；

模式三、通过机器学习的方法获取用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集。

7.如权利要求5所述的电子媒体设备，其特征在于, 所述前置工作模式的摄像头的估计照明色温及色彩包含协助所述电子媒体设备的后置摄像头的自动白平衡的工作模式；其中，当所述电子媒体设备的后置摄像头自动白平衡对照明色温和色彩的估计的置信度低时，所述后置摄像头向所述电子媒体设备的系统控制器发出请求启动所述前置工作模式的摄像头的自动白平衡获取照明的色温及色彩估计信息，所述系统控制器在系统资源许可时，启动所述前置工作模式的摄像头的自动白平衡获取照明的色温及色彩估计信息；其中，所述前置工作模式的摄像头的自动白平衡协助所述电子媒体设备的所述后置摄像头的自动白平衡的工作模式是常态的或者是间隙的；其中，如果所述前置工作模式的摄像头和所述后置摄像头同时工作且视场的照明相同或相关,所述发出请求的后置摄像头采用或参考所述前置工作模式的摄像头的所述对照明的色温及色彩估计信息进行自动白平衡；其中，判断所述前置工作模式的摄像头和所述后置摄像头视场的照明相同或相关的条件包含：

判定所述前置工作模式的摄像头的场景和所述后置摄像头的视场同为室内或室外；和/或判定所述前置工作模式的摄像头的场景和所述后置摄像头的场景与摄像头的距离；和/或判定在所述前置工作模式的摄像头的场景中检测到的照明光源与所述后置摄像头的白平衡模块估计的环境照明光源相同或相近；和/或判定所述前置工作模式的摄像头与所述后置摄像头估计的环境照明光源相同或相近。

8.如权利要求5所述的电子媒体设备，其特征在于, 所述摄像头在多用户模式下，对应于人脸色彩特征集中不同用户设置不同的优先权级别；当图像中检测出多个用户人脸时候，按所述优先权级别高低按由高至低的次序来优先实现色彩还原和/或色彩增强的效果。

9.一种估计照明色温及色彩的方法，其特征在于，包括以下步骤：

步骤一、获取包含至少一个用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的人脸色彩特征集；

步骤二、获取一幅数字图像或一帧视频图像；

步骤三、确认所述一幅数字图像或一帧视频图像中含有的用户人脸，且所述人脸色彩特征集中已获取所述用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的本征值；提取所述一幅数字图像或一帧视频图像中含有的所述用户人脸的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征，参照所述人脸色彩特征集中的所述本征值，估计所述一幅数字图像或一帧视频图像中含有的所述用户人脸的照明的色温及色彩。

10.如权利要求9所述的方法，其特征在于，所述方法还包括：

在多用户模式下，对应于人脸色彩特征集中不同用户设置不同的优先权级别；当图像中检测出多个用户的人脸时候，按所述优先权级别高低次序来优先实现色彩还原和/或增强的效果。

11.如权利要求9所述的方法，

其特征在于，所述步骤一由用户或系统服务程序启动或更新，包含至少下述一种模式：

模式一、在多种标测光源的每一种标测光源下拍摄含有用户人脸的图像，提取对应于所述每一种标测光源的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集；或在多种照明的每一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像，并利用所述参考色彩表面测定所述每一种照明的色温及色彩，提取对应于所述每一种照明的色温及色彩的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集；

模式二、在一种标测光源下拍摄含有用户人脸的图像，提取对应于所述标测光源的所述用户的人脸肤色色彩特征至人脸色彩特征集, 或在一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像，并利用所述参考色彩表面测定所述照明的色温及色彩，提取对应于所述一种照明的色温及色彩的所述用户的人脸肤色色彩特征至人脸色彩特征集,结合人脸肤色色彩特征经验统计数据来获取所述用户人脸肤色在多种标测光源下或多种照明下的本征值至人脸色彩特征集；

模式三、通过机器学习的方法获取用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集。

12.一种电子媒体设备的图像处理的方法，其特征在于，包括参照人脸色彩特征估计人脸的照明的色温及色彩，对数字图像和/或视频媒体进行自动白平衡、色彩矫正、色彩增强中的一项或多项；

所述参照人脸色彩特征估计人脸的照明的色温及色彩，对数字图像和/或视频媒体进行自动白平衡、色彩矫正、色彩增强中的一项或多项，包括以下步骤：

步骤一、获取包含至少一个用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的人脸色彩特征集；

步骤二、获取一幅数字图像或一帧视频图像；

步骤三、确认所述一幅数字图像或一帧视频图像中含有的用户人脸，且所述人脸色彩特征集中已获取所述用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征；提取所述一幅数字图像或一帧视频图像中含有的所述用户人脸的所述至少一个部位的色彩特征，参照所述人脸色彩特征集中已获取的所述用户人脸的所述至少一个部位的色彩特征的本征值，估计所述一幅数字图像或一帧视频图像中所述用户人脸的照明的色温及色彩;

步骤四、估计所述一幅数字图像或一帧视频图像的非所述用户人脸部分的照明色温及色彩；参照非所述用户人脸的图像部分的照明的色温及色彩，以及所述步骤三所估计的所述用户人脸的照明的色温及色彩，估计所述一幅数字图像或一帧视频图像的全图的照明色温及色彩；

步骤五、根据所述步骤三所估计的所述用户人脸的照明的色温及色彩，和/或所述步骤四所估计的所述非用户人脸的图像部分的照明色温及色彩，和/或所述步骤四所估计的所述全图的照明色温及色彩,参照所述人脸色彩特征集中所述用户人脸肤色、眼白和牙齿部位中所述至少一个部位的色彩特征的目标值和/或对应于非用户人脸的图像部分或/或全图的目标值对所述一幅数字图像或一帧视频图像实现自动白平衡、色彩矫正、色彩增强中的一项或多项。

13.如权利要求12所述的方法，其特征在于，在多用户模式下，对应于人脸色彩特征集中不同用户设置不同的优先权级别；当图像中检测出多个用户的人脸时候，按所述优先权级别高低次序来优先实现色彩还原和/或增强的效果。

14.如权利要求12所述的方法，其特征在于，包含由一个或多个电子媒体设备实现，所述一个或多个电子媒体设备中任一个电子媒体设备能够实现所述步骤一至步骤五中至少任一步骤的部分或全部。

15.如权利要求13所述的方法，其特征在于，所述步骤一由用户或系统服务程序启动或更新，包含至少下述一种模式：

模式一、在多种标测光源的每一种标测光源下拍摄含有用户人脸的图像，提取对应于所述每一种标测光源的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集；或在多种照明的每一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像，并利用所述参考色彩表面测定所述每一种照明的色温及色彩，提取对应于所述每一种照明的色温及色彩的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集；

模式二、在一种标测光源下拍摄含有用户人脸的图像，提取对应于所述标测光源的所述用户的人脸肤色色彩特征至人脸色彩特征集, 或在一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像，并利用所述参考色彩表面测定所述照明的色温及色彩，提取对应于所述一种照明的色温及色彩的所述用户的人脸肤色色彩特征至人脸色彩特征集,结合人脸肤色色彩特征经验统计数据来获取所述用户人脸肤色在多种标测光源下或多种照明下的本征值至人脸色彩特征集；

模式三、通过机器学习的方法获取用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集。