CN101694691A - 一种人脸图像合成方法及装置 - Google Patents

Abstract

本发明提供了一种人脸图像合成方法及装置，可以不受光源局限性的影响，合成各种复杂光照条件下的人脸图像。所述方法利用自然光源下的图像，通过分析人脸图像的亮度分布，确定不同光照条件之间的变换关系，即建立不同光照条件之间的亮度变换矩阵，来进行图像的光照条件变化。所述亮度变换矩阵的建立，不受训练场景的限制，不受光源局限性的影响，因此，利用所述变换关系，能够实现图像在各种所需要的光照条件之间变化。

Description

一种人脸图像合成方法及装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种确定不同光照条件之间图像变换关系的方法、一种人脸图像合成方法及装置。

背景技术

人脸识别是指对给定的包含人脸的图像，通过某种方式与已知人脸库中存储的模型进行匹配比较，确定是否是库中某一人物，如果是则给出最佳匹配的库中人物。人脸识别在很多场合都有重要的作用，除了用于身份识别和验证之外，还可用于图像库的检索。然而，光照条件的变化会引起人脸图像的巨大变化，使得同一人脸的相似程度大大降低，而不同人脸的相似程度增加，因此光照条件的变化大大降低了人脸识别的准确度。

现有的解决方法是将待识别图像与人脸库中存储的图像变换到相同或相似的光照条件下，然后进行匹配，从而降低光照变化对人脸识别率的影响。例如，将待识别图像变换到库中图像的光照条件下，再进行匹配识别。

目前，常用来得到不同光照条件下人脸图像的方法，只能合成某些光照条件下的人脸图像，不能得到多种光照条件下的人脸图像。例如，建立光照模型的方法，如朗博光照模型、phong光照模型等，光照模型通过模拟环境中的光源，来生成不同光照条件下的人脸图像。由于模拟光源的有限性，使得这种方法对于许多光照条件无法较好的进行模拟，因此，对于许多光照条件下的人脸图像，建立光照模型的方法无法进行合成。同时，光照模型的建立对训练场景也有较强的依赖性。

发明内容

本发明所要解决的技术问题是提供一种人脸图像合成方法及装置，可以不受光源局限性的影响，合成各种复杂光照条件下的人脸图像。

本发明还提供了一种确定不同光照条件之间图像变换关系的方法及装置，能够实现图像在各种所需要的光照条件之间变化。

为了解决上述问题，本发明公开了一种确定不同光照条件之间图像变换关系的方法，包括：

选择多幅不同光照条件下的人脸图像，对所有人脸图像进行预处理，得到具有平均形状的训练人脸库；

对所述训练人脸库中具有平均形状的人脸图像，按照光照条件进行分类；

利用每个类别中具有平均形状的人脸图像，计算每种光照条件下的亮度平均脸；

将任意两种光照条件下的亮度平均脸进行计算，得到所述任意两种光照条件之间的亮度变换矩阵。

其中，所述对所有人脸图像进行预处理，得到具有平均形状的训练人脸库，包括：对所有人脸图像分别进行人脸检测和面部关键点定位，利用面部关键点位置表示人脸形状；将所有的人脸形状平均，得到人脸的平均形状；将所有的人脸形状拉伸到所述平均形状，得到具有平均形状的训练人脸库。

其中，所述亮度平均脸的计算，包括：对所述具有平均形状的人脸图像进行相加求和，用所得到的和除以用来相加的人脸图像的个数，得到亮度平均脸。

优选的，所述对训练人脸库中具有平均形状的人脸图像，按照光照条件进行分类，包括：利用训练人脸库中具有平均形状的人脸图像，计算所有人脸图像的亮度平均脸，该亮度平均脸表示均匀光照条件下的亮度平均脸；分别计算所述具有平均形状的人脸图像与所述均匀光照条件下的亮度平均脸之间的亮度差异图，根据所述亮度差异图确定该人脸的光照条件；利用所述亮度差异图对相似的光照条件进行合并，并将所述人脸图像按照合并后的光照条件进行分类。

其中，所述亮度差异图的计算，包括：亮度差异图由多个不同的像素点组成，分别对亮度差异图中每个像素点计算小邻域的亮度差异和，得到亮度差异图。

优选的，所述方法还包括：将每种光照条件下的亮度平均脸分别与所述均匀光照条件下的亮度平均脸对应像素之间求比值，得到每种光照条件与所述均匀光照条件之间的亮度变换矩阵。

其中，通过以下方式得到所述任意两种光照条件之间的亮度变换矩阵：将任意一种光照条件与所述均匀光照条件之间的亮度变换矩阵，与另一种光照条件与所述均匀光照条件之间的亮度变换矩阵对应元素之间求比值，得到所述任意两种光照条件之间的亮度变换矩阵。

优选的，所述方法还包括：根据人脸形状的相似性进行分组，然后将每组的人脸形状平均，得到对应每组的人脸平均形状。

本发明还提供了一种人脸图像合成方法，包括：

对给定的人脸图像进行预处理，得到具有平均形状的人脸图像；

确定所述具有平均形状的人脸图像的原光照条件；

利用预置的目标光照条件与所述原光照条件之间的亮度变换矩阵，对所述原光照条件下具有平均形状的人脸图像进行光照条件变换，得到目标光照条件下具有平均形状的人脸图像。

优选的，得到目标光照条件下具有平均形状的人脸图像之后，还包括：将所述目标光照条件下具有平均形状的人脸图像拉伸回原来的人脸形状，得到所述给定的人脸图像在目标光照条件下的人脸图像。

优选的，所述将目标光照条件下具有平均形状的人脸图像拉伸回原来的人脸形状之后，还包括：对拉伸回原来人脸形状的人脸图像加入色度信息。

其中，通过以下方式预置目标光照条件与所述原光照条件之间的亮度变换矩阵：选择多幅不同光照条件下的人脸图像，对所有人脸图像进行预处理，得到具有平均形状的训练人脸库；利用训练人脸库中具有平均形状的人脸图像，计算所有人脸图像的亮度平均脸，该亮度平均脸表示均匀光照条件下的亮度平均脸；利用均匀光照条件下的亮度平均脸，对所述训练人脸库中具有平均形状的人脸图像按照光照条件进行分类；利用每个类别中具有平均形状的人脸图像，计算每种光照条件下的亮度平均脸；将任意两种光照条件下的亮度平均脸进行计算，得到所述任意两种光照条件之间的亮度变换矩阵，所述任意两种光照条件包括原光照条件与目标光照条件。

其中，所述目标光照条件为均匀光照条件或非均匀光照条件；当所述目标光照条件为均匀光照条件时，所述目标光照条件与所述原光照条件之间的亮度变换矩阵通过以下方式预置：将原光照条件下的亮度平均脸与所述均匀光照条件下的亮度平均脸对应像素之间求比值，得到原光照条件与所述均匀光照条件之间的亮度变换矩阵。

优选的，所述给定的人脸图像为二维人脸图像。

本发明还提供了一种确定不同光照条件之间图像变换关系的装置，包括：

训练人脸库建立模块，用于选择多幅不同光照条件下的人脸图像，对所有人脸图像进行预处理，得到具有平均形状的训练人脸库；

光照条件分类模块，用于对所述训练人脸库中具有平均形状的人脸图像，按照光照条件进行分类；

亮度平均脸计算模块，用于利用每个类别中具有平均形状的人脸图像，计算每种光照条件下的亮度平均脸；

亮度变换矩阵计算模块，用于将任意两种光照条件下的亮度平均脸进行计算，得到所述任意两种光照条件之间的亮度变换矩阵。

优选的，所述光照条件分类模块包括：

计算子单元，用于利用训练人脸库中具有平均形状的人脸图像，计算所有人脸图像的亮度平均脸，该亮度平均脸表示均匀光照条件下的亮度平均脸；

光照条件确定子单元，用于分别计算所述具有平均形状的人脸图像与所述均匀光照条件下的亮度平均脸之间的亮度差异图，根据所述亮度差异图确定该人脸的光照条件；

光照条件分类子单元，用于利用所述亮度差异图对相似的光照条件进行合并，并将所述人脸图像按照合并后的光照条件进行分类。

优选的，所述装置还包括：

亮度变换矩阵组合模块，用于将一种光照条件与所述均匀光照条件之间的亮度变换矩阵，与另一种光照条件与所述均匀光照条件之间的亮度变换矩阵对应元素之间求比值，得到所述两种光照条件之间的亮度变换矩阵。

优选的，所述装置还包括：

人脸图像分组模块，用于根据人脸形状的相似性进行分组，然后将每组的人脸形状平均，得到对应每组的人脸平均形状。

本发明还提供了一种人脸图像合成装置，包括：

预处理模块，用于对给定的人脸图像进行预处理，得到具有平均形状的人脸图像；

原光照条件确定模块，用于确定所述具有平均形状的人脸图像的原光照条件；

光照条件变换模块，用于利用预置的目标光照条件与所述原光照条件之间的亮度变换矩阵，对所述原光照条件下具有平均形状的人脸图像进行光照条件变换，得到目标光照条件下具有平均形状的人脸图像。

优选的，所述装置还包括：

人脸形状还原模块，用于将所述目标光照条件下具有平均形状的人脸图像拉伸回原来的人脸形状，得到所述给定的人脸图像在目标光照条件下的人脸图像。

优选的，所述装置还包括：

彩色图像重构模块，用于对拉伸回原来人脸形状的人脸图像加入色度信息。

与现有技术相比，本发明具有以下优点：

首先，本发明利用自然光源下的图像，通过分析人脸图像的亮度分布，确定不同光照条件之间的变换关系，即建立不同光照条件之间的亮度变换矩阵，来进行图像的光照条件变化。所述亮度变换矩阵的建立，不受训练场景的限制，不受光源局限性的影响，因此，利用所述变换关系，能够实现图像在各种所需要的光照条件之间变化。

其次，本发明在人脸合成的过程中，通过利用预置的亮度变换矩阵，能把给定的人脸图像变换到各种所需要的光照条件，例如，可以变换到均匀光照条件，或者通过亮度变换矩阵的组合，变换到某种特定的光照条件，从而，较好的合成多种不同光照条件的人脸图像。而且，本发明在二维图像上进行合成，降低了复杂度，减少了运算量，也降低了对训练样本的要求。

附图说明

图1是本发明实施例一所述一种确定不同光照条件之间图像变换关系的方法流程图；

图2是本发明本实施例二所述一种人脸图像合成方法流程图；

图3是本发明实施例所述一种确定不同光照条件之间图像变换关系的装置结构图；

图4是本发明实施例所述一种人脸图像合成装置结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

减少不同光照条件对人脸识别结果的影响，总体思想是使进行匹配的人脸图像的光照条件是相似或者相同的。一种方法是在入库时对已有的一幅人脸图像合成多张不同光照的图像进行入库，这样库中就会含有同一个人的不同光照的多幅人脸图像，待识别人脸图像不论处于何种光照条件下都有可能与库中的某幅人脸图像的光照条件类似，因此这两幅人脸图像之间可以获得比较好的匹配度。也可以对待识别人脸图像进行合成得到多幅不同光照条件下的人脸图像，然后对这多幅人脸图像分别识别，而这多幅人脸图像中很可能含有与其库中对应的图像的光照条件相似的人脸图像，这两幅人脸图像也将会获得比较好的匹配度。另一种方法是合成某一固定光照条件下的人脸图像，即把库中的人脸图像都变换到某一光照条件，待识别人脸图像也变换到该光照条件，然后再进行识别。

本发明的核心思想在于，通过分析人脸图像的亮度分布，确定不同光照条件之间的变换关系，来实现合成不同光照条件下的人脸图像。首先，根据已有的多幅不同光照条件下的人脸图像进行处理，得到具有平均形状的人脸图像；然后，计算不同光照条件下平均形状人脸图像的亮度分布，根据此亮度分布建立平均形状人脸从均匀光照条件变换到不同的光照条件下的变换关系。对于给定的人脸图像，利用这些变换关系，可以变换到多种所需要的光照条件，从而合成不同光照条件的人脸图像。本发明利用自然光源下的图像来确定不同光照条件之间的变换关系，实现图像在不同光照条件之间的变换，不需要建立光照模型来模拟光照条件。

实施例一：

本实施例将对本发明所述一种确定不同光照条件之间图像变换关系的方法进行详细说明。所述确定不同光照条件之间图像变换关系，一种实现方式为确定不同光照条件之间的亮度变换矩阵。

参照图1，示出了本实施例所述确定不同光照条件之间图像变换关系的方法流程图。

S101，选择多幅不同光照条件下的人脸图像，对所有人脸图像进行预处理，得到具有平均形状的训练人脸库；具体为：

第一步，选择多幅不同光照条件下的人脸图像作为训练样本，对所有人脸图像分别进行人脸检测和面部关键点定位，利用面部关键点位置表示人脸形状；人脸检测是从图像中获得图像中人脸的位置、大小等。在人脸检测方法中，依照时间顺序的发展有模板匹配模型、肤色模型、人工神经网络ANN(英文全称是Artificial Neural Network)模型、AdaBoost模型等方法。由于AdaBoost模型在速度与精度的综合性能上表现最好，本实施例将采用基于AdaBoost的方法进行人脸检测。对于关键点定位，眼睛、鼻子和嘴巴是最为关键的面部特征，尤其是眼睛，现有的多数系统均采用眼睛进行特征对齐，对其进行快速准确的定位尤为重要，因此，需要采用能够保证精度的方法来进行面部关键点定位。常用的方法有主动形状模型和主动外观模型等。由于基于AdaBoost的人脸检测方法和所述关键点定位的方法为公知内容，在此不再详述。

第二步，将所有的所述利用面部关键点位置表示的人脸形状进行平均，得到人脸的平均形状；所述人脸的平均形状为一种形状，而训练样本的多个人脸图像为各种不同形状；

第三步，将所有的人脸形状拉伸到所述平均形状，得到具有平均形状的训练人脸库。

本实施例将采用基于网格的图像拉伸将所有训练样本的人脸形状拉伸到所述平均人脸形状。常用的网格是三角形网格，生成三角形网格的方法可以是Delarny三角化，或者其他的生成三角形网格的方法。经过拉伸，可以获得具有平均形状的训练人脸库，库中的人脸图像都具有平均的人脸形状，而不同人脸其区别在于人脸的亮度分布及纹理等特征不同。

现有技术中还可能采用人工标定的方式来获得人脸的平均形状，而本实施例可以自动处理已有的训练样本，不需要人工干预。

S102，利用训练人脸库中具有平均形状的人脸图像，计算所有人脸图像的亮度平均脸，该亮度平均脸表示均匀光照条件下的亮度平均脸；

不考虑光源的颜色，不同的光照环境影响的只是图像的亮度，因此，上述拉伸过程如果只进行亮度图的拉伸，将得到具有平均形状的人脸亮度图。然后将具有平均形状的人脸亮度图进行平均，可以得到亮度平均脸。由于多幅不同光照条件下的人脸图像的平均图像与均匀光照条件下得到的图像亮度分布相似，因此可以将此亮度平均脸作为平均形状人脸在均匀光照条件下的人脸图像。所述亮度平均脸为一个图像。

计算公式如下：

上式中，I_均匀是均匀光照条件下的亮度平均脸，X为人脸库中的人脸个数，I_x为人脸库中第x幅人脸，(i，j)为第x幅人脸中像素的坐标。

需要说明的是，此处进行的平均与预处理过程中进行的平均不同：预处理过程进行的是用面部关键点位置表示的人脸形状的平均，得到的是所有人脸的平均形状；而本步骤进行的是人脸图像的亮度平均，得到的是所有图像的亮度平均脸。计算方法为：

针对所述训练人脸库中所有具有平均形状的人脸图像(即亮度图)，对同一像素点的像素值进行相加求和，用所得到的和除以用来相加的人脸图像的个数，即可得到该像素点的亮度平均值；人脸图像上所有的像素点按照所述方法求值即可构成亮度平均脸。

S103，对所述训练人脸库中具有平均形状的人脸图像，按照光照条件进行分类；

第一步，确定所述训练人脸库中所有具有平均形状的人脸图像的光照条件；

确定光照条件的方法有多种。例如，可以通过建立密集网格的方法或者建立光照模型的方法来确定光照条件，还可以通过计算确定空间中点光源和面光源的位置，来确定光照条件。本实施例将采用亮度差异图来确定光照条件。为了减少噪声的影响，优选的，可以先对所述具有平均形状的人脸图像进行低通滤波，如均值滤波、中值滤波等。为了使图像之间具有亮度的可比性，可以先归一化图像的平均亮度，可以利用的方法有乘以某个系数、直方图规定化等。再分别计算所述具有平均形状的人脸图像与所述均匀光照条件下的亮度平均脸之间的亮度差异图，然后找出图中亮度差异和的峰值和谷值，峰值对应的为正光源，谷值对应的为反光源，以此确定该人脸图像的光照条件，从而可以确定出训练样本中的每个人脸图像都属于哪种光照条件。

亮度差异图由多个不同的像素点组成，分别对亮度差异图中每个像素点计算小邻域的亮度差异和，可得到亮度差异图中的峰谷值。设亮度差异表示为E(i，j)，则每个像素点(i，j)对应的小邻域的亮度差异和Sij为：

$\mathrm{Sij}=\underset{m=-h}{\overset{h}{\mathrm{\Σ}}}\underset{n=-w}{\overset{w}{\mathrm{\Σ}}}E(i+m,j+n);$

上式计算了以点(i，j)为中心的、宽度为2*w+1、高度为2*h+1的小邻域的亮度差异和Sij，其中的E(i+m，j+n)表示两幅图在像素点(i，j)的亮度差异，将以点(i，j)为中心的、宽度为2*w+1、高度为2*h+1的小邻域的亮度差异E(i+m，j+n)求和，即得到Sij。

举例说明，如果将人脸库中的任意一幅平均形状的人脸图像U与均匀光照条件下的亮度平均脸V计算亮度差异图，则将所述两幅图中同一像素位置按照上述公式计算小邻域的亮度差异和Sij，计算完所有像素点的Sij就得到了该幅人脸图像U的亮度差异图。其中的E(i+m，j+n)表示这两幅图在像素点(i，j)的亮度差异。

第二步，利用所述亮度差异图对相似的光照条件进行合并，并将所述人脸图像按照合并后的光照条件进行分类；

为了便于后续的处理，光照条件类别的个数不能过多；同时，为了保证光照条件的区分情况，光照条件的类别也不能太少；通常以十几到几十类为宜。因此，可以将正反光源位置相似的或者相同的光照条件合并为同一个光照条件。本实施例将利用聚类的方法，根据聚类的结果确定光照环境的种类。聚类的方法有Kmean(K平均方法)，ISODATA(Iterative Self-Organizing DataAnalysis Technology Algorithm，即迭代自组织数据分析算法)等。利用聚类的方法，可以将光源分布相似的光照条件自动聚类，达到合并相似光照条件的目的。由所述亮度差异图确定了每个人脸图像的正光源、反光源位置之后，根据正光源、反光源的位置，按照合并后的光照条件，就可对人脸图像进行分类。

S104，利用每个类别中具有平均形状的人脸图像，计算每种光照条件下的亮度平均脸；

每个类别对应一种光照条件，将每个类别中具有平均形状的人脸图像进行平均，可以得到每个类别的亮度平均脸。具体计算方法为：

$\stackrel{\‾}{I}(i,j)=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{I}_n(i,j);$

上式中，I是某一类的亮度平均脸，N为该类中的人脸个数，I_n为此类中第n幅人脸，(i，j)为像素的坐标。

S105，将每种光照条件下的亮度平均脸分别与所述均匀光照条件下的亮度平均脸进行计算，得到每种光照条件与所述均匀光照条件之间的亮度变换矩阵。

将每个类别的亮度平均脸分别与所述所有人脸图像的亮度平均脸对应像素之间求比值，得到每种光照条件与所述均匀光照条件之间的亮度变换矩阵。

设所有人脸图像的亮度平均脸为M，第n类光照条件的亮度平均脸为Mn，均匀光照条件到第n类光照条件的亮度变换矩阵为Tn，则：

$T_n(i,j)=\frac{M_n(i,j)}{M(i,j)}.$

如果将上述计算公式取倒数，即得到第n类光照条件到均匀光照条件的亮度变换矩阵。

得到所述每种光照条件与所述均匀光照条件之间的亮度变换矩阵，即确定了不同光照条件之间的图像变换关系。利用所述亮度变换矩阵，可以把人脸图像变换到均匀光照条件下，还可以把均匀光照条件下的人脸图像变换到所需要的各种光照条件下。例如，如果要把人脸图像从一种光照条件变换到另一种光照条件，可以先利用所述一种光照条件与均匀光照条件之间的亮度变换矩阵，把所述人脸图像变换到均匀光照条件；再利用所述另一种光照条件与均匀光照条件之间的亮度变换矩阵，把均匀光照条件下的人脸图像变换到所述另一种光照条件。

本实施例优选的，还可以对各种光照条件与所述均匀光照条件之间的亮度变换矩阵进行组合，得到各种光照条件之间的直接的亮度变换矩阵。具体实现方法为：将一种光照条件与所述均匀光照条件之间的亮度变换矩阵，与另一种光照条件与所述均匀光照条件之间的亮度变换矩阵对应元素之间求比值，得到所述两种光照条件之间的亮度变换矩阵。

例如，设第n类光照条件与所述均匀光照条件之间的亮度变换矩阵为Tn，第m类光照条件与所述均匀光照条件之间的亮度变换矩阵为Tm，则第m类到第n类的亮度变换矩阵为：

$T_{\mathrm{mn}}(i,j)=\frac{T_n(i,j)}{T_m(i,j)}=\frac{1}{T_{\mathrm{nm}}(i,j)};$

相应的，第n类光照条件到第m类光照条件的亮度变换矩阵为上述公式取倒数。

此时，如果需要把人脸图像从一种光照条件变换到另一种光照条件，则利用所述两种光照条件之间的亮度变换矩阵就能实现。

根据上述第m类与第n类光照条件的亮度变换矩阵计算公式，还可以得出本发明的另一优选实施例，计算公式如下：

$T_{\mathrm{mn}}(i,j)=\frac{M_n(i,j)}{M_m(i,j)}=\frac{1}{T_{\mathrm{nm}}(i,j)}$

在获得第m类和第n类光照条件亮度平均脸Mm、Mn的情况下，直接将第m类光照条件下的亮度平均脸Mm与第n类光照条件下的亮度平均脸Mn对应像素之间求比值，就可以直接计算出第m类与第n类光照条件的亮度变换矩阵Tmn。所述变换过程不需要Tm和Tn。

上述方法建立了平均的人脸形状形成的二维人脸图像与光照条件之间的对应关系，相当于用平均的人脸形状来模拟任意人脸形状。实际上，人脸是一个三维结构，且每个人的三维模型不完全相同，相同的光照条件对不同人的影响是不完全相同的。比如，由于鼻子形状和高低的不同，不同人在相同光照条件下的鼻梁的阴影是不同的。

为了提高光照条件变化的精度和准确度，本实施例优选的，根据人脸形状的相似性进行分组，然后将每组的人脸形状平均，得到对应每组的人脸平均形状，再建立对应每组的亮度变换矩阵。具体方法为：

将多幅不同光照条件下的人脸图像根据某些规则进行分组，如可以根据人脸形状的相似性进行分组，然后对每组人脸图像分别按照图1所示流程进行处理，得到对应每组人脸图像的亮度变换矩阵。对于给定的待变换的人脸图像，先判断其属于哪个人脸图像组，再利用该组对应的亮度变换矩阵进行光照条件的变换。例如，可以建立亚洲人、欧洲人、非洲人三组不同的人脸图像对应的亮度变换矩阵。对于给定的待变换的人脸图像，如果属于亚洲人的人脸图像组，就利用亚洲人这一组人脸图像对应的亮度变换矩阵进行光照条件的变换。

上述实施例是对二维图像进行处理，因此降低了复杂度，减少了运算量，也降低了对训练样本的要求。

实施例二：

本实施例将对本发明所述一种人脸图像合成方法进行详细说明。本实施例所述人脸图像合成方法的基本原理为：对给定的人脸图像，利用预置的亮度变换矩阵进行变换，得到目标光照条件下的人脸图像。所述目标光照条件可以是均匀光照条件，也可以是非均匀光照条件。

参照图2，示出了本实施例所述一种人脸图像合成方法流程图。

S201，对给定的人脸图像进行预处理，得到具有平均形状的人脸图像；

首先，对于给定的需要进行光照条件变化的人脸图像进行人脸检测，得到图像中人脸的位置、大小等信息；

然后，对确定了人脸信息的人脸图像进行关键点定位，并采用网格拉伸的方法，把用所述关键点位置表示的人脸图像变换到平均形状。

S202，确定所述具有平均形状的人脸图像的原光照条件；

本实施例将采用亮度差异图来确定光照条件。

第一步，计算所述具有平均形状的人脸图像与预置的均匀光照条件下的亮度平均脸之间的亮度差异图。亮度差异图由多个不同的像素点组成，分别对亮度差异图中每个像素点计算小邻域的亮度差异和Sij。设亮度差异表示为E(i，j)，则每个像素点(i，j)对应的小邻域的亮度差异和Sij为：

$\mathrm{Sij}=\underset{m=-h}{\overset{h}{\mathrm{\Σ}}}\underset{n=-w}{\overset{w}{\mathrm{\Σ}}}E(i+m,j+n);$

上式计算了以点(i，j)为中心的、宽度为2*w+1、高度为2*h+1的小邻域的亮度差异和Sij，其中的E(i+m，j+n)表示两幅图在像素点(i，j)的亮度差异，将以点(i，j)为中心的、宽度为2*w+1、高度为2*h+1的小邻域的亮度差异E(i+m，j+n)求和，即得到Sij

第二步，找出所述亮度差异图中亮度差异和的峰值和谷值，峰值对应的为正光源，谷值对应的为反光源，可以将正反光源位置相似的或者相同的光照条件合并为同一个光照条件，以此确定该人脸图像的光照条件。

S203，利用预置的目标光照条件与所述原光照条件之间的亮度变换矩阵，对所述原光照条件下具有平均形状的人脸图像进行光照条件变换，得到目标光照条件下具有平均形状的人脸图像；

设原光照条件下具有平均形状的人脸图像为I，目标光照条件下具有平均形状的人脸图像为I’，预置的目标光照条件与所述原光照条件之间的亮度变换矩阵为Tn，则：

I′(i，j)＝I(i，j)*T_n(i，j)；

由第m类的光照条件的图像Im到第n类的图像Im的变换公式为：

I_n(i，j)＝I_m(i，j)*T_mn(i，j)。

所述目标光照条件为均匀光照条件或非均匀光照条件；当所述目标光照条件为均匀光照条件时，原光照条件与均匀光照条件之间的亮度变换矩阵即为目标光照条件与所述原光照条件之间的亮度变换矩阵；当所述目标光照条件为非均匀光照条件时，所述目标光照条件与所述原光照条件之间的亮度变换矩阵可以通过以下两种方式预置：一种方式是：将原光照条件与均匀光照条件之间的亮度变换矩阵，与目标光照条件与均匀光照条件之间的亮度变换矩阵求比值，得到目标光照条件与原光照条件之间的亮度变换矩阵；

另一种方式是：直接将目标光照条件与原光照条件之间的亮度平均脸对应像素之间求比值，得到所述两种光照条件之间的亮度变换矩阵。

S204，将所述目标光照条件下具有平均形状的人脸图像拉伸回原来的人脸形状，得到所述给定的人脸图像在目标光照条件下的人脸图像。

本步骤为优选步骤，在得到目标光照条件下具有平均形状的人脸图像后，就能进行人脸识别；也可以把目标光照条件下具有平均形状的人脸图像后拉伸回原来的人脸形状后，再进行人脸识别。采用网格拉伸的方法对目标光照条件下的平均形状人脸图像进行拉伸，就能得到原来的人脸形状。此处的拉伸与预处理过程中的拉伸是互逆变换。

上述人脸合成方法，通过利用预置的亮度变换矩阵，能把给定的人脸图像变换到均匀光照条件，或者是变换到某种特定的光照条件，从而合成多种不同光照条件的人脸图像。所述方法能够对自然光源复杂光照条件下的图像进行合成，降低了光照变化对人脸识别的影响。

本实施例优选的，对拉伸回原来人脸形状的人脸图像加入色度信息，以重构彩色图像。如果原图为亮度图，此步骤省略。不同的光源对物体色彩的影响程度不同，因此对于成像色度的影响不同，具体影响可以通过光源的色温等进行计算。本实施例只考虑光照条件变化对图像亮度的影响，而不考虑对色度的影响，本实施例中光照条件变化前后图像的色度不发生变化。因此，将原输入图像的色度加到上述变换后的人脸亮度图上，就能得到目标光照条件下的彩色人脸图像。具体方法为：

设原始输入图像为彩色图像，其红绿蓝三基色的分量图像分别为R(i，j)、G(i，j)、B(i，j)，转化为亮度图像I(i，j)，I(i，j)＝αR(i，j)+βG(i，j)+γB(i，j)，其中α+β+γ＝1。当得到光照条件变换后的亮度图像I’(i，j)，则光照条件变换后的三基色的分量图像分别为R’(i，j)、G(i，j)、G(i，j)，则有：

$R^{\′}(i,j)=\frac{I^{\′}(i,j)*R(i,j)}{\mathrm{\αR}(i,j)+\mathrm{\βG}(i,j)+\mathrm{\γB}(i,j)};$

$G^{\′}(i,j)=\frac{I^{\′}(i,j)*G(i,j)}{\mathrm{\αR}(i,j)+\mathrm{\βG}(i,j)+\mathrm{\γB}(i,j)};$

$B^{\′}(i,j)=\frac{I^{\′}(i,j)*B(i,j)}{\mathrm{\αR}(i,j)+\mathrm{\βG}(i,j)+\mathrm{\γB}(i,j)}.$

针对上述一种确定不同光照条件之间图像变换关系方法的实施例，本发明还提供了相应的装置实施例。

参照图3，是本发明实施例所述一种确定不同光照条件之间图像变换关系的装置结构图。所述装置主要包括：

训练人脸库建立模块U31，用于选择多幅不同光照条件下的人脸图像，对所有人脸图像进行预处理，得到具有平均形状的训练人脸库；

光照条件分类模块U32，用于对所述训练人脸库中具有平均形状的人脸图像，按照光照条件进行分类；

亮度平均脸计算模块U33，用于利用每个类别中具有平均形状的人脸图像，计算每种光照条件下的亮度平均脸；

亮度变换矩阵计算模块U34，用于将任意两种光照条件下的亮度平均脸进行计算，得到所述任意两种光照条件之间的亮度变换矩阵。

其中，所述训练人脸库建立模块U31具体包括：

面部关键点定位子单元，用于对所有人脸图像分别进行人脸检测和面部关键点定位，利用面部关键点位置表示人脸形状；

人脸平均形状计算子单元，用于将所有的人脸形状平均，得到人脸的平均形状；

人脸形状拉伸子单元，用于将所有的人脸形状拉伸到所述平均形状，得到具有平均形状的训练人脸库。

其中，所述光照条件分类模块U32具体包括：

计算子单元U321，用于利用训练人脸库中具有平均形状的人脸图像，计算所有人脸图像的亮度平均脸，该亮度平均脸表示均匀光照条件下的亮度平均脸；

光照条件确定子单元U322，用于分别计算所述具有平均形状的人脸图像与所述均匀光照条件下的亮度平均脸之间的亮度差异图，根据所述亮度差异图确定该人脸的光照条件；具体包括：

亮度差异图计算子模块，用于分别对亮度差异图中每个像素点计算小邻域的亮度差异和，以得到亮度差异和的峰谷值。设亮度差异图为E(i，j)，则每个像素点(i，j)对应的小邻域的亮度差异和为：

$\mathrm{Sij}=\underset{m=-h}{\overset{h}{\mathrm{\Σ}}}\underset{n=-w}{\overset{w}{\mathrm{\Σ}}}E(i+m,j+n);$

上式计算了以点(i，j)为中心的、宽度为2*w+1、高度为2*h+1的小邻域的亮度差异和。

亮度差异图分析子模块，用于确定所述亮度差异图中亮度差异和的峰值和谷值，峰值对应的为正光源，谷值对应的为反光源，以此确定人脸图像的光照条件。

光照条件分类子单元U323，用于利用所述亮度差异图对相似的光照条件进行合并，并将所述人脸图像按照合并后的光照条件进行分类。

其中，所述亮度变换矩阵计算模块U34具体包括：

亮度变换矩阵计算子单元，用于将任意两种光照条件下的亮度平均脸对应像素之间求比值，得到所述任意两种光照条件之间的亮度变换矩阵。计算公式如下：

$T_{\mathrm{mn}}(i,j)=\frac{M_n(i,j)}{M_m(i,j)}=\frac{1}{T_{\mathrm{nm}}(i,j)}$

如果计算一种光照条件(指非均匀光照条件)与均匀光照条件之间的亮度变换矩阵，则所述亮度变换矩阵计算子单元还可以将每个类别的亮度平均脸分别与所述所有人脸图像的亮度平均脸对应像素之间求比值，得到每种光照条件与所述均匀光照条件之间的亮度变换矩阵。

所述确定不同光照条件之间图像变换关系的装置，通过分析人脸图像的亮度分布，得到所述每种光照条件与所述均匀光照条件之间的亮度变换矩阵。利用所述亮度变换矩阵，可以把人脸图像变换到均匀光照条件下，还可以把均匀光照条件下的人脸图像变换到所需要的各种关照条件下，从而实现图像在不同光照条件之间的变换。

优选的，本实施例所述确定不同光照条件之间图像变换关系的装置，还可以包括：

亮度变换矩阵组合模块，用于将一种光照条件与所述均匀光照条件之间的亮度变换矩阵，与另一种光照条件与所述均匀光照条件之间的亮度变换矩阵对应元素之间求比值，得到所述两种光照条件之间的亮度变换矩阵。

例如，设第n类光照条件与所述均匀光照条件之间的亮度变换矩阵为Tn，第m类光照条件与所述均匀光照条件之间的亮度变换矩阵为Tm，则第m类到第n类的亮度变换矩阵为：

$T_{\mathrm{mn}}(i,j)=\frac{T_n(i,j)}{T_m(i,j)}=\frac{1}{T_{\mathrm{nm}}(i,j)}.$

利用所述两种光照条件之间的亮度变换矩阵，可以直接进行人脸图像在两种不同光照条件之间的转换，不需要先把人脸图像转换到均匀光照条件下，再把所述人脸图像从均匀光照条件转换到所需要的光照条件。

为了提高光照条件变化的精度和准确度，优选的，本实施例所述确定不同光照条件之间图像变换关系的装置，还可以包括：

人脸图像分组模块，用于根据人脸形状的相似性进行分组，然后将每组的人脸形状平均，得到对应每组的人脸平均形状，再建立对应每组的亮度变换矩阵。例如，根据人脸形状的相似性，把人脸图像分为亚洲人、欧洲人、非洲人三组，再根据不同的人脸图像组，分别建立对应每组的亮度变换矩阵。从而，在进行人脸图像的光照条件变换时，先判断所述图像属于那个人脸图像组，再利用该组对应的亮度变换矩阵进行变换，能使人脸图像的光照条件变换更加准确。

本发明还提供了一种人脸图像合成装置的实施例，对本发明作进一步说明。

参照图4，示出了本发明实施例所述一种人脸图像合成装置结构图。所述人脸图像合成装置主要包括预处理模块U41、原光照条件确定模块U42，以及光照条件变换模块U43。其中，

预处理模块U41，用于对给定的人脸图像进行预处理，得到具有平均形状的人脸图像；

原光照条件确定模块U42，用于确定所述具有平均形状的人脸图像的原光照条件；

光照条件变换模块U43，用于利用预置的目标光照条件与所述原光照条件之间的亮度变换矩阵，对所述原光照条件下具有平均形状的人脸图像进行光照条件变换，得到目标光照条件下具有平均形状的人脸图像。

所述人脸合成装置，通过利用预置的亮度变换矩阵，能把给定的人脸图像变换到均匀光照条件，或者是变换到某种特定的光照条件，从而合成多种不同光照条件的人脸图像。

其中，所述预处理模块U41具体包括：

人脸检测子单元，用于对给定的需要进行光照条件变化的人脸图像进行人脸检测，得到图像中人脸的位置、大小等信息；

形状变换子单元，用于对确定了人脸信息的人脸图像进行关键点定位，并采用网格拉伸的方法，把用所述关键点位置表示的人脸图像变换到平均形状。

其中，所述原光照条件确定模块U42，具体包括：

亮度差异图计算子单元，用于计算所述具有平均形状的人脸图像与预置的均匀光照条件下的亮度平均脸之间的亮度差异图。

光照条件确定子单元，用于找出所述亮度差异图中亮度差异和的峰值和谷值，峰值对应的为正光源，谷值对应的为反光源，以此确定该人脸图像的光照条件。

优选的，本实施例所述一种人脸图像合成装置，还可以包括：

人脸形状还原模块U44，用于将所述目标光照条件下具有平均形状的人脸图像拉伸回原来的人脸形状，得到所述给定的人脸图像在目标光照条件下的人脸图像。

优选的，本实施例所述一种人脸图像合成装置，还可以包括：

彩色图像重构模块，用于对拉伸回原来人脸形状的人脸图像加入色度信息。

优选的，本实施例所述一种人脸图像合成装置，还可以包括：

亮度变换矩阵组合模块，用于将一种光照条件与所述均匀光照条件之间的亮度变换矩阵，与另一种光照条件与所述均匀光照条件之间的亮度变换矩阵求比值，得到所述两种光照条件之间的亮度变换矩阵。

优选的，本实施例所述一种人脸图像合成装置，还可以包括：

人脸图像分组模块，用于根据人脸形状的相似性进行分组，然后将每组的人脸形状平均，得到对应每组的人脸平均形状，再建立对应每组的亮度变换矩阵。

本实施例所述一种人脸图像合成装置中，预处理模块U41，对给定的人脸图像进行人脸检测、面部关键点定位以及图像拉伸得到具有平均形状的人脸图像；原光照条件确定模块U42，计算所述具有平均形状的人脸图像与预置的均匀光照条件下的亮度平均脸之间的亮度差异图，并根据所述亮度差异图得到给定图像的原光照条件；光照条件变换模块U43，很据所确定的光照条件，利用预置的原光照条件与目标光照条件之间的亮度变换矩阵，进行图像的光照条件变换，得到目标光照条件下的人脸图像，从而，能实现合成多种光照条件下的人脸图像。

综上所述，本发明通过分析人脸图像的亮度分布，来建立不同光照条件之间的亮度变换矩阵，以确定不同光照条件之间的变换关系，不受训练场景的限制，不受光源局限性的影响，能够实现图像在各种所需要的光照条件之间变化；在人脸合成的过程中，通过利用预置的亮度变换矩阵，能把给定的人脸图像变换到各种所需要的光照条件，从而，能够合成多种不同光照条件的人脸图像，并且，降低了问题的复杂度，减少了运算量。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种确定不同光照条件之间图像变换关系的方法及装置、一种人脸图像合成方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (21)

1.一种确定不同光照条件之间图像变换关系的方法，其特征在于，包括：

选择多幅不同光照条件下的人脸图像，对所有人脸图像进行预处理，得到具有平均形状的训练人脸库；

对所述训练人脸库中具有平均形状的人脸图像，按照光照条件进行分类；

利用每个类别中具有平均形状的人脸图像，计算每种光照条件下的亮度平均脸；

将任意两种光照条件下的亮度平均脸进行计算，得到所述任意两种光照条件之间的亮度变换矩阵。

2.根据权利要求1所述的方法，其特征在于，所述对所有人脸图像进行预处理，得到具有平均形状的训练人脸库，包括：

对所有人脸图像分别进行人脸检测和面部关键点定位，利用面部关键点位置表示人脸形状；

将所有的人脸形状平均，得到人脸的平均形状；

将所有的人脸形状拉伸到所述平均形状，得到具有平均形状的训练人脸库。

3.根据权利要求1所述的方法，其特征在于，所述亮度平均脸的计算，包括：

对所述具有平均形状的人脸图像进行相加求和，用所得到的和除以用来相加的人脸图像的个数，得到亮度平均脸。

4.根据权利要求1所述的方法，其特征在于，所述对训练人脸库中具有平均形状的人脸图像，按照光照条件进行分类，包括：

利用训练人脸库中具有平均形状的人脸图像，计算所有人脸图像的亮度平均脸，该亮度平均脸表示均匀光照条件下的亮度平均脸；

分别计算所述具有平均形状的人脸图像与所述均匀光照条件下的亮度平均脸之间的亮度差异图，根据所述亮度差异图确定该人脸的光照条件；

利用所述亮度差异图对相似的光照条件进行合并，并将所述人脸图像按照合并后的光照条件进行分类。

5.根据权利要求4所述的方法，其特征在于，所述亮度差异图的计算，包括：

亮度差异图由多个不同的像素点组成，分别对亮度差异图中每个像素点计算小邻域的亮度差异和，得到亮度差异图。

6.根据权利要求4所述的方法，其特征在于，还包括：

将每种光照条件下的亮度平均脸分别与所述均匀光照条件下的亮度平均脸对应像素之间求比值，得到每种光照条件与所述均匀光照条件之间的亮度变换矩阵。

7.根据权利要求6所述的方法，其特征在于，通过以下方式得到所述任意两种光照条件之间的亮度变换矩阵：

将任意一种光照条件与所述均匀光照条件之间的亮度变换矩阵，与另一种光照条件与所述均匀光照条件之间的亮度变换矩阵对应元素之间求比值，得到所述任意两种光照条件之间的亮度变换矩阵。

8.根据权利要求2至7任一所述的方法，其特征在于，还包括：

根据人脸形状的相似性进行分组，然后将每组的人脸形状平均，得到对应每组的人脸平均形状。

9.一种人脸图像合成方法，其特征在于，包括：

对给定的人脸图像进行预处理，得到具有平均形状的人脸图像；

确定所述具有平均形状的人脸图像的原光照条件；

利用预置的目标光照条件与所述原光照条件之间的亮度变换矩阵，对所述原光照条件下具有平均形状的人脸图像进行光照条件变换，得到目标光照条件下具有平均形状的人脸图像。

10.根据权利要求9所述的方法，其特征在于，得到目标光照条件下具有平均形状的人脸图像之后，还包括：

将所述目标光照条件下具有平均形状的人脸图像拉伸回原来的人脸形状，得到所述给定的人脸图像在目标光照条件下的人脸图像。

11.根据权利要求10所述的方法，其特征在于，所述将目标光照条件下具有平均形状的人脸图像拉伸回原来的人脸形状之后，还包括：

对拉伸回原来人脸形状的人脸图像加入色度信息。

12.根据权利要求9所述的方法，其特征在于，通过以下方式预置目标光照条件与所述原光照条件之间的亮度变换矩阵：

选择多幅不同光照条件下的人脸图像，对所有人脸图像进行预处理，得到具有平均形状的训练人脸库；

利用训练人脸库中具有平均形状的人脸图像，计算所有人脸图像的亮度平均脸，该亮度平均脸表示均匀光照条件下的亮度平均脸；

利用均匀光照条件下的亮度平均脸，对所述训练人脸库中具有平均形状的人脸图像按照光照条件进行分类；

利用每个类别中具有平均形状的人脸图像，计算每种光照条件下的亮度平均脸；

将任意两种光照条件下的亮度平均脸进行计算，得到所述任意两种光照条件之间的亮度变换矩阵，所述任意两种光照条件包括原光照条件与目标光照条件。

13.根据权利要求12所述的方法，其特征在于：

所述目标光照条件为均匀光照条件或非均匀光照条件；当所述目标光照条件为均匀光照条件时，所述目标光照条件与所述原光照条件之间的亮度变换矩阵通过以下方式预置：

将原光照条件下的亮度平均脸与所述均匀光照条件下的亮度平均脸对应像素之间求比值，得到原光照条件与所述均匀光照条件之间的亮度变换矩阵。

14.根据权利要求9所述的方法，其特征在于：所述给定的人脸图像为二维人脸图像。

15.一种确定不同光照条件之间图像变换关系的装置，其特征在于，包括：

训练人脸库建立模块，用于选择多幅不同光照条件下的人脸图像，对所有人脸图像进行预处理，得到具有平均形状的训练人脸库；

光照条件分类模块，用于对所述训练人脸库中具有平均形状的人脸图像，按照光照条件进行分类；

亮度平均脸计算模块，用于利用每个类别中具有平均形状的人脸图像，计算每种光照条件下的亮度平均脸；

亮度变换矩阵计算模块，用于将任意两种光照条件下的亮度平均脸进行计算，得到所述任意两种光照条件之间的亮度变换矩阵。

16.根据权利要求15所述的装置，其特征在于，所述光照条件分类模块包括：

计算子单元，用于利用训练人脸库中具有平均形状的人脸图像，计算所有人脸图像的亮度平均脸，该亮度平均脸表示均匀光照条件下的亮度平均脸；

光照条件确定子单元，用于分别计算所述具有平均形状的人脸图像与所述均匀光照条件下的亮度平均脸之间的亮度差异图，根据所述亮度差异图确定该人脸的光照条件；

光照条件分类子单元，用于利用所述亮度差异图对相似的光照条件进行合并，并将所述人脸图像按照合并后的光照条件进行分类。

17.根据权利要求16所述的装置，其特征在于，还包括：

亮度变换矩阵组合模块，用于将一种光照条件与所述均匀光照条件之间的亮度变换矩阵，与另一种光照条件与所述均匀光照条件之间的亮度变换矩阵对应元素之间求比值，得到所述两种光照条件之间的亮度变换矩阵。

18.根据权利要求15至17任一所述的装置，其特征在于，还包括：

人脸图像分组模块，用于根据人脸形状的相似性进行分组，然后将每组的人脸形状平均，得到对应每组的人脸平均形状。

19.一种人脸图像合成装置，其特征在于，包括：

预处理模块，用于对给定的人脸图像进行预处理，得到具有平均形状的人脸图像；

原光照条件确定模块，用于确定所述具有平均形状的人脸图像的原光照条件；

光照条件变换模块，用于利用预置的目标光照条件与所述原光照条件之间的亮度变换矩阵，对所述原光照条件下具有平均形状的人脸图像进行光照条件变换，得到目标光照条件下具有平均形状的人脸图像。

20.根据权利要求19所述的装置，其特征在于，还包括：

人脸形状还原模块，用于将所述目标光照条件下具有平均形状的人脸图像拉伸回原来的人脸形状，得到所述给定的人脸图像在目标光照条件下的人脸图像。

21.根据权利要求20所述的装置，其特征在于，还包括：

彩色图像重构模块，用于对拉伸回原来人脸形状的人脸图像加入色度信息。

Images