CN101320424B - 使用光栅验证用户的面部的系统和方法 - Google Patents

Abstract

本发明涉及一种用于使用光栅验证用户的面部的系统和方法。该系统包括：面部特征提取单元，用于从相机接收的面部图像提取面部特征向量。非用户高斯混合模型(GMM)配置单元从存储在非用户数据库(DB)中的面部图像产生非用户GMM。用户GMM配置单元通过将光栅应用到存储在用户DB中的面部图像来产生用户GMM。对数似然值计算单元将面部特征向量输入到非用户GMM和用户GMM，从而计算对数似然值。用户验证单元将计算的对数似然值与预定阈值进行比较，从而验证接收的面部图像是否为用户的面部图像。

Description

使用光栅验证用户的面部的系统和方法

技术领域

本发明总的来说涉及一种用于使用光栅(light mask)验证用户的面部的系统和方法，更具体地讲，涉及一种识别通过相机输入的图像并且在机器人环境下验证注册的用户的系统和方法。

背景技术

在现有技术中，存在许多用于识别并验证面部的技术。传统面部验证技术主要涉及用于将面部图像分割为块，从各块中提取特征，并且创建高斯混合模型(GMM)的处理。在图1A中显示将面部图像分割为块。在以这种方式将面部图像分割为小块并且从块中提取特征的方法中，由于可使用少量图像来获得多个数据项，因此可极好地执行GMM学习，但是由于增加数量的GMM可引起学习和自适应时间以及验证时间增加，并且可能不会充分考虑整个面部图像。

发明内容

本发明的一方面在于解决至少上述问题和/或缺点并且至少提供下述优点。因此，与将面部区域分割为块并且从块提取面部特征的传统方法不同，本发明的一方面在于提供一种从整个面部区域提取特征的面部验证系统和方法，从而充分地考虑整个面部区域。详细地，如根据本发明的图1B所示的从整个面部区域提取面部特征，无需将整个面部区域单独分割为块。

本发明的另一方面提供一种面部验证系统和方法，通过将光栅应用到面部的线性变换来增加数据量，从而处理通过从整个面部区域的特征提取的数据量减少的情况。详细地，如图2A-2C所示，单个面部图像与光栅组合以具有在各方向上直接照明的各种效果，从而可创建在各方向上被照明的面部的各种面部图像。以这种方式，使用光栅验证面部，从而本发明提供使用光栅的面部验证系统和方法，能够克服传统面部验证系统和方法对于照明的弱点。

根据本发明的一方面，提供一种使用光栅验证用户的面部的系统。该系统包括：面部特征提取单元，用于从特定面部图像提取面部特征向量；非用户高斯混合模型(GMM)配置单元，用于从存储在非用户数据库(DB)中的非用户面部图像产生非用户GMM；用户GMM配置单元，用于通过将光栅应用到存储在用户DB中的用户面部图像来产生用户GMM；对数似然值计算单元，用于将面部特征向量输入到非用户GMM和用户GMM，从而计算对数似然值；用户验证单元，用于将计算的对数似然值与预定阈值进行比较，从而验证所述特定面部图像是否为用户的面部图像。

根据本发明的另一方面，提供一种使用光栅验证用户的面部的方法。该方法包括：从特定面部图像提取面部特征向量；通过将面部特征向量输入到用于存储非用户GMM和用户GMM的高斯混合模型(GMM)配置单元来计算对数似然值；存储从存储在非用户数据库(DB)中的非用户面部图像产生的非用户GMM来用于计算对数似然值，存储通过将光栅应用到存储在用户DB中的用户面部图像产生的用户GMM；将计算的对数似然值与预定阈值进行比较，从而验证所述特定面部图像是否为用户的面部图像。

附图说明

通过下面结合附图进行的详细描述，本发明的上述和其他方面、特点和优点将会变得更加清楚，其中：

图1A和1B是分别显示根据现有技术将面部区域分割为块的示例的示图，以及根据本发明实施例的从整个面部区域提取面部特征的示例的示图；

图2A至2C是显示根据本发明实施例的使用光栅进行面部图像处理的示例的示图；

图3是显示根据本发明实施例的使用光栅验证用户的面部的系统的构造的示图；

图4是显示根据本发明实施例的非用户高斯混合模型(GMM)配置单元的构造的示图；

图5是显示根据本发明实施例的用户GMM配置单元的构造的示图；

图6是显示根据本发明实施例的使用光栅对面部图像进行线性变换计算的示图；

图7是显示根据本发明实施例的使用光栅验证用户的面部的方法的流程图。

具体实施方式

现在，将参照附图对本发明的优选实施例进行详细描述。在附图中，即使在不同的附图中描述相同或类似的部件，这些部件也由相同的标号表示。在下面的描述中，为了清楚和简明已经省略对包括于此的已知功能和配置的详细描述。

图3是显示根据本发明实施例的使用光栅验证用户的面部的系统的构造的示图。参照图3，用于使用光栅验证用户的面部的系统300(以下称为“用户面部验证系统”)包括图像输入单元310、面部特征提取单元320、非用户GMM配置单元400、用户GMM配置单元500、对数似然值计算单元330和用户验证单元340。以下描述用户面部验证系统300的部件。图像输入单元310从安装在机器人上的相机等接收特定面部图像。图像输入单元310不限于相机，可包括任何部件，例如不需要使用相机捕获图像的过程的可输入图像的磁盘。

面部特征提取单元320对从图像输入单元310接收的特定面部图像执行预处理，其后从预处理的图像提取面部特征向量。可将整个面部区域用作面部特征提取的单位来提取面部特征向量。

非用户GMM配置单元400产生并存储注册在非用户DB中的每一非用户的非用户面部图像的非用户GMM。用户GMM配置单元500产生并存储注册在用户DB中的每一用户的用户面部图像的用户GMM。具体地讲，用户GMM配置单元500通过将光栅应用到从面部特征提取单元320提取的面部特征向量来产生由多个照明装置照明的面部图像。因此，关于面部特征向量的数据量增加，并且当执行用户验证时可能增加验证概率(verificationprobability)。以下将描述涉及产生典型GMM的构造。

对数似然值计算单元330通过将从面部特征提取单元320提取的面部特征向量输入到非用户GMM和用户GMM来计算对数似然值。等式[1]指示用于计算对数似然值的过程。当存在多个用户时，获得对用户GMM的多个结果值。在这种情况下，取得并计算最大对数似然值。

z＝log(p(X|S_Family))-log(p(X|S_General))     [1]

其中，S_Family表示用于用户GMM的因数的集合。该集合包括面部特征向量的平均值、协方差和权重。S_General表示用于非用户GMM的因数的集合。该集合包括面部特征向量的平均值、协方差和权重。X表示从当前面部图像提取的特征向量。p(X/S)表示当给定GMM参数的集合S时，当前特征向量的条件概率。

用户验证单元340将对数似然值计算单元330获得的值z与实际阈值进行比较，从而验证从图像输入单元310接收的图像中的面部是否为用户的面部。当值z等于或大于阈值时，将特定面部图像确定为用户的面部，而当值z小于阈值时，将特定面部图像确定为非用户的面部。

图4是显示根据本发明实施例的非用户GMM配置单元400的示图。参照图4，面部特征提取单元420从在非用户DB 410中注册的每一用户的面部图像提取面部特征。尽管未在附图中显示，但是在提取面部特征向量之前，面部特征提取单元420对面部图像首先执行预处理，并且随后提取面部特征向量。为了预处理，执行基于眼睛的用于调整面部的位置的几何正态化以及用于调整图像的亮度的直方图正态化。当提取面部特征时，可使用主成分分析。GMM产生单元430使用以这种方式提取的特征产生非用户GMM，并将非用户GMM存储在非用户GMM存储单元440中。

下面的等式表示由非用户GMM配置单元400实际执行的过程。当存储在非用户DB 410中的面部图像的数量是N，并由X＝[x1，...，xN]表示时，以高斯混合模型(GMM)的形式来将关于面部图像的数据模型化。典型地，当面部图像数据的维数是D并且面部图像数据是x时，通过下面的等式[2]来获得高斯概率密度。

$p\left(x\right)=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{D}{2}}{\left|\mathrm{\Σ}\right|}^{\frac{1}{2}}}\exp [-\frac{1}{2}{(x-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(x-\mathrm{\μ})]---\left[2\right]$

其中，T是表示矩阵的转置的符号。μ表示平均向量。∑表示协方差矩阵。

多个高斯概率密度形成单个概率模型。此概率模型被指定为GMM，可由下面的等式[3]来表示，其中，M是混合的次数。

$p\left(x\right)=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}p\left(x\right|j)P\left(j\right)---\left[3\right]$

在此模型中，参数可被总结如下：每个混合分量j的平均数μ_j、协方差∑_j(或σ_j)以及权重P(j)(或ω_j)。其中，p(x|j)表示当给定混合j时当前特征向量的条件概率。P(j)表示混合j的概率。使用给定的面部图像数据x来研究这些参数。执行研究方法来找出允许混合模型最令人满意地代表面部图像数据x的参数，也就是，用于最大化对数似然值的参数。由下面的等式[4]表示将被最大化的对数似然函数，其中，λ＝{μ_j，∑_j，ω_j|j＝1，…，M}。

$p\left(X\right)=\underset{i=1}{\overset{N}{\mathrm{\Π}}}p\left(x_i\right)---\left[4\right]$

其中，p(x_i)表示面部图像特征向量x_i的概率。为了找出最大化等式[4]的对数似然函数的参数，使用K平均来初始化参数，随后使用期望最大化算法(以下称为“EM算法”)。通过此算法，各数据项被分为几个组。根据以下处理来执行此集群(clustering)过程。

1.可任意选择M个面部图像数据项，并且将M个面部图像数据项指定为各组的μ。

2.重复以下过程直到实现收敛。

(1)获得每个面部图像数据项i的欧几里德距离||x_i-μ_j||²并将该距离分类为最近组。

(2)使用分类的数据再次计算各组的值μ。

使用作为初始值的通过执行初始化获得的各组的值μ来执行EM算法，并且获得参数。EM算法被分为E步骤和M步骤。在E步骤中，预测充分的统计量，在M步骤中，基于充分的统计量预测参数。以下描述E步骤和M步骤。首先，通过下面的等式[5]表示在E步骤中给定的每一面部图像数据项的充分的统计量。

$p\left(j\right|x_t)=\frac{p\left(x\right|j)P\left(j\right)}{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}p\left(x\right|j)P\left(j\right)}---\left[5\right]$

其中，p(j|x_i)表示当给定面部图像特征向量x_i时混合j的条件概率。p(x|j)表示当给定面部图像特征向量x_i时混合j的条件概率。P(j)表示混合j的概率。

基于在E步骤中获得的充分的统计量在M步骤中获得参数，如等式[6]。

$n_j=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}P\left(j\right|x_i)$

$E_j\left(x\right)=\frac{1}{n_j}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}p\left(j\right|x_i)x_i---\left[6\right]$

$E_j\left(x{x}^T\right)=\frac{1}{n_j}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}p\left(j\right|x_i)x_i{x}_i^T$

重复EM算法，直到实现满意收敛。因此，可通过EM算法获得用于表示非用户GMM的概率模型的参数{ω_j，μ_j，σ_j|j＝1…M}。其中，p(j|x_i)表示当给定面部图像特征向量x_i时混合j的条件概率。x_i表示面部特征向量。T是表示矩阵的转置的符号。

图5是显示根据本发明实施例的用户GMM配置单元500的构造的示图。参照图5，在用户DB 510中，预先注册用户的面部图像。用户可以是个体或者是用户组。与图4类似，由面部特征提取单元520对在用户DB 510中注册的面部图像执行预处理和面部特征提取。与将面部区域分割为多个块并从块中提取面部特征向量的现有技术不同，在提取面部特征时，将整个面部区域用作单个特征提取单位来从整个面部区域提取面部特征向量。因此，在本发明中，提取的面部特征向量的维数很大，而面部特征向量的数量很少，因此数据量减少。为了补偿数据量的减少，线性变换放大单元530通过线性变换增加面部特征向量的数量。术语“线性变换放大”是指使用光栅。自适应技术GMM产生单元540基于增加的特征向量的数量以及GMM配置单元400产生的非用户GMM来产生用户GMM。典型的相关自适应被用作自适应技术。此自适应技术被分为以下两个过程。

1.在等式[7]中获得每一混合m的占用概率γ_m(x_i)。

${\mathrm{\γ}}_m\left(x_i\right)=\frac{{\mathrm{\ω}}_m{p}_m\left(x_i\right)}{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ω}}_j{p}_j\left(x_i\right)}---\left[7\right]$

其中，ω_m是混合m的权重。x_i表示第i面部图像的特征向量。p_m(x_i)表示混合m中的混合x_i的概率。ω_j是混合j的权重。p_j(x_i)表示混合j中的混合x_i的概率。

2.基于以此方式获得的占用概率从非用户GMM产生用户GMM。由下面的等式[8]表示自适应过程，

${\mathrm{\ω}}_{c_m}=[(1-{\mathrm{\α}}_m){\mathrm{\ω}}_{{\mathrm{\ω}}_m}+{\mathrm{\α}}_m\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\γ}}_m\left(x_i\right)}{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\γ}}_m\left(x_i\right)}$

${\mathrm{\μ}}_{c_m}=(1-{\mathrm{\α}}_m){\mathrm{\μ}}_{{\mathrm{\ω}}_m}+{\mathrm{\α}}_m\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\γ}}_m\left(x_i\right)x_i}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\γ}}_m\left(x_i\right)}---\left[8\right]$

${\mathrm{\σ}}_{c_m}^2=(1-{\mathrm{\α}}_m)({\mathrm{\σ}}_{{\mathrm{\ω}}_m}^2+{\mathrm{\μ}}_{{\mathrm{\ω}}_m}^2){+\mathrm{\α}}_m\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\γ}}_m\left(x_i\right)x_i^2}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\γ}}_m\left(x_i\right)}-{\mathrm{\μ}}_{c_m}^2$

其中，α_m是调整非用户GMM和注册的用户GMM的权重所需的值，并且通过实验被预设。γ_m(x_i)表示每一混合m的占用概率。x_i表示第i面部图像的特征向量。ω_m是混合m的权重。产生的用户GMM被存储在用户GMM存储单元550中。

图6是显示根据本发明实施例的使用光栅对特定面部图像进行线性变换计算的示图。参照图6，与图4类似，由面部特征提取单元620a对注册在非用户DB中的非用户的非用户面部图像执行预处理和特征向量提取。普通特征存储单元630a接收并存储面部特征向量。光栅应用单元620b用光栅覆盖存储在非用户DB中的面部图像以在各方向上直接照明，从而面部特征提取单元630b提取面部特征向量。线性放大的特征存储单元640b存储面部特征向量。

线性变换计算单元650使用分别存储在普通向量存储单元630a和线性放大的特征存储单元640b中的面部特征向量之间的差来计算线性变换。当产生用户GMM时，使用利用图6的系统计算的线性变换。

图7是显示根据本发明实施例的使用光栅验证用户的面部的方法的流程图。参照图7，当在图像输入步骤S710通过图像输入单元310接收特定面部图像时，在面部特征提取步骤S720，特征提取单元320将特定面部图像的整个面部区域作为提取单位来提取面部特征向量。在对数似然值计算步骤S740，在面部特征提取步骤S720中提取的面部特征向量被输入到分别存储在非用户GMM存储单元440和用户GMM存储单元550中的非用户GMM和用户GMM，从而计算对数似然值。非用户GMM存储单元440和用户GMM存储单元550存储分别由非用户GMM配置单元400和用户GMM配置单元500产生的非用户GMM和用户GMM。在GMM产生步骤S730，在通过用各种光栅覆盖注册在用户DB中的用户的用户面部图像提取面部特征向量之后产生每个用户GMM。其后，在用户验证步骤S750，将对数似然值与阈值进行比较，从而通过确定通过图像输入单元310接收的特定面部图像是用户的面部还是非用户的面部来执行验证。

如以上根据本发明的描述是清楚的，从整个面部区域提取面部特征，无需将面部区域分为块，并从块提取特征，从而在充分考虑整个面部区域特征的情况下执行验证。

另外，光栅被应用到面部图像，从而可增加由于上述构造减少的数据量，可补偿由于照明而损坏的面部的验证。

尽管已经参照其特定优选实施例显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (5)

1.一种通过使用光栅验证用户的面部的系统，包括：

面部特征提取单元，用于从特定面部图像提取面部特征向量；

非用户高斯混合模型GMM配置单元，用于从非用户的非用户面部图像产生非用户GMM；

用户GMM配置单元，用于通过将光栅应用到用户的用户面部图像来产生用户GMM；

对数似然值计算单元，用于将面部特征向量输入到非用户GMM和用户GMM，从而计算对数似然值；

用户验证单元，用于将计算的对数似然值与预定阈值进行比较，从而验证所述特定面部图像是否为用户的面部图像，

其中，非用户GMM配置单元包括：GMM产生单元，通过主成分分析提取面部特征，产生非用户GMM；非用户GMM存储单元，用于存储非用户GMM，

用户GMM配置单元包括：用户数据库，用于存储用户面部图像；线性变换放大单元，用于通过将光栅应用到提取的面部特征向量来执行线性变换放大；自适应技术GMM产生单元，用于通过使用相关自适应来通过非用户GMM配置单元产生用户GMM；用户GMM存储单元，用于存储产生的用户GMM。

2.如权利要求1所述的系统，还包括：图像输入单元，用于接收所述特定面部图像，并将所述特定面部图像发送给面部特征提取单元。

3.如权利要求1所述的系统，其中，面部特征提取单元通过将所述特定面部图像的整个面部区域用作单个提取单位来从所述特定面部图像提取面部特征。

4.一种使用光栅验证用户的面部的方法，包括：

从特定面部图像提取面部特征向量；

通过将面部特征向量输入到高斯混合模型GMM配置单元来计算对数似然值；

存储非用户GMM和用户GMM，通过使用主成分分析从在非用户数据库中用户的面部图像提取面部特征来产生非用户GMM，通过对用户数据库存储的用户面部图像执行预处理和面部特征提取，将光栅应用到提取的面部特征向量来执行线性变换放大，并且使用相关自适应来通过非用户GMM配置单元来产生用户GMM；

计算非用户GMM和用户GMM的对数似然值；

将计算的对数似然值与预定阈值进行比较，从而验证所述特定面部图像是否为用户的面部图像。

5.如权利要求4所述的方法，其中，在提取面部特征向量的步骤中，通过将所述特定面部图像的整个面部区域用作单个提取单位来从所述特定面部图像提取面部特征。

Images