CN104143091A - 基于改进mLBP的单样本人脸识别方法 - Google Patents

Abstract

本发明公开了人脸识别技术领域中的一种基于改进mLBP的单样本人脸识别方法。首先对人脸图像进行预处理得到单张标准的人脸图像；然后对人脸图像进行横向分割，计算各横向子块每个像素点的mLBP特征值，并获得各子块图像的mLBP直方图；并根据各横向子块的局部图像信息熵对每个子块的改进mLBP子直方图进行自适应加权；最后，连接各子块的自适应加权直方图作为最终样本图像的特征向量，送入分类器识别。本发明提出了一个完整有效的单样本人脸识别解决方案，一定程度上解决了遮挡、光照、表情变化等因素的影响，识别率高、鲁棒性强。

Description

基于改进mLBP的单样本人脸识别方法

技术领域

本发明涉及图像处理与模式识别研究领域，特别涉及一种单样本人脸识别方法。

背景技术

人脸识别作为计算机视觉和图像处理领域的热点和难点问题，在信息安全、公安部门侦查、执法、银行和海关的安全监控等方面具有广阔的应用前景。经过几十年的发展，已经出现了很多经典有效的多训练样本的人脸识别算法。但是，在很多实际应用场景下，数据库只能采集到一张人脸图像作训练，例如在护照、驾驶证、身份证等图像数据库，这样使得很多依靠多训练样本的人脸识别算法在实际应用中的识别效果大打折扣，有些算法甚至不能使用，如LDA等线性判别算法。另外，对每个人建立多样本数据库的代价很大，也不适合应用于实际的场景中。

为了解决人脸识别理论研究无法在实际场景中应用的问题，从现有技术中提出了单样本的人脸识别算法。单样本人脸识别是指：在人脸识别系统的数据库中，每个人只有一张人脸图像作为训练样本，以备后面的特征提取、分类识别。目前针对人脸识别领域的单样本问题有两种解决思路：一类是使用各种方法对训练样本进行扩充，主要思想是扩充训练样本以使用全局特征描述方法；另一类是对单样本图像进行局部的纹理描述，旨在最大程度地描述图像的局部特征。由于传统局部特征提取算法LBP没有考虑到常用的人脸五官，如眉，眼，瞳孔，鼻子，嘴唇等的局部形状特征，因此，本发明提出了一种属于第二类的单样本人脸识别解决方案，具有较高的稳定性和识别率，且能区分每个分块对于图像整体特征描述的重要性，对表情变化、遮挡和姿态等变化具有一定的鲁棒性。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于改进mLBP的单样本人脸识别方法，该方法能较好的描述人脸五官的局部形状特征，对表情变化、遮挡和姿态等变化具有一定的鲁棒性。

本发明专利所解决的技术问题可采用如下的技术解决方案来实现：

基于改进mLBP的单样本人脸识别方法，其特征在于包括以下步骤：

步骤1.对待识别的人脸图像进行尺度归一化和光照归一化的预处理；

步骤2.考虑到五官对纹理描述的重要性，且在人脸都是横向分布，对W×H的样本图像I进行横向分块：

$I=\left[\begin{array}{c}{I}_1\\ I_2\\ ...\\ I_q\end{array}\right]$

其中q为分块数，设Q＝W/q，I_i(i＝1，2，…q)是一个Q×H维的图像；

步骤3.为了更好的描述人脸面部特征，结合8个空间模版计算各分块中每个像素点的改进mLBP特征值：

$\mathrm{mLBP}=\underset{i=0}{\overset{7}{\mathrm{\Σ}}}{S}_i(x,y)\·2^{\′}$

其中 $S_i(x,y)=\left\{\begin{array}{c}1,\left(P_c>P_{i1}\right)\mathrm{and}(P_c>P_{i2})\\ 0,\mathrm{otherwise}\end{array}\right.$ 为各像素点第i个模版对应的二进制数，这样每个像素点得到一个由8位二进制数转换为十进制数的特征值。计算每个子块图像I_i(x，y)mLBP子直方图：

$h_i=\underset{x,y}{\mathrm{\Σ}}h\{I_i(x,y)=m\},m=\mathrm{0,1},\·\·\·,255$

步骤4.根据香农关于信息熵理论，通过一个滑动窗口计算每个子块各像素点的局部信息熵：

H_local(I_i(x，y))＝H(F(x，y)_w)

其中H()为熵函数，其定义为：

$H\left(f(x,y)\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{p}_i\log \left(\frac{1}{p_i}\right)$

f(x，y)是一个灰度级别为m的图像，p_i是第i个灰度级别出现的概率。F(x，y)_w是一个以(x，y)为中心的滑动窗口，w为窗口大小，其定义式为：

F(x，y)_w＝{f(i，j)|i∈[x-w/2，x+w/2-1]，j∈[y-w/2，y+w/2-1]}

步骤5.计算各自块的纹理描述贡献度：

${\mathrm{Con}}_i=\frac{1}{Q\×N}\underset{x=1}{\overset{Q}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{H}_{\mathrm{local}}\left(I_i(x,y)\right)$

步骤6.计算自适应加权mLBP子直方图，连接加权后的子直方图，送入分类器识别：

$h_i^w={\mathrm{Con}}_i{h}_i$

$h^w={\left[\begin{array}{cccc}{h}_1^w& h_2^w& \·\·\·& h_q^w\end{array}\right]}^T$

本发明较已有的人脸识别技术的优点在于：从仅有的单张人脸样本中，利用改进的mLPB结合空间信息和局部纹理信息提取分块后的面部局部特征，相比于传统LBP，能更好的描述人脸面部器官的位置结构信息，同时对各分块图像的mLBP子直方图进行自适应加权，有利于区分各子块对识别的贡献度，最终连接各加权直方图进行分类识别。本发明提出了一个完整有效的单样本人脸识别解决方案，一定程度上解决光照、表情、姿态等因素的影响，识别率高、鲁棒性强。

附图说明

图1是本发明提出的基于改进mLBP的单样本人脸识别方法流程图。

图2是本发明提出的8个空间模版。

图3是本发明求取mLBP特征值的例子。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，一种基于改进mLBP的单样本人脸识别方法包括以下步骤：

1).利用摄像机等视频输入设备检测获取人脸的待识别图像；

2).对待识别的人脸图像进行尺度归一化和光照归一化的预处理；

3).考虑到五官对纹理描述的重要性，且在人脸都是横向分部，对W×H的样本图像I进行横向分块：

$I=\left[\begin{array}{c}{I}_1\\ I_2\\ \·\·\·\\ I_q\end{array}\right]$

其中q为分块数，设Q＝W/q，I_i(i＝1，2，…q)是一个Q×H维的图像；

4).为了更好的描述人脸面部特征，结合如图2所示8个空间模版计算各分块中每个像素点的改进mLBP特征值：

$\mathrm{mLBP}=\underset{i=0}{\overset{7}{\mathrm{\Σ}}}{S}_i(x,y)\·2^{\′}$

其中 $S_i(x,y)=\left\{\begin{array}{c}1,\left(P_c>P_{i1}\right)\mathrm{and}(P_c>P_{i2})\\ 0,\mathrm{otherwise}\end{array}\right.$ 为各像素点第i个模版对应的二进制数，这样每个像素点得到一个由8位二进制数转换为十进制数的特征值。例如如图3所示一个像素值为39的像素点，由其周围像素点的值并结合8个模版得到该像素点的mLBP特征值。计算每个子块图像I_i(x，y)mLBP子直方图：

$h_i=\underset{x,y}{\mathrm{\Σ}}h\{I_i(x,y)=m\},m=\mathrm{0,1},\·\·\·,255$

该直方图是一个横坐标为0到255，纵坐标为各特征值所含像素点的个数；

5).根据香农关于信息熵理论，通过一个滑动窗口计算每个子块各像素点的局部信息熵：

H_local(I_i(x，y))＝H(F(x，y)_w)

其中H()为熵函数，其定义为：

$H\left(f(x,y)\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{p}_i\log \left(\frac{1}{p_i}\right)$

f(x，y)是一个灰度级别为m的图像，p_i是第i个灰度级别出现的概率。F(x，y)_w是一个以(x，y)为中心的滑动窗口，w为窗口大小，其定义式为：

F(x，y)_w＝{f(i，j)|i∈[x-w/2，x+w/2-1]，j∈[y-w/2，y+w/2-1]}

人脸图像的熵可以表达人脸的信息量，对整张图求信息熵意义不大，而对分块后各子块图像求信息熵，可以表示该子块的信息量，有利于区分各子块在人脸识别中的重要性；

6).计算各自块的纹理描述贡献度：

${\mathrm{Con}}_i=\frac{1}{Q\×N}\underset{x=1}{\overset{Q}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{H}_{\mathrm{local}}\left(I_i(x,y)\right)$

7).计算自适应加权mLBP子直方图，连接加权后的子直方图，送入分类器识别：

$h_i^w={\mathrm{Con}}_i{h}_i$

$h^w={\left[\begin{array}{cccc}{h}_1^w& h_2^w& \·\·\·& h_q^w\end{array}\right]}^T$

Claims (3)

1.基于改进mLBP的单样本人脸识别方法，其特征是该方法包括以下步骤：

步骤1：通过预处理获取单张标准的人脸图像，并对人脸图像进行横向分块；

步骤2：在步骤1的基础上计算各横向子块改进mLBP子直方图；

步骤3：根据各横向子块的局部图像信息熵对每个子块的改进mLBP子直方图进行自适应加权；

步骤4：连接各子块的自适应加权直方图作为最终样本图像的特征向量，送入分类器识别。

2.根据权利要求1所述基于改进mLBP的单样本人脸识别方法，其特征是步骤2包括以下步骤：

步骤2.1：对各横向子块的像素点按8个不同的空间模块来保存人脸面部的几何特征，以该像素点的像素值作为阈值，对横向子块进行二值化编码，得到一个8位二进制数：

$S_i(x,y)=\left\{\begin{array}{c}1,\left(P_c>P_{i1}\right)\mathrm{and}(P_c>P_{i2})\\ 0,\mathrm{otherwise}\end{array}\right.,i=\mathrm{0,1},\·\·\·,7$

步骤2.2：将该8位二进制数转换成十进制数，得到各横向子块像素点的mLBP特征值：

$\mathrm{mLBP}=\underset{i=0}{\overset{7}{\mathrm{\Σ}}}{S}_i(x,y)\·2^{\′}$

步骤2.3：计算各子块的mLBP子直方图：

$h_i=\underset{x,y}{\mathrm{\Σ}}h\{I_i(x,y)=m\},m=\mathrm{0,1},\·\·\·,255$

其中，i＝1，2，…，q，q为分块的个数，I_i(x，y)代表第i块横向子图。

3.根据权利要求1所述基于改进mLBP的单样本人脸识别方法，其特征是步骤3包括以下步骤：

步骤3.1：通过一个滑动的窗口求取窗口中心点的局部信息熵，每一个像素点的熵定义为：

H_local(I_i(x，y))＝H(F(x，y)_w)

其中，H()表示图像熵函数，(x，y)表示每个像素的位置，F(x，y)_w代表以(x，y)为中心滑动可变窗口的子图像；

步骤3.2：根据各横向子块每个像素点的局部信息熵的熵值，计算分块后的子图像的纹理贡献度：

${\mathrm{Con}}_i=\frac{1}{Q\×N}\underset{x=1}{\overset{Q}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{H}_{\mathrm{local}}\left(I_i(x,y)\right)$

其中，对于维数为M×N的图像I，Q＝M/q，q为分块数；

步骤3.3：计算自适应加权mLBP子直方图：

$h_i^w={\mathrm{Con}}_i{h}_i$