CN102103689B - 基于正脸图像合成的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于正脸图像合成的人脸识别方法，属于数字图像处理和模式识别领域。该方法包括下列步骤：a)读取多个侧脸图像I_si，获得每个侧脸图像的控制点图L_si；b)从正面人脸库读取一个正脸图像，获得该正脸图像的控制点图L_f；c)对要合成的正脸图像上的每一个像素x^f：c-1)通过各个L_si和L_f确定薄板样条变换函数的参数c_si，A_si和W_si，c-2)计算各个侧脸图像的权重，c-3)确定合成图像I_syn上各个像素点x^f的灰度值：d)计算合成图像I_syn与正面人脸库中的各个正脸图像之间的欧氏距离，将侧脸图像I_si判定为属于所述欧氏距离最小的正脸图像。本发明可用于视频监控等技术领域。

Description

基于正脸图像合成的人脸识别方法

技术领域

本发明涉及人脸识别，尤其涉及一种基于正脸图像合成的人脸识别方法，属于数字图像处理和模式识别领域。

背景技术

近年来，基于二维人脸图像的人脸识别成为了计算机视觉与模式识别领域的重要研究课题，而多变的人脸姿态则是二维人脸识别所面对的最大难题之一。

本质上，人脸是一个三维曲面，而二维人脸图像则是这个曲面在某一个二维平面上的投影。二维图像上人脸姿态的变化实质上是由人脸曲面在三维空间中的旋转所造成的，但我们看到的是这个曲面旋转后再投影到原二维平面的结果。而在三维向二维投影过程中，大量的与深度有关的信息(三维曲面信息)会被丢失，所以仅利用人脸曲面在二维平面上的投影(即二维人脸图像)，很难精确计算出人脸姿态的改变。

目前在视频监控等领域，可以非常容易地获得同一个人不同姿态的多幅图像，但却难以保证能够获取标准的正面人脸图像。

相关的、应对人脸姿态多变性的人脸识别策略包括：1)在人脸识别的训练集中为每个人保存多幅不同姿态的图像；2)利用三维人脸进行人脸识别；3)构建人脸的姿态模型，从而可以依据此模型将不同姿态的人脸调整为相同的姿态。但这些策略各自都存在不尽人意之处。

发明内容

本发明的目的在于克服现有技术中存在的问题，提出一种基于正脸图像合成的人脸识别方法。

为了实现本发明的技术目的，本发明采用如下技术方案：

一种基于正脸图像合成的人脸识别方法，包括下列步骤：

a)读取多个侧脸图像

获得每个侧脸图像的控制点图

b)从正面人脸库读取一个正脸图像，获得该正脸图像的控制点图L_f；

c)对要合成的正脸图像上的每一个像素x^f：

c-1)通过各个和L_f确定薄板样条变换函数的参数和

所述薄板样条变换函数为

c-2)计算各个侧脸图像的权重

其中s(x^f)表示像素x^f和各个控制点之间的距离，α为常数；

c-3)根据下式确定合成图像I_syn上各个像素点x^f的灰度值： $I_{\mathrm{syn}}\left(x^f\right)=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}\frac{{\mathrm{\ω}}_{s_i}\left(x^f\right)}{\underset{u=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\ω}}_{s_u}\left(x^f\right)}{I}_{s_i}\left({\mathrm{\ψ}}_{s_i}\left(x^f\right)\right);$

d)计算合成图像I_syn与正面人脸库中的各个正脸图像之间的欧氏距离，将侧脸图像

判定为属于所述欧氏距离最小的正脸图像。

下面对本发明方法进行更为具体的描述。

本发明方法可以将多幅侧脸(非正面人脸)图像自动合成为一幅正面人脸图像，并依据图像合成策略设计人脸识别算法，提高对于非正面人脸图像的识别率。

本发明所提出的正面人脸图像合成策略的输入输出如图1所示。该算法的核心可以概述为：在合成正面人脸时，在每一个像素上，衡量从每一幅输入图像(即侧脸图像)变换到正脸图像时所需要的非刚性形变量，并以此形变量为权重，确定对正面人脸图像进行合成时对应输入图像的贡献。此权重的衡量依赖于薄板样条变换，薄板样条变换函数可以表示为：

y＝ψ(x)＝c+Ax+W^Ts(x)，

其中， $s\left(x\right)={[\mathrm{\σ}(x-x_1^1),\mathrm{\σ}(x-x_2^1),...,\mathrm{\σ}(x-x_k^1)]}^T,$

$\mathrm{\σ}\left(x\right)=\left\{\begin{array}{cc}{\left|\right|x\left|\right|}^2\lg \left(\right|\left|x\right|\left|\right),& \left|\right|x\left|\right|>0,\\ 0,& \left|\right|x\left|\right|=0.\end{array}\right.$

x∈R^2×1、y∈R^2×1分别表示变换前和变换后图像上的像素点坐标，ψ(x)表示对坐标点x做薄板样条变换后得到的位置，c∈R^2×1，A∈R^2×2，W∈R^k×2则是变换模型的参数。

在合成正脸图像上的像素x^f时，第i幅输入图像的权重为，

${\mathrm{\ω}}_{s_i}\left(x^f\right)={\left|\right|{\left(W_{s_i}\right)}^{T}s\left(x^f\right)\left|\right|}^{-\mathrm{\α}},$

其中，α是通常取0.1。正脸图像I_syn的合成规则为，

$I_{\mathrm{syn}}\left(x^f\right)=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}\frac{{\mathrm{\ω}}_{s_i}\left(x^f\right)}{\underset{u=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\ω}}_{s_u}\left(x^f\right)}{I}_{s_i}\left({\mathrm{\ψ}}_{s_i}\left(x^f\right)\right),---\left(1\right)$

其中，I_syn(x^f)表示被合成的正脸图像上，坐标为x^f的点的灰度值，

${\mathrm{\ψ}}_{s_i}\left(x^f\right)=c_{s_i}+A_{s_i}{x}^f+{\left(W_{s_i}\right)}^{T}s\left(x^f\right),$

表示第i幅输入图像，t表示输入图像数目，

为第i幅输入图像变换成正面人脸图像所需要的薄板样条变换参数。

薄板样条变换的参数由输入控制点集X¹＝[x¹ ₁，x¹ ₂，...，x¹ _k]^T∈R^k×2和输出控制点集Y¹＝[y¹ ₁，y¹ ₂，...，y¹ _k]^T∈R^k×2确定，在本发明中控制点集X¹就是描述需要合成的正脸轮廓的各个标记点的坐标，而控制点集Y¹则是描述输入非正面人脸轮廓的标记点的坐标。本发明使用基于贝叶斯正切轮廓模型(BTSM)的策略自动提取输入的非正面人脸图像的轮廓，而需要合成的正脸图像轮廓则是利用BTSM所提取现有已注册人脸库中的人脸轮廓(已注册人脸库中只为每一个已经注册过的人保留一副正面图像作为识别这个人的依据)。

对于某个人的一组输入图像进行人脸识别时，具体的策略是，将此组图像依据已注册人脸库中每个人的轮廓分别合成一副人脸图像，合成的流程如图2所示，然后计算合成人脸与对应的库中标准人脸的欧氏距离，最终将此组输入图像判别为属于欧氏距离最近的库中人。

和现有技术相比，本发明的优势在于：

充分利用实际应用中非常容易获得的非正面人脸图像，解决了实际应用中比较难以获得正面人脸图像的问题，有效改善了姿态问题对于人脸识别算法的影响；同时、只利用二维图像信息，相对于相关三维方法，计算简单且效率更高。

附图说明

图1表示本发明方法的输入输出示意图；

图2表示本发明方法的流程示意图。

具体实施方式

下面通过具体实施例对本发明作进一步描述。

如图2所示，

(一)正脸图像的合成

(1)读入所有输入图像

i＝1，2，...，t；

(2)对每一幅输入图像应用BTSM提取控制点

(3)读入正面人脸图像的控制点L_f；

(4)对要合成的正脸图像上的每一个像素x^f：

(a)利用

和L_f确定薄板样条变换的参数

(b)计算所有输入图像对应的权重然后利用公式(1)确定合成图像上当前像素点x^f的灰度值。

(二)基于正面人脸图像合成的人脸识别

(1)利用BTSM算法提取标准人脸库中已注册的所有图像(正脸)的控制点；

(2)对每一组需要识别的输入图像：

(a)将这组图像按照库中每一个标准图像的控制点分别合成一个正脸，如图2所示；

(b)计算合成后的图像与对应标准正脸图像的欧氏距离；

(c)将此组输入图像判别为属于对应欧氏距离最小的库中主体。

Claims (4)

1.一种基于正脸图像合成的人脸识别方法，包括下列步骤：

a)读取多个侧脸图像

获得每个侧脸图像的控制点图

b)从正面人脸库读取一个正脸图像，获得该正脸图像的控制点图L_f；

c)对要合成的正脸图像上的每一个像素x^f：

c-1)通过各个

和L_f确定薄板样条变换函数的参数

和所述像素x^f对应的薄板样条变换函数为

其中s(x^f)表示像素x^f和各个正脸图像的控制点之间的距离函数；

c-2)计算各个侧脸图像的权重

α为常数；

c-3)根据下式确定合成图像I_syn上各个像素点x^f的灰度值：

$I_{\mathrm{syn}}\left(x^f\right)=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}\frac{{{\mathrm{\ω}}_s}_i\left(x^f\right)}{\underset{u=1}{\overset{t}{\mathrm{\Σ}}}{{\mathrm{\ω}}_s}_u\left(x^f\right)}{I_s}_i\left({{\mathrm{\ψ}}_s}_i\left(x^f\right)\right);$

d)计算合成图像I_syn与正面人脸库中的各个正脸图像之间的欧氏距离，将侧脸图像判定为属于所述欧氏距离最小的正脸图像。

2.如权利要求1所述的基于正脸图像合成的人脸识别方法，其特征在于， $s\left(x\right)={[\mathrm{\σ}(x-x_1^1),\mathrm{\σ}(x-x_2^1),...,\mathrm{\σ}(x-x_k^1)]}^T,$ 其中 $\mathrm{\σ}\left(x\right)=\left\{\begin{array}{cc}{\left|\right|x\left|\right|}^{2}1g\left(\right|\left|x\right|\left|\right),& \left|\right|x\left|\right|>0\\ 0,& \left|\right|x\left|\right|=0\end{array}\right.,$

为正脸图像上的控制点坐标。

3.如权利要求1所述的基于正脸图像合成的人脸识别方法，其特征在于，α＝0.1。

4.如权利要求1所述的基于正脸图像合成的人脸识别方法，其特征在于，通过基于贝叶斯正切轮廓模型提取人脸图像的控制点图。

Images