CN103955708A - 一种用于人脸合成画像识别的人脸照片库快速缩减方法 - Google Patents

Abstract

本发明是一种用于人脸合成画像识别的人脸照片库快速缩减方法，该方法通过在面部组件码表库中检索待识别的人脸合成画像的面部组件码，实现快速缩小照片库的目的，其步骤包括：1、利用基于单人脸的Fisher线性判别分析方法建立了一个用于连接照片库与人脸合成画像软件面部组件库的面部组件码表库；2、在步骤1得到的面部组件码表库中检索待匹配人脸合成画像的面部组件码，利用符合条件的面部组件码表对应的人脸照片构建缩小后的照片库。本发明利用面部组件码检索代替人脸合成画像检索，有效缩短检索时间，实现在照片库非常庞大的情况下，快速地将目标锁定在一个小的照片库内。

Description

一种用于人脸合成画像识别的人脸照片库快速缩减方法

技术领域

本发明属于图像处理、模式识别应用领域，具体涉及一种用于人脸合成画像识别的缩小照片库的方法，通过该方法实现在照片库非常庞大的情况下，快速地将目标锁定在一个小的照片库内。

背景技术

人脸合成画像是利用人脸合成画像软件合成的。一款人脸合成画像软件会提供一定数量的脸部组件如眼睛、嘴巴、鼻子、眉毛、头发和脸型等供用户选择，有些人脸合成画像软件还会提供特殊的组件如伤疤、胎记等。用户可以在人脸组件库中选择相应的特征，组合成一张目标人脸合成画像。

在很多实际的犯罪现场，可能找不到DNA和监控视频等与犯罪嫌疑人相关的有效信息，但可能存在现场目击者。在这种情况下，执法机构会要求目击者和执法人员一起利用合成画像软件合成嫌疑人的人脸合成画像，然后将人脸合成画像公示在电视和网络上，等待知情者向执法机关提供有关嫌疑人的信息。然而，这种方法实施过程较长、效果不好，而且没有合理利用公安局中现有的人脸数据库资源。因此，实际应用于中急需一种自动的人脸合成画像的识别方法。

目前，人脸合成画像的识别研究处于起步阶段，缺乏有效的人脸合成画像数据库以及有效的人脸合成画像识别方法。已有的关于人脸合成画像识别的方法有两种，其中一种为“P.C.Yuen and C.H.Man.Human Face Image Searching System Using Sketches,IEEETrans.Systems,Man and Cybernetics,Part A:Systems and Humans38(4)(2011)493-504.”。该方法利用全局特征和局部特征表述人脸，计算人脸合成画像和人脸照片之间的相似度，最后根据用户的反馈增强识别效果。该方法因为使用半自动的方法检测面部特征点，以及需要使用用户的反馈信息，所以比较耗时。另外一种人脸合成画像的识别方法为“H.Hu,B.Klare,K.Bonnen and A.Jain.Matching Composite Sketches to Face Photos:A Component-BasedApproach,IEEE Trans.Information Forensics and Security8(1)(2013)191-203.”，该方法利用多尺度局部二值模型表述各面部组件特征，分别计算人脸合成画像和人脸照片的各面部组件之间的相似度，最后将相似度结果融合。整个方法复杂的处理过程使该方法也比较耗时。在实际的人脸合成画像的识别中，公安局中的照片库是非常庞大的，已有的两种方法显然不能满足快速锁定犯罪人的要求。

发明内容

本方法的目的是提出一种用于人脸合成画像识别的缩小照片库的方法，实现人脸合成画像与照片的快速识别。该方法通过在面部组件码表库中检索待识别的人脸合成画像的面部组件码，实现快速缩小照片库的目的。该方法能够有效缩小照片库，达到快速锁定目标的目的。

为实现这一目的，本发明的技术方案从人脸合成画像自身特性出发，首先提出一种面部组件码表库的建立方法，具体方法如下：

①得到包含特定人脸合成画像软件的所有面部组件的人脸合成画像库；

②对人脸合成画像库中的人脸合成画像进行预处理；

③分割人脸合成画像库中人脸合成画像，得到该特定人脸合成画像软件对应的面部组件库；

④对人脸照片库中的照片进行预处理；

⑤分割人脸照片的面部组件，利用基于Fisher线性判别分析的方法在面部组件库中检索与人脸照片各面部组件最相似的面部组件，记录下相应的面部组件的编码，利用同一人脸照片对应的面部组件码建立一张面部组件码表，最后将所有照片对应的面部组件码表组成面部组件码表库。

进一步，本发明提出一种快速缩小照片库的方法，包括步骤如下：

(1)利用上述方法建立面部组件码表库；

(2)在步骤(1)得到的面部组件码表库中检索待匹配人脸合成画像的面部组件码，利用符合条件的面部组件码表对应的人脸照片构建缩小后的照片库。

与现有技术相比，本发明的优点是：

(1)面部组件码表库在建立完成后，可以长久使用。而且其建立过程与缩小照片库的过程分开，因此建立过程所用时间不在缩小照片库的时间内。

(2)在缩小照片库的过程中，利用面部组件码的检索代替人脸合成画像的检索，有效缩短检索时间，将目标快速锁定在一个小的照片库内。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。

附图说明

图1：本发明方法的整体处理流程图

图2：分割一张照片的面部组件的过程，其中a为特征点检测，b为面部组件定位

图3：一张照片的眼睛组件码的获取过程。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

图1给出了本发明的具体处理流程，包括以下的两大部分：

第一部分：面部组件码表库的建立，包括以下步骤：

①得到包含任一人脸合成画像软件的所有面部组件的人脸合成画像库；

为了得到人脸合成画像软件中的所有面部组件，采用固定其他组件不变、控制其中一个面部组件变化的方法，得到包含该人脸合成画像软件的所有面部组件的人脸合成画像库。以得到包含所有眼睛组件的人脸合成画像库为例，固定人脸合成画像中的头发、眉毛、鼻子、嘴巴和脸型等组件保持不变，依次选择人脸合成画像软件的面部组件库中的眼睛组件，并保存相应的人脸合成画像。采用同样的方法，可以得到包含所有头发、眉毛、鼻子和嘴巴组件的人脸合成画像。

②对①得到的人脸合成画像库中图像进行预处理：包括灰度化和几何归一化。几何归一化的主要处理过程为通过的平面旋转、平移等使人脸合成画像的两眼之间的角度为0度，并根据两个眼睛坐标把所有图像裁剪到同一大小。

③分割②得到的所有的人脸合成画像：采用基于主动形状模型的开源软件Stasm检测面部特征点，检测结果如图2a所示，然后利用一个矩形框定位每个面部组件，该矩形框是利用在主动形状模型中预先标定的特征点确定的(矩形框的宽w是根据每个面部组件最左边和最右边的特征点的x坐标确定的，矩形框的高h是将宽w与一个给定的比例值r相乘得到的)，最后完成对面部组件的分割，分割结果如图2b所示。

④对照片库中照片进行预处理：包括灰度化和几何归一化。几何归一化的主要处理过程为通过的平面旋转、平移等使照片的两眼之间的角度为0度，并根据两个眼睛坐标把所有图像裁剪到同一大小。

⑤建立面部组件码表库：建立一个与任一张照片A对应的面部组件码表的过程：在人脸合成画像的面部组件库中，分别检索照片A的头发、眉毛、眼睛、鼻子和嘴巴组件，分别得到库中与其最相似的前m个组件。

下面以眼睛组件的检索过程为例进行说明。利用人脸合成画像面部组件库中所有眼睛组件Ek(k＝1,2,…,N)，计算Fisher线性判别分析的最佳投影矩阵W_E：

W_E＝(S_w)^-1S_b         (1)其中，S_w为类内散射矩阵：

$S_w=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}[{(E_k-{\stackrel{\‾}{E}}_k)}^T(E_k-{\stackrel{\‾}{E}}_k)+{({\hat{E}}_k-{\stackrel{\‾}{E}}_k)}^T({\hat{E}}_k-{\stackrel{\‾}{E}}_k)]---\left(2\right)$

S_b为类间散射矩阵：

$S_b=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{({\stackrel{\‾}{E}}_k-\stackrel{\‾}{E})}^T({\stackrel{\‾}{E}}_k-\stackrel{\‾}{E})---\left(3\right)$

其中，是由3个基图像叠加构成的图像，其中3个基图像是指对原图像进行奇异值分解得到的三个拥有最大奇异值的图像，为人脸合成画像面部组件库中所有眼睛组件的平均图像，为第k类眼睛组件的平均图：

$\left\{\begin{array}{c}{\stackrel{\‾}{E}}_k=\frac{1}{2}(E_k+{\hat{E}}_k)\\ \stackrel{\‾}{E}=\frac{1}{2N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}(E_k+{\hat{E}}_k)\end{array}\right.---\left(4\right)$

在得到W_E后，人脸合成画像面部组件库中所有眼睛组件的判别特征为：

Z_k＝E_k×W_E,k＝1,2,...,N          (5)

然后将照片的眼睛组件投影到W_E，得到Z_A。最后计算照片眼睛组件的判别特征与人脸合成画像面部组件库中所有眼睛组件的判别特征之间的欧式距离：

D(Z_A,Z_k)＝||Z_A-Z_k||,k＝1,2,...,N          (6)

由式(6)可以得到人脸合成画像面部组件库中与照片A眼睛组件欧式距离最小的前m个眼睛组件，记录下相应的面部组件码。分别对照片A的头发、眉毛、鼻子和嘴巴组件执行同样的检索过程，可以得到5×m个面部组件码。利用得到的5×m个面部组件码构建与照片A对应的面部组件码表。

第二部分：构建缩小后的照片库

在面部组件码表库中检索待识别的人脸合成画像的面部组件码。将符合条件的面部组件码表对应的照片记录下来，用于构建缩小后的照片库。判断一个面部组件码表是否符合条件的标准：如果面部组件码表库中某一张表内部含有n(n＝1,2,3,4,5)个或n个以上的待匹配人脸合成画像的面部组件码时，我们就认为该面部组件码表符合条件。

以上所述仅为本发明的优选并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变形在内。

Claims (10)

1.一种用于人脸合成画像识别的面部组件码表库的建立方法，具体方法如下：

①得到包含任一人脸合成画像软件的所有面部组件的人脸合成画像库；

②对人脸合成画像库中的人脸合成画像进行预处理；

③分割人脸合成画像库中人脸合成画像，得到该特定人脸合成画像软件对应的面部组件库；

④对人脸照片库中的照片进行预处理；

⑤分割人脸照片的面部组件，利用基于Fisher线性判别分析的方法在面部组件库中检索与人脸照片各面部组件最相似的面部组件，记录下相应的面部组件的编码，利用同一人脸照片对应的面部组件码建立一张面部组件码表，最后将所有照片对应的面部组件码表组成面部组件码表库。

2.根据权利要求1所述的用于人脸合成画像识别的面部组件码表库的建立方法，其特征在于，所述步骤①的具体方法为：对于人脸合成画像软件，采用固定其他组件不变、控制其中一个面部组件变化的方法，得到包含该人脸合成画像软件的所有面部组件的人脸合成画像库。

3.根据权利要求1所述的用于人脸合成画像识别的面部组件码表库的建立方法，其特征在于，所述步骤②的预处理方法包括灰度化和几何归一化，灰度化是将所有人脸合成画像转化为灰度图像。几何归一化是利用已知的人脸合成画像的眼睛坐标，在平面内进行旋转、平移等操作，使人脸合成画像中两眼之间的角度为0度，并把人脸合成画像裁剪到同一大小。

4.根据权利要求1所述的用于人脸合成画像识别的面部组件码表库的建立方法，其特征在于，所述步骤③的具体方法为：首先利用基于主动形状模型的方法检测人脸合成画像的面部特征点，然后利用一个矩形框定位每个面部组件，该矩形框是利用在主动形状模型中预先标定的特征点确定的，最后完成对面部组件的分割。

5.根据权利要求4所述的用于人脸合成画像识别的面部组件码表库的建立方法，其特征在于，所述矩形框的宽w是根据每个面部组件最左边和最右边的特征点的x坐标确定的，矩形框的高h是将宽w与一个给定的比例值r相乘得到的。

6.根据权利要求1所述的用于人脸合成画像识别的面部组件码表库的建立方法，其特征在于，所述步骤④的预处理包括灰度化和几何归一化，灰度化是将所有照片转化为灰度图像。几何归一化是利用已知的人脸合成画像的眼睛坐标，在平面在进行旋转、平移等操作，使照片中两眼之间的角度为0度，并把照片裁剪到同一大小。

7.根据权利要求1所述的用于人脸合成画像识别的面部组件码表库的建立方法，其特征在于，所述步骤⑤的具体方法为：利用基于单人脸的Fisher线性判别分析的方法为照片库中每一张人脸照片建立一张面部组件码表；建立一个与任一张照片A对应的面部组件码表的过程如下：在人脸合成画像的面部组件库中，分别检索照片A的头发、眉毛、眼睛、鼻子和嘴巴组件，分别得到库中与其最相似的前m个组件，记录下相应的面部组件码，可以得到5×m个面部组件码，利用得到的5×m个面部组件码构建与照片A对应的面部组件码表。

8.根据权利要求7所述的用于人脸合成画像识别的面部组件码表库的建立方法，其特征在于，步骤⑤中面部组件的检索过程如下：

利用人脸合成画像面部组件库中所有X面部组件E_k(k＝1,2,…,N)，X代表头发、眉毛、眼睛、鼻子或嘴巴，计算Fisher线性判别分析的最佳投影矩阵W_E：

W_E＝(S_w)^-1S_b         (1)其中，S_w为类内散射矩阵：

$S_w=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}[{(E_k-{\stackrel{\‾}{E}}_k)}^T(E_k-{\stackrel{\‾}{E}}_k)+{({\hat{E}}_k-{\stackrel{\‾}{E}}_k)}^T({\hat{E}}_k-{\stackrel{\‾}{E}}_k)]---\left(2\right)$ T为矩阵转置,S_b为类间散射矩阵：

$S_b=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{({\stackrel{\‾}{E}}_k-\stackrel{\‾}{E})}^T({\stackrel{\‾}{E}}_k-\stackrel{\‾}{E})---\left(3\right)$ 其中，是由3个基图像叠加构成的图像，其中3个基图像是指对原图像进行奇异值分解得到的三个拥有最大奇异值的图像，为人脸合成画像面部组件库中所有X面部组件的平均图像，为第k类X面部组件的平均图：

$\left\{\begin{array}{c}{\stackrel{\‾}{E}}_k=\frac{1}{2}(E_k+{\hat{E}}_k)\\ \stackrel{\‾}{E}=\frac{1}{2N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}(E_k+{\hat{E}}_k)\end{array}\right.---\left(4\right)$

在得到W_E后，人脸合成画像面部组件库中所有X面部组件的判别特征为：

Z_k＝E_k×W_E,k＝1,2,...,N         (5)

然后将照片的X面部组件投影到W_E，得到Z_A。最后计算照片X面部组件的判别特征与人脸合成画像面部组件库中所有X面部组件的判别特征之间的欧式距离：

D(Z_A,Z_k)＝||Z_A-Z_k||,k＝1,2,...,N      (6)

由式(6)可以得到人脸合成画像面部组件库中与照片A的X面部组件欧式距离最小的前m个X面部组件，记录下相应的面部组件码。

9.一种用于人脸合成画像识别的人脸照片库快速缩减方法，其特征在于，通过以下步骤实现：

(1)利用权利要求1-8任一所述的方法建立面部组件码表库；

(2)在步骤(1)得到的面部组件码表库中检索待匹配人脸合成画像的面部组件码，利用符合条件的面部组件码表对应的人脸照片构建缩小后的照片库。

10.根据权利要求9所述的用于人脸合成画像识别的人脸照片库快速缩减方法，其特征在于，所述步骤(2)判断面部组件码表库中任一张表是否符合条件的标准为：如果面部组件码表库中某一张表内部含有n(n＝1,2,3,4,5)个或n个以上的待匹配人脸合成画像的面部组件码时，我们就认为与该面部组件码表符合条件。这里需要指出的是，n值需要根据面部组件库的大小而定。