CN106023079A - 联合局部与全局特性的两阶段人脸画像生成方法 - Google Patents

Abstract

本发明公开了一种联合局部与全局特性的两阶段人脸画像生成方法。其步骤为：(1)划分样本；(2)划分图像块；(3)划分图像块子集；(4)生成初始合成画像块；(5)生成最终合成画像块；(6)合成画像。本发明采用了分阶段的方法，第一阶段将样本块划分为具有全局性的多个子集，在子集内合成初始画像块，第二阶段将样本块划分为具有局部性的多个子集，在子集内合成最终画像块，能合成背景干净且细节清晰的高质量画像。本发明仅使用简单的K均值聚类与样本块位置信息划分样本块集合，使用简单映射生合成画像，极大的提升了合成画像速度。

Description

联合局部与全局特性的两阶段人脸画像生成方法

技术领域

本发明属于图像处理技术领域，更进一步涉及模式识别与计算机视觉技术领域中的一种联合局部与全局特性的两阶段人脸画像生成方法。本发明可用于公共安全领域中人脸检索与识别。

背景技术

在刑侦追捕中，公安部门备有公民照片数据库，结合人脸识别技术用以确定犯罪嫌疑人身份，但实际中一般较难获得犯罪嫌疑人照片，但却可以在画家和目击者的合作下得到犯罪嫌疑人的素描画像来进行后续人脸检索和识别。由于画像与普通人脸照片之间有很大的差异，直接用传统的人脸识别方法很难获取得到满意的识别效果。将公民照片数据库中的照片合为画像能有效的减小他们纹理上的差距，进而提高识别率。

N.Wang等人在其发表的论文“N.Wang,D.Tao,X.Gao,X.Li,and J.Li.Transductiveface sketch-photo synthesis”(IEEE Transactions on Neural Networks and LearningSystem,24(9):1364-1376,2013)中提出了一种基于直推式的人脸画像合成方法。该方法首先将训练图像与输入测试图像均匀分块，对于任意测试图像块，搜索其若干近邻，得到待合成图像形态的候选块。然后对测试图像块、近邻块及候选图像块进行建模，求取重构权值。最后利用边界最小割算法将得到的图像块缝合并输出画像。直推式学习是将所有的样本(包括测试样本和训练样本)一起进行学习，以最小化测试样本风险误差为目标，因而能够减小风险误差。该方法存在的不足之处是，算法复杂度高，画像合成速度慢。

X.Gao等人在其发表的论文“X.Gao,J.Zhou,D.Tao,and X.Li,Local face sketchsynthesis learning”(Neurocomputing,vol.71,no.10-12,pp.1921-1930,Jun.2008)中提出利用利用嵌入式隐马尔科夫模型来生成伪画像。该方法首先对训练库中的照片和画像进行分块，然后用嵌入式隐马尔科夫模型对相应的照片块和画像块进行建模，任意给一张照片，同样进行分块，对于任意的一个块，用选择性集成的思想，选择部分块生成的模型进行伪画像的生成并进行融合从而得到最终的伪画像。该方法存在的不足之处是，由于该方法采用了选择性集成技术，生成的伪画像要进行加权平均，导致背景不干净、细节不清晰，进而降低了生成画像质量。

西安电子科技大学申请的专利“基于稀疏表示的画像-照片生成方法”(申请号：201010289330.9申请日：2010-09-24申请公布号：CN 101958000 A)中公开了一种基于稀疏表示的人脸画像合成方法。该方法首先用已有的画像合成方法合成画像初始估计，然后用基于稀疏表示的方法合成伪画像的细节信息，最后将初始估计和细节信息进行融合。该方法的不足之处是：合成画像的质量绝大部分依赖于初始画像合成方法，而且将稀疏表示用于画像合成会导致画像合成速度过慢。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种联合局部与全局特性的两阶段人脸画像生成方法，在保证合成画像质量的前提下大幅度提升画像合成的速度。

实现本发明目的的具体步骤如下：

(1)划分样本：

(1a)从照片画像对集合中取出M张照片组成训练照片样本集T_p，2≤M≤U-1，U表示照片画像对集合中照片画像对的总数；

(1b)从照片画像对集合中取出与训练照片样本集T_p的照片一一对应的M张画像，组成训练画像样本集T_s；

(1c)将照片画像对集合中剩余的照片画像对组成测试样本集T_q；

(2)划分图像块：

(2a)从测试样本集T_q中任意选取一张测试照片L，将测试照片L划分成大小相同，且重叠程度相同的图像块，并组成测试照片块集合；

(2b)将训练照片样本集T_p中的每一张照片，划分成大小相同，且重叠程度相同的图像块，并组成训练照片样本块集合；

(2c)将训练画像样本集T_s中的每一张画像，划分成大小相同，且重叠程度相同的图像块，并组成训练画像样本块集合；

(3)划分图像块子集：

(3a)使用K均值聚类算法，将训练照片样本块集合划分成多个全局性的训练照片样本块子集R_k，k＝1,…,g，g表示训练照片样本块子集的总数；

(3b)使用K均值聚类算法，将训练画像样本块集合划分成多个全局性的训练画像样本块子集Q_k，k＝1,…,v，v表示训练画像样本块子集总数；

(3c)将训练画像样本块集合中位置不同的训练画像块划分成多个局部性的训练画像样本块子集Q_j，j＝1,…,N，N表示划分成的图像块的总数，1≤N≤50000；

(4)生成初始合成画像块：

(4a)按照下式，求解从全局性的训练照片样本块子集R_k映射到全局性的训练画像样本块子集Q_k的映射系数矩阵：

$w_k=Q_k{R}_k^T{(R_k{R}_k^T+0.5E)}^{-1}$

其中，Q_k表示第k个训练画像样本块子集，P_k表示第k个训练照片样本块子集，T表示转置操作，E表示单位矩阵，-1表示求逆操作；

(4b)使用K均值聚类算法，将测试照片块集合的测试照片块划分成不同的测试照片样本块子集P_k，k＝1,…,z，z表示测试照片样本块子集的总数；

(4c)按照下式，求解初始合成画像块子集：

S_k＝w_kP_k

其中，S_k表示第k个初始合成画像块子集，w_k表示从第k个全局性的训练照片样本块子集映射到第k个全局性的训练画像样本块子集Q_k的映射系数矩阵，P_k表示第k个测试照片样本块子集；

(4d)建立初始合成画像块集合，将所有初始合成画像块放到初始合成画像块集合内；

(5)生成最终合成画像块：

(5a)初始合成画像块集合中每一个初始合成画像块均位于画像的不同位置，将每一个初始合成画像块按位置不同划分到不同的训练画像样本块子集中；

(5b)从训练画像样本块子集中找出与初始合成画像块最相似的训练画像块作为最终合成画像块；

(5c)建立最终合成画像块集合，将所有最终合成画像块放到最终合成画像块集合内；

(6)合成画像：

采用拼接合成画像块的方法，将最终合成画像块集合内所有的最终合成画像块拼接，得到合成画像。

与现有技术相比，本发明有以下优点：

第1，由于本发明采用了分阶段的方法，第一阶段将样本块划分为具有全局性的多个子集，在子集内合成初始画像块，第二阶段将样本块划分为具有局部性的多个子集，在子集内合成最终画像块，克服了现有技术合成画像质量不高的问题，使得本发明能够合成背景干净且细节清晰的高质量画像。

第2，由于本发明仅使用简单的K均值聚类与样本块位置信息划分样本块集合，使用简单映射合成画像，克服了现有技术步骤复杂、合成速度慢的问题，使得本发明能够快速地合成画像。

附图说明

图1为本发明流程图；

图2为本发明的仿真效果图。

具体实施方式

下面结合附图对本发明作进一步地描述。

参照图1，本发明的具体步骤如下。

步骤1，划分样本。

从照片画像对集合中取出M张照片组成训练照片样本集T_p，2≤M≤U-1，U表示照片画像对集合中照片画像对的总数。

从照片画像对集合中取出与训练照片样本集T_p的照片一一对应的M张画像，组成训练画像样本集T_s。

将照片画像对集合中剩余的照片画像对组成测试样本集T_q。

取出的照片以及与照片一一对应的画像所占输入样本集的比例范围分别为1/4～2/4。

步骤2，划分图像块。

从测试样本集T_q中任意选取一张测试照片L，将测试照片L划分成大小相同，且重叠程度相同的图像块，并组成测试照片块集合：

P＝{p¹,…,p^j,…,p^N}

其中，P表示测试照片块集合，p^j表示测试照片L划分成的照片块中的第j个照片块，j＝1,…,N，N表示划分成的图像块的个数，1≤N≤50000。

将训练照片样本集T_p中的每一张照片，划分成大小相同，且重叠程度相同的图像块，并组成训练照片样本块集合：

$R=\left(\right\{r_1^1,...,r_1^j,...,r_1^N\},...,\{r_i^1,...,r_i^j,...,r_i^N\},...,\{r_M^1,...,r_M^j,...,r_M^N\left\}\right)$

其中，R表示训练照片样本块集合，r_i ^j表示训练照片样本集T_p中第i张照片划分成的照片块中的第j个照片块，i＝1,…,M，j＝1,…,N，N表示划分成的图像块的个数，1≤N≤50000。

将训练画像样本集T_s中的每一张画像，划分成大小相同，且重叠程度相同的图像块，并组成训练画像样本块集合：

$Q=\left(\right\{q_1^1,...,q_1^j,...,q_1^N\},...,\{q_i^1,...,q_i^j,...,q_i^N\},...,\{q_M^1,...,q_M^j,...,q_M^N\left\}\right)$

其中，Q表示训练画像样本块集合，表示训练画像样本集T_s中的第i张画像划分成的画像块中的第j个画像块，i＝1,…,M，j＝1,…,N，N表示划分成的图像块的个数，1≤N≤50000。

重叠程度为图像块间重叠部分占图像块的比例为2/3。

步骤3，划分图像块子集。

使用K均值聚类算法，将训练照片样本块集合划分成多个全局性的训练照片样本块子集R_k，k＝1,…,g，g表示训练照片样本块子集的总数。

使用K均值聚类算法，将训练画像样本块集合划分成多个全局性的训练画像样本块子集Q_k，k＝1,…,v，v表示训练画像样本块子集总数。

将训练画像样本块集合中位置不同的训练画像块划分成多个局部性的训练画像样本块子集Q_j，j＝1,…,N，N表示划分成的图像块的总数，1≤N≤50000。

步骤4，生成初始合成画像块。

按照下式，求解从全局性的训练照片样本块子集R_k映射到全局性的训练画像样本块子集Q_k的映射系数矩阵：

$w_k=Q_k{R}_k^T{(R_k{R}_k^T+0.5E)}^{-1}$

其中，Q_k表示第k个训练画像样本块子集，P_k表示第k个训练照片样本块子集，k表示转置操作，E表示单位矩阵，-1表示求逆操作。

使用K均值聚类算法，将测试照片块集合的测试照片块划分成不同的测试照片样本块子集P_k，k＝1,…,z，z表示测试照片样本块子集的总数。

按照下式，求解初始合成画像块子集S_k：

S_k＝w_kP_k

其中，S_k表示第k个初始合成画像块子集，w_k表示从第k个全局性的训练照片样本块子集映射到第k个全局性的训练画像样本块子集Q_k的映射系数矩阵，P_k表示第k个测试照片样本块子集。

建立初始合成画像块集合，将所有初始合成画像块放到初始合成画像块集合内。

步骤5，生成最终合成画像块。

初始合成画像块集合中每一个初始合成画像块均位于画像的不同位置，将每一个初始合成画像块按位置不同划分到不同的训练画像样本块子集中。

从训练画像样本块子集中找出与初始合成画像块最相似的训练画像块作为最终合成画像块。

建立最终合成画像块集合，将所有最终合成画像块放到最终合成画像块集合内。

最相似是指初始合成画像块特征向量与训练画像块特征向量间的欧氏距离最小。

步骤6，合成画像。

采用拼接合成画像块的方法，将最终合成画像块集合内所有的最终合成画像块拼接，得到合成画像。

拼接合成画像块的方法如下：

第一步，将位于画像不同位置的合成画像块按照其所在位置进行放置。

第二步，取相邻两画像块间重叠部分的像素值的平均值。

第三步，用相邻两画像块间重叠部分的像素值的平均值替换相邻两画像块间重叠部分的像素值，得到拼接部分的画像块。

本发明的效果通过以下仿真实验进一步说明。

1.仿真实验条件：

本发明仿真实验的计算机配置环境为Intel(R)Core i7-4790 3.6GHZ、内存16G、WINDOWS 7操作系统，仿真软件采用MATLAB R2012a，数据库采用香港中文大学CUHK student数据库。

本发明的仿真实验中所使用的现有技术的对比方法包括如下两种：

一种是基于局部线性嵌入的方法，实验中记为LLE；参考文献为“Q.Liu,X.Tang,H.Jin,H.Lu,and S.Ma”(A Nonlinear Approach for Face Sketch Synthesis and Recognition.InProc.IEEE Int.Conference on Computer Vision,pp.1005-1010,2005)；

另一种是基于马尔可夫权重场模型的方法，实验中记为MWF；参考文献为“H.Zhou,Z.Kuang,and K.Wong.Markov Weight Fields for Face Sketch Synthesis”(In Proc.IEEE Int.Conference on Computer Vision,pp.1091-1097,2012)。

2.仿真实验内容：

本发明共有两组仿真实验：

仿真实验1：在CUHK student数据库上合成画像，并与LLE、MWF方法合成的画像进行对比。

仿真实验2：在相同的实验环境下，分别使用本发明技术、LLE方法和MWF方法合成100张画像，统计总时间并计算每合成一张画像消耗的平均时间(s)，对比三种方法合成画像的平均耗时。

3.仿真实验结果和分析

本发明的仿真实验结果如附图2所示，其中图2(a)是从测试照片样本集中任意取出的一张测试照片，图2(b)是使用现有技术的LLE方法合成的画像，图2(c)是使用现有技术的MWF方法合成的画像，图2(d)是使用本发明方法合成的画像。

由图2可见，由于本发明采取分阶段的方法，在两个阶段分别考虑了全局性与局部性，使得合成画像质量高于LLE、MWF方法合成的画像。

采用本发明方法与现有技术的LLE方法、MWF方法合成一张画像的平均耗时的对比结果如表1所示，合成画像平均耗时单位为s。

表1三种方法合成画像平均耗时

算法	LLE	MWF	本发明
				合成耗时(s)	19.7215	20.3425	1.1203

由表1可见，本发明方法合成画像的平均耗时为1.1203s，现有技术的LLE方法合成画像的平均耗时为19.7215s，现有技术的MWF方法合成画像的平均耗时为20.3425s，由此可见，本发明方法合成画像的平均耗时远低于所对比的两种方法，说明本发明在合成画像速度方面具有极大的优势。

Claims (5)

1.一种联合局部与全局特性的两阶段人脸画像生成方法，包括如下步骤：

(1)划分样本：

(1a)从照片画像对集合中取出M张照片组成训练照片样本集T_p，2≤M≤U-1，U表示照片画像对集合中照片画像对的总数；

(1b)从照片画像对集合中取出与训练照片样本集T_p的照片一一对应的M张画像，组成训练画像样本集T_s；

(1c)将照片画像对集合中剩余的照片画像对组成测试样本集T_q；

(2)划分图像块：

(2a)从测试样本集T_q中任意选取一张测试照片L，将测试照片L划分成大小相同，且重叠程度相同的图像块，并组成测试照片块集合；

(2b)将训练照片样本集T_p中的每一张照片，划分成大小相同，且重叠程度相同的图像块，并组成训练照片样本块集合；

(2c)将训练画像样本集T_s中的每一张画像，划分成大小相同，且重叠程度相同的图像块，并组成训练画像样本块集合；

(3)划分图像块子集：

(3a)使用K均值聚类算法，将训练照片样本块集合划分成多个全局性的训练照片样本块子集R_k，k＝1,…,g，g表示训练照片样本块子集的总数；

(3b)使用K均值聚类算法，将训练画像样本块集合划分成多个全局性的训练画像样本块子集Q_k，k＝1,…,v，v表示训练画像样本块子集总数；

(3c)将训练画像样本块集合中位置不同的训练画像块划分成多个局部性的训练画像样本块子集Q_j，j＝1,…,N，N表示划分成的图像块的总数，1≤N≤50000；

(4)生成初始合成画像块：

(4a)按照下式，求解从全局性的训练照片样本块子集R_k映射到全局性的训练画像样本块子集Q_k的映射系数矩阵：

$w_k=Q_k{R}_k^T{(R_k{R}_k^T+0.5E)}^{-1}$

其中，Q_k表示第k个训练画像样本块子集，T_s表示第k个训练照片样本块子集，T表示转置操作，E表示单位矩阵，-1表示求逆操作；

(4b)使用K均值聚类算法，将测试照片块集合的测试照片块划分成不同的测试照片样本块子集P_k，k＝1,…,z，z表示测试照片样本块子集的总数；

(4c)按照下式，求解初始合成画像块子集：

S_k＝w_kP_k

其中，S_k表示第k个初始合成画像块子集，w_k表示从第k个全局性的训练照片样本块子集映射到第k个全局性的训练画像样本块子集Q_k的映射系数矩阵，P_k表示第k个测试照片样本块子集；

(4d)建立初始合成画像块集合，将所有初始合成画像块放到初始合成画像块集合内；

(5)生成最终合成画像块：

(5a)初始合成画像块集合中每一个初始合成画像块均位于画像的不同位置，将每一个初始合成画像块按位置不同划分到不同的训练画像样本块子集中；

(5b)从训练画像样本块子集中找出与初始合成画像块最相似的训练画像块作为最终合成画像块；

(5c)建立最终合成画像块集合，将所有最终合成画像块放到最终合成画像块集合内；

(6)合成画像：

采用拼接合成画像块的方法，将最终合成画像块集合内所有的最终合成画像块拼接，得到合成画像。

2.根据权利要求1所述的联合局部与全局特性的两阶段人脸画像生成方法，其特征在于：步骤(1a)、步骤(1b)中所述取出的照片以及与照片一一对应的画像所占输入样本集的比例范围分别为1/4～2/4。

3.根据权利要求1所述的联合局部与全局特性的两阶段人脸画像生成方法，其特征在于：步骤(2a)、步骤(2b)、步骤(2c)中所述重叠程度为图像块间重叠部分占图像块的比例为2/3。

4.根据权利要求1所述的联合局部与全局特性的两阶段人脸画像生成方法，其特征在于：步骤(5b)中所述的最相似是指初始合成画像块特征向量与训练画像块特征向量间的欧氏距离最小。

5.根据权利要求1所述的联合局部与全局特性的两阶段人脸画像生成方法，其特征在于：步骤(6)中所述拼接合成画像块的方法如下：

第一步，将位于画像不同位置的合成画像块按照其所在位置进行放置；

第二步，取相邻两画像块间重叠部分的像素值的平均值；

第三步，用相邻两画像块间重叠部分的像素值的平均值替换相邻两画像块间重叠部分的像素值，得到拼接部分的画像块。