CN106056561A - 基于贝叶斯推断的人脸画像合成方法 - Google Patents

Abstract

本发明公开了一种基于贝叶斯推断的人脸画像合成方法，主要解决现有方法在近邻寻找或者在权值求解阶段没有考虑相邻图像块之间的相似性约束问题。其方案是：1.划分训练画像样本集、训练照片样本集和测试样本集；2.将所有图像划分成图像块，并组成块集合；3.将训练照片块集合与对应的画像块集合划分为多个子集；4.从训练照片‑画像块集合中选择出最近邻块；5.将最近邻块按欧式距离从训练照片‑画像块集合中进行近邻块再选择，对求解再选近邻块的线性组合权值；6.依据近邻块和组合权值，求解待合成画像块；7.迭代执行步骤5‑6共N次，融合得到最终的合成画像。本发明具有合成结果清晰度高、细节更完整的优点，可用于人脸检索与识别。

Description

基于贝叶斯推断的人脸画像合成方法

技术领域

本发明是属于图像处理的技术领域，更进一步涉及一种人脸画像合成方法，可用于刑侦破案中的人脸检索与识别。

背景技术

人脸画像合成在数字娱乐和刑侦破案中作用巨大。例如在3D巧克力打印中，通常需要利用人脸画像合成算法合成一张黑白画像来作为打印机的打印轨迹；在刑侦破案过程中往往并不总能得到犯罪嫌疑人的照片，得到的经常是目击者的一些描述或视频图像资料，为了快速破案，可行的方案是根据目击者描述及视频图像提供的线索绘制一幅画像，进而通过画像进行身份确认。但由于人脸照片和画像在成像机制、形状和纹理方面都存在较大的差异，直接采用现有的人脸识别技术在公民照片数据库中对画像进行识别，其识别率非常低。为了减小画像与照片之间的差异，可以将公民照片数据库中的照片利用画像合成技术转换为画像，进而再进行素描手绘画像和合成画像之间的比对。

现有的人脸画像合成通常基于以下三种方法：

其一，是基于局部线性的人脸画像合成方法，如Liu等人在文献“Q.S.Liu andX.O.Tang,A nonlinear approach for face sketch synthesis and recognition,inProc.IEEE Int.Conference on Computer Vision,pp.1005-1010,2005.”中提出了一种借助局部线性来近似全局非线性的方法将照片转化成合成画像。该方法的实施方式是：首先将训练集中的照片-画像对及待变换照片划分成相同大小及相同重叠区域的图像块，对于待变换照片的每一个照片块在训练照片块中寻找它的K个近邻照片块，然后将K个照片块对应的画像块进行加权组合得到待合成画像块，最后将所有的待合成画像块融合得到合成画像。但是该方法存在的不足之处是：由于没有将相邻图像块之间的相似性约束考虑进模型内，导致合成结果存在块效应和细节模糊的缺陷。

其二，是基于马尔可夫网络模型的人脸画像合成方法，如Wang等人在文献“X.Wang,and X.Tang,“Face Photo-Sketch Synthesis and Recognition,”IEEETransactions on Pattern Analysis and Machine Intelligence,31(11),1955-1967,2009.”中提出了一种基于马尔可夫网络模型的人脸画像合成方法。该方法实施方式是：首先将训练集中的画像-照片对及测试照片分块；然后根据测试照片块与训练照片块之间的关系以及相邻位置的画像块之间的关系，建立马尔可夫网络模型；对每个测试照片块寻找一个最佳的训练画像块作为待合成画像块；最后将所有的待合成画像块融合得到合成画像。但是该方法存在的不足之处是：由于每个照片块位置只选择一个训练画像块进行画像合成，导致合成结果存在形变。

其三，基于马尔科夫权重网络的人脸画像合成方法，如Zhou等人在文献“H.Zhou,Z.Kuang,and K.Wong,“Markov Weight Fields for Face Sketch Synthesis,”inProc.IEEE Int.Conference on Computer Vision,pp.1091-1097,2012.”中提出了一种基于加权的马尔科夫网络模型的人脸画像合成方法。该方法与上面的基于马尔科夫网络模型不同的是将线性组合引入进马尔科夫网络，从而克服了因为基于马尔科夫网络方法选择一个画像块而导致的形变问题。但是该方法合成结果因为在选择近邻时没有考虑相邻图像块之间的相似性约束，导致合成结果噪声多，较为模糊。

发明内容

本发明的目的在于克服上述现有方法的不足，提出一种基于贝叶斯推断的人脸画像合成方法，以减小图像噪声，提高合成画像的图像质量。

为实现上述目的，本发明的技术方案包括如下：

(1)从照片-画像对集中取出M张照片组成训练照片样本集T_p，并取出与训练照片样本集T_p中的照片一一对应的M张画像组成训练画像样本集T_s，将剩余照片-画像对组成测试样本集，从测试样本集中选取一张测试照片L，2≤M≤U-1，U为照片-画像对集中的照片-画像对个数；

(2)对所有图像进行划分，得到训练照片集样本块集合R和训练画像集样本块集合Q；

(3)将训练照片样本块集合R与对应的画像样本块集合Q划分为N个子集，并将子集组成集合：

R_N＝{R₁,…,R_j,…,R_N}

Q_N＝{Q₁,…,Q_j,…,Q_N}

其中，R_N表示所有训练照片样本块子集组成的集合，R_j表示训练照片样本块第j个子集，Q_N表示所有训练画像样本块子集组成的集合，Q_j表示训练画像样本块第j个子集，j∈{1,…,N}；

(4)对于测试照片块集合P中的每一个测试照片块p^j,其中1≤j≤N,从其对应的训练照片块子集R_j中根据欧式距离寻找K₁个最近的照片块，记为同时从训练画像块子集Q_j中取出与对应的画像块1≤m≤K₁；

(5)对每一个测试照片样本块p^j,通过最大化基于后验概率的马尔科夫网络从K₁个近邻照片和画像对中挑选出最近邻照片和画像1≤l≤K₁；

(6)对每一个测试照片样本块p^j，根据与R_j中照片块的距离，挑选出K₂个近邻照片块记作其对应的画像块为1≤h≤K₂；

(7)对每一个测试照片样本块p^j,其中1≤j≤N,通过求解马尔科夫权重网络，得到重构权值其中T表示转置；

(8)利用步骤(6)得到的画像块和步骤(7)得到的权值，计算每个测试照片块p^j对应的待合成画像块s^j:

(9)迭代执行步骤(6)-(8)直至得到N块待合成画像块，并将N个合成画像块{s¹,…,s^j,…,s^N}进行组合，得到与测试照片L对应的合成画像。

本发明由于在近邻块选择和权值优化过程中分别通过马尔科夫网络和马尔科夫权重网络，考虑相邻图像块之间的相似性约束关系，提高了合成图像的质量并使图像的细节更加完整。

附图说明

图1为本发明的实现流程图；

图2为用发明与现有的三种方法在XM2VTS数据库上的合成画像的对比结果图。

具体实施方式

本发明的核心思想是：通过贝叶斯推断的思想提出一种人脸画像合成方法，使得在近邻块选择和权值求解阶段都将相邻块之间的相似性约束通过马尔科夫网络考虑在内，从而提高合成结果的图像质量。

参照图1，本发明的实施步骤如下：

步骤1，划分训练画像样本集、训练照片样本集和测试样本集。

从照片-画像对集中取出M张照片组成训练照片样本集T_p，并取出与训练照片样本集T_p中的照片一一对应的M张画像组成训练画像样本集T_s，将剩余照片-画像对组成测试样本集，从测试样本集中选取一张测试照片L，2≤M≤U-1，U为照片-画像对集中的照片-画像对个数。

步骤2，对训练画像样本集中的画像、训练照片样本集中的照片和测试照片进行图像块划分。

常用的图像划分方法是将图像划分为相同大小的矩形图像块，并且相邻的图像块在水平或竖直方向上保留一定程度的重叠，其划分步骤如下：

(2a)将测试照片L划分成相同大小及相同重叠程度的N个图像块，并组成测试照片块集合P：

P＝{p¹,…,p^j,…,p^N}，

其中，p^j表示测试照片中的第j个照片块，j∈{1,…,N}；

(2b)将训练照片样本集T_p中的M张照片划分成相同大小及相同重叠程度的N个图像块，并组成训练照片集样本块集合：

其中，R表示训练照片集样本块集合，表示第i张照片中的第j个照片块，i∈{1,…,M}；

(2c)将训练画像样本集T_s中的M张画像划分成相同大小及相同重叠程度的图像块并组成训练画像集样本块集合：

其中，Q表示训练画像集样本块集合，表示第i张画像中的第j个画像块。

步骤3，将训练照片样本块集合R与对应的画像样本块集合Q划分为N个子集，并将子集组成集合：

R_N＝{R₁,…,R_j,…,R_N}

Q_N＝{Q₁,…,Q_j,…,Q_N}

其中，R_N表示所有训练照片样本块子集组成的集合，R_j表示训练照片样本块第j个子集，Q_N表示所有训练画像样本块子集组成的集合，Q_j表示训练画像样本块第j个子集，j∈{1,…,N}；

步骤4，初始近邻块选择。

对于测试照片块集合P中的每一个测试照片块p^j,从其对应的训练照片块子集R_j中根据欧式距离寻找K₁个最近的照片块，记为其中1≤j≤N；

从训练画像块子集Q_j中取出与对应的画像块1≤m≤K₁；

步骤5，基于马尔科夫网络的最近邻块选择。

对每一个测试照片样本块p^j,通过最大化基于后验概率的马尔科夫网络从K₁个近邻照片和画像对中挑选出最近邻照片和画像1≤l≤K₁；

所述最大化基于后验概率的马尔科夫网络参考文献“X.Wang,and X.Tang,“FacePhoto-Sketch Synthesis and Recognition,”IEEE Transactions on Pattern Analysisand Machine Intelligence,31(11),1955-1967,2009”。

步骤6，近邻块的再选择。

对于由步骤5得到的每一个测试照片块p^j对应的最近邻照片块按欧式距离从p^j对应训练照片块子集R_j中寻找K₂个最近的照片块，记作其中1≤j≤N；

从训练画像块子集Q_j中取出与对应的画像块1≤h≤K₂。

步骤7，基于马尔科夫权重网络的权值求解。

对每一个测试照片样本块p^j,通过求解马尔科夫权重网络，得到重构权值：

其中T表示转置，1≤j≤N；

所述马尔科夫权重网络权值求解参考文献“H.Zhou,Z.Kuang,and K.Wong,“Markov Weight Fields for Face Sketch Synthesis,”in Proceedings of IEEEConference on Computer Vision and Pattern Recognition,2012,pp.1091-1097”。

步骤8，求解待合成画像块s^j。

利用步骤6得到的画像块和步骤7得到的重构权值，计算每个测试照片块p^j对应的待合成画像块s^j:

步骤9，求解并融合N个待合成画像块得到最终合成画像

迭代执行步骤6-8共N次，直至得到每个测试照片块p^j对应的待合成画像块，并将得到的N个合成画像块{s¹,…,s^j,…,s^N}进行组合，得到与测试照片L对应的合成画像，其中，1≤j≤N。

本发明的效果可以通过以下仿真实验做进一步的说明。

1.仿真条件

本发明是在中央处理器为Intel(R)Core i7-4790 3.6GHZ、内存16G、WINDOWS 7操作系统上，使用美国Mathworks公司开发的MATLAB软件进行的仿真。数据库采用XM2VTS数据库。

实验中所用的对比方法包括如下3种：

一是基于局部线性嵌入的方法，实验中记为LLE；参考文献为Q.Liu,X.Tang,H.Jin,H.Lu,and S.Ma.A Nonlinear Approach for Face Sketch Synthesis andRecognition.In Proc.IEEE Int.Conference on Computer Vision,pp.1005-1010,2005；

二是基于马尔科夫随机场的方法，实验中记为MRF；参考文献为X.Wang,andX.Tang.Face Photo-Sketch Synthesis and Recognition.IEEE Transactions onPattern Analysis and Machine Intelligence,31(11),1955-1967,2009；

三是基于马尔可夫权重场模型的方法，实验中记为MWF；参考文献为H.Zhou,Z.Kuang,and K.Wong.Markov Weight Fields for Face Sketch Synthesis.InProc.IEEE Int.Conference on Computer Vision,pp.1091-1097,2012。

2.仿真内容

用本发明方法和现有基于局部线性的方法LLE、基于马尔可夫随机场的方法MRF以及基于马尔可夫权重场的方法MWF，在XM2VTS数据库上进行照片到画像的合成，实验结果如图2，其中：

图2(a)为原始照片；

图2(b)为基于局部线性的方法LLE合成的画像；

图2(c)为基于马尔可夫随机场的方法MRF合成的画像；

图2(d)为基于马尔可夫权重场的方法MWF合成的画像；

图2(e)为本发明方法合成的画像。

由图2可见，由于本发明借助了贝叶斯推断的思想，将近邻块之间的相似性约束同时考虑在近邻选择和权值优化过程中，使得合成结果优于其他的人脸画像合成方法，验证了本发明的先进性。

Claims (2)

1.基于贝叶斯推断的人脸画像合成方法，包括：

(1)从照片-画像对集中取出M张照片组成训练照片样本集T_p，并取出与训练照片样本集T_p中的照片一一对应的M张画像组成训练画像样本集T_s，将剩余照片-画像对组成测试样本集，从测试样本集中选取一张测试照片L，2≤M≤U-1，U为照片-画像对集中的照片-画像对个数；

(2)对所有图像进行划分，得到训练照片集样本块集合R和训练画像集样本块集合Q；

(3)将训练照片样本块集合R与对应的画像样本块集合Q划分为N个子集，并将子集组成集合：

R_N＝{R₁,…,R_j,…,R_N}

Q_N＝{Q₁,…,Q_j,…,Q_N}

其中，R_N表示所有训练照片样本块子集组成的集合，R_j表示训练照片样本块第j个子集，Q_N表示所有训练画像样本块子集组成的集合，Q_j表示训练画像样本块第j个子集，j∈{1,…,N}；

(4)对于测试照片块集合P中的每一个测试照片块p^j,其中1≤j≤N,从其对应的训练照片块子集R_j中根据欧式距离寻找K₁个最近的照片块，记为同时从训练画像块子集Q_j中取出与对应的画像块1≤m≤K₁；

(5)对每一个测试照片样本块p^j,通过最大化基于后验概率的马尔科夫网络从K₁个近邻照片和画像对中挑选出最近邻照片和画像1≤l≤K₁；

(6)对每一个测试照片样本块p^j，根据与R_j中照片块的距离，挑选出K₂个近邻照片块记作其对应的画像块为1≤h≤K₂；

(7)对每一个测试照片样本块p^j,其中1≤j≤N,通过求解马尔科夫权重网络，得到重构权值其中T表示转置；

(8)利用步骤(6)得到的画像块和步骤(7)得到的权值，计算每个测试照片块p^j对应的待合成画像块s^j:

(9)迭代执行步骤(6)-(8)直至得到N块待合成画像块，并将N个合成画像块{s¹,…,s^j,…,s^N}进行组合，得到与测试照片L对应的合成画像。

2.根据权利要求书1所述的方法，其中步骤(2)中对所有图像进行划分，按如下步骤进行：

(2a)将测试照片L划分成相同大小及相同重叠程度的N个图像块，并组成测试照片块集合P：

P＝{p¹,…,p^j,…,p^N}，

其中，p^j表示测试照片中的第j个照片块，j∈{1,…,N}；

(2b)将训练照片样本集T_p中的M张照片划分成相同大小及相同重叠程度的N个图像块，并组成训练照片集样本块集合：

其中，R表示训练照片集样本块集合，r_i ^j表示第i张照片中的第j个照片块，i∈{1,…,M}；

(2c)将训练画像样本集T_s中的M张画像划分成相同大小及相同重叠程度的图像块并组成训练画像集样本块集合：

其中，Q表示训练画像集样本块集合，表示第i张画像中的第j个画像块。