CN106023120B - 基于耦合近邻索引的人脸画像合成方法 - Google Patents

Abstract

本发明公开了一种基于耦合近邻索引的人脸画像合成方法，主要解决现有方法在近邻选择时没有考虑训练画像作用的问题。其实现步骤是：1.划分训练画像样本集、训练照片样本集和测试样本集；2.将所有图像划分成图像块，并组成块集合；3.将训练照片块集合与对应的画像块集合划分为多个子集；4.建立训练照片块子集和训练画像块子集中每一对照片‑画像块到其K近邻对的索引；5.寻找每一测试照片块的最近邻，进而得到其K近邻；6.利用马尔科夫权重网络求解重构权值；7.求解待合成画像块；8.迭代执行步骤5‑7共N次，融合得到最终的合成画像。与现有技术相比，本发明合成画像清晰度高、细节更完整，可用于人脸检索与识别。

Description

基于耦合近邻索引的人脸画像合成方法

技术领域

本发明是属于图像处理的技术领域，更进一步涉及一种人脸画像合成方法，可用于刑侦破案中的人脸检索与识别。

背景技术

人脸画像合成在数字娱乐和刑侦破案中作用巨大。例如在3D巧克力打印中，通常需要利用人脸画像合成算法合成一张黑白画像来作为打印机的打印轨迹；在刑侦破案过程中往往并不总能得到犯罪嫌疑人的照片，得到的经常是目击者的一些描述或视频图像资料，为了快速破案，可行的方案是根据目击者描述及视频图像提供的线索绘制一幅画像，进而通过画像进行身份确认。但由于人脸照片和画像在成像机制、形状和纹理方面都存在较大的差异，直接采用现有的人脸识别技术在公民照片数据库中对画像进行识别，其识别率非常低。为了减小画像与照片之间的差异，可以将公民照片数据库中的照片利用画像合成技术转换为画像，进而再进行素描手绘画像和合成画像之间的比对。

现有的人脸画像合成通常基于以下三种方法：

其一，是基于局部线性的人脸画像合成方法，如Liu等人在文献“Q.S.Liu andX.O.Tang,Anonlinear approach for face sketch synthesis and recognition,inProc.IEEE Int.Conference on Computer Vision,pp.1005-1010,2005.”中提出了一种借助局部线性来近似全局非线性的方法将照片转化成合成画像。该方法实施方式是：首先将训练集中的照片-画像对及待变换照片划分成相同大小及相同重叠区域的图像块，对于待变换照片的每一个照片块在训练照片块中寻找它的K个近邻照片块，然后将K个照片块对应的画像块进行加权组合得到待合成画像块，最后将所有的待合成画像块融合得到合成画像。但是该方法存在的不足之处是：由于寻找近邻时只利用了照片块的信息而忽略了训练画像块的作用，导致合成结果存在噪声和模糊等现象。

其二，是基于马尔可夫网络模型的人脸画像合成方法，如Wang等人在文献“X.Wang,and X.Tang,“Face Photo-Sketch Synthesis and Recognition,”IEEETransactions on Pattern Analysis and Machine Intelligence,31(11),1955-1967,2009.”中提出了一种基于马尔可夫网络模型的人脸画像合成方法。该方法实施方式是：首先将训练集中的画像-照片对及测试照片分块，然后根据测试照片块与训练照片块之间的关系以及相邻位置的画像块之间的关系，建立马尔可夫网络模型，对每个测试照片块寻找一个最佳的训练画像块作为待合成画像块，最后将所有的待合成画像块融合得到合成画像。但是该方法存在的不足之处是：由于每个照片块位置只选择一个训练画像块进行画像合成，导致合成结果存在形变。

其三，基于马尔科夫权重网络的人脸画像合成方法，如Zhou等人在文献“H.Zhou,Z.Kuang,and K.Wong,“Markov Weight Fields for Face Sketch Synthesis,”inProc.IEEE Int.Conference on Computer Vision,pp.1091-1097,2012.”中提出了一种基于加权的马尔科夫网络模型的人脸画像合成方法。该方法与上面的基于马尔科夫网络模型不同的是将线性组合引入进马尔科夫网络，从而克服了因为基于马尔科夫网络方法选择一个画像块而导致的形变问题。但是该方法由于没有考虑训练画像块的作用使得寻找的近邻块并不准确，导致合成结果噪声较多。

发明内容

本发明的目的在于克服上述现有方法的不足，提出一种基于耦合近邻索引的人脸画像合成方法，以提高合成画像的图像质量。

实现本发明目的的技术方案包括如下：

(1)从照片-画像对集中取出M张照片组成训练照片样本集T_p，并取出与训练照片样本集T_p中的照片一一对应的M张画像组成训练画像样本集T_s，将剩余照片-画像对组成测试样本集，从测试样本集中选取一张测试照片L，2≤M≤U-1，U为照片-画像对集中的照片-画像对个数；

(2)对所有图像进行划分，得到训练照片集样本块集合R和训练画像集样本块集合Q；

(3)将训练照片样本块集合R与对应的画像样本块集合Q划分为N个子集，并将子集组成集合：

R_N＝{R₁,…,R_j,…,R_N}

Q_N＝{Q₁,…,Q_j,…,Q_N}

其中，R_N表示所有训练照片样本块子集组成的集合，R_j表示训练照片样本块第j个子集，Q_N表示所有训练画像样本块子集组成的集合，Q_j表示训练画像样本块第j个子集，1≤j≤N；

(4)对于每一对训练照片块r_i ^j和训练画像块q_i ^j，1≤i≤M，1≤j≤N，在对应位置的训练照片块子集R_j和训练画像块子集Q_j联合寻找K个欧式距离下的近邻对，从而建立起每一对训练照片块和训练画像块指向其K个近邻照片块-画像块对的索引；

(5)对于测试照片块集合P中的每一个测试照片块p^j，从其对应的训练照片块子集R_j中根据欧式距离寻找最近的照片块，记为同时从训练画像块子集Q_j中取出对应的画像块其中1≤j≤N；

(6)对每一个测试照片样本块p^j，取出其最近邻照片块索引得到K个训练照片块并记作其对应的画像块为通过马尔科夫权重网络，得到重构权值其中T表示转置，1≤l≤K₁；

(7)利用步骤(6)得到的画像块和得到的权值，根据下式得到每个测试照片块p^j对应的待合成画像块s^j:

(8)迭代执行步骤(5)-(7)直至得到N块待合成画像块，并将N个合成画像块{s¹,…,s^j,…,s^N}进行组合，得到与测试照片L对应的合成画像。

本发明由于在近邻选择时将训练画像块和照片块的作用同时考虑在内，使得图像的细节更加完整，提高了合成图像的质量。

附图说明

图1为本发明的实现流程图；

图2为用发明与现有的四种方法在XM2VTS数据库上的合成画像的对比结果图。

具体实施方式

本发明的核心思想是：通过耦合近邻索引的思想提出一种人脸画像合成方法，将训练画像块和训练照片块在近邻寻找中的作用都得以体现，提高合成结果的图像质量。

参照图1，本发明的实施步骤如下：

步骤1，划分训练画像样本集、训练照片样本集和测试样本集。

从照片-画像对集中取出M张照片组成训练照片样本集T_p，并取出与训练照片样本集T_p中的照片一一对应的M张画像组成训练画像样本集T_s，将剩余照片-画像对组成测试样本集，从测试样本集中选取一张测试照片L，2≤M≤U-1，U为照片-画像对集中的照片-画像对个数。

步骤2，对训练画像样本集中的画像、训练照片样本集中的照片和测试照片进行图像块划分。

常用的图像划分方法是将图像划分为相同大小的矩形图像块，并且相邻的图像块在水平或竖直方向上保留一定程度的重叠，其划分步骤如下：

(2a)将测试照片L划分成相同大小及相同重叠程度的N个图像块，并组成测试照片块集合P：

P＝{p¹,…,p^j,…,p^N}，

其中，p^j表示测试照片中的第j个照片块，1≤j≤N；

(2b)将训练照片样本集T_p中的M张照片划分成相同大小及相同重叠程度的N个图像块，并组成训练照片集样本块集合：

其中，R表示训练照片集样本块集合，r_i ^j表示第i张照片中的第j个照片块，1≤i≤M；

(2c)将训练画像样本集T_s中的M张画像划分成相同大小及相同重叠程度的图像块并组成训练画像集样本块集合：

其中，Q表示训练画像集样本块集合，q_i ^j表示第i张画像中的第i个画像块；

步骤3，将训练照片样本块集合R与对应的画像样本块集合Q划分为N个子集，并将子集组成集合。

将训练照片样本块集合R划分为：R₁,…,R_j,…,R_N，得到所有训练照片样本块子集组成集合：

R_N＝{R₁,…,R_j,…,R_N}，其中R_j表示训练照片样本块第j个子集：

将训练画像样本块集合Q划分为：Q₁,…,Q_j,…,Q_N，得到所有训练画像样本块子集组成集合：

Q_N＝{Q₁,…,Q_j,…,Q_N}，其中Q_j表示训练画像样本块第j个子集，1≤j≤N。

步骤4，建立训练照片块子集和训练画像块子集中每一对照片块-画像块到其K个近邻对的索引。

对于每一对训练照片块r_i ^j和训练画像块1≤i≤M，1≤j≤N，在对应位置的训练照片块子集R_j和训练画像块子集Q_j联合寻找K个欧式距离下的近邻对，从而建立起每一对训练照片块和训练画像块指向其K个近邻照片块-画像块对的索引，具体步骤为：

(4a)将训练照片块r_i ^j和对应的训练画像块拼接的放在一起，组成一个新的图像块1≤i≤M，1≤j≤N；

(4b)将所有新的图像块划分为N个子集，并将子集组成集合：

Z＝{Z₁,…,Z_j,…,Z_N}；

其中，Z表示所有新的训练图像块子集组成的集合，Z_j表示新的训练图像块集合的第j个子集，其中1≤j≤N；

(4c)将(4a)中拼接的新图像块在新的训练图像子集Z_j中按照欧式距离寻找K个近邻，建立起这K个近邻照片-画像对到训练照片块r_i ^j和对应的训练画像块的索引。

步骤5，寻找每一测试照片块的最近邻。

对于测试照片块集合P中的每一个测试照片块p^j，从其对应的训练照片块子集R_j中根据欧式距离寻找最近的照片块，记为同时从训练画像块子集Q_j中取出对应的画像块其中1≤j≤N，具体步骤为：

(5a)对于测试照片块p^j,其对应位置的训练照片块子集为R_j,求解R_j中每一个训练照片块索引到K个近邻照片块的均值，其中1≤j≤N；

(5b)根据p^j与训练照片块子集R_j中每一个训练照片块对应的K近邻照片块均值的欧式距离，选择最小距离对应的训练照片块作为最近邻，记为

步骤6，利用马尔科夫权重网络求解重构权值。

对每一个测试照片样本块p^j，取出其最近邻照片块索引得到K个训练照片块并记作其对应的画像块为通过马尔科夫权重网络，得到重构权值其中T表示转置，1≤l≤K₁；

所述马尔科夫权重网络权值求解参考文献“H.Zhou,Z.Kuang,and K.Wong,“Markov Weight Fields for Face Sketch Synthesis,”in Proceedings of IEEEConference on Computer Vision and Pattern Recognition,2012,pp.1091-1097”。

步骤7，求解待合成画像块s^j。

利用步骤(6)得到的画像块和得到的权值，根据下式得到每个测试照片块p^j对应的待合成画像块s^j:

步骤8，求解并融合N个待合成画像块得到最终合成画像。

迭代执行步骤5-7共N次，直至得到每个测试照片块p^j对应的待合成画像块，并将得到的N个合成画像块{s¹,…,s^j,…,s^N}进行组合，得到与测试照片L对应的合成画像，其中，1≤j≤N。

本发明的效果可以通过以下仿真实验做进一步的说明。

1.仿真条件

本发明是在中央处理器为Intel(R)Core i7-4790 3.6GHZ、内存16G、WINDOWS 7操作系统上，使用美国Mathworks公司开发的MATLAB软件进行的仿真。数据库采用XM2VTS数据库。

实验中所用的对比方法包括如下3种：

一是基于局部线性嵌入的方法，实验中记为LLE；参考文献为Q.Liu,X.Tang,H.Jin,H.Lu,and S.Ma.A Nonlinear Approach for Face Sketch Synthesis andRecognition.In Proc.IEEE Int.Conference on Computer Vision,pp.1005-1010,2005；

二是基于马尔科夫随机场的方法，实验中记为MRF；参考文献为X.Wang,andX.Tang.Face Photo-Sketch Synthesis and Recognition.IEEE Transactions onPattern Analysis and Machine Intelligence,31(11),1955-1967,2009；

三是基于马尔可夫权重场模型的方法，实验中记为MWF；参考文献为H.Zhou,Z.Kuang,and K.Wong.Markov Weight Fields for Face Sketch Synthesis.InProc.IEEE Int.Conference on Computer Vision,pp.1091-1097,2012。

2.仿真内容

实验：照片到画像的合成

用本发明方法和现有基于局部线性的方法LLE、基于马尔可夫随机场的方法MRF以及基于马尔可夫权重场的方法MWF，在XM2VTS数据库上进行照片到画像的合成，实验结果如图2，其中：

图2(a)为原始照片；

图2(b)为基于局部线性的方法LLE合成的画像；

图2(c)为基于马尔可夫随机场的方法MRF合成的画像；

图2(d)为基于马尔可夫权重场的方法MWF合成的画像；

图2(e)为本发明方法合成的画像。

由实验1结果可见，由于本发明借助了耦合近邻索引的思想，将训练画像块和训练照片块的作用同时考虑在近邻选择的过程中，使得合成结果优于其他的人脸画像合成方法，验证了本发明的先进性。

Claims (4)

1.基于耦合近邻索引的人脸画像生成方法，包括：

(1)从照片-画像对集中取出M张照片组成训练照片样本集T_p，并取出与训练照片样本集T_p中的照片一一对应的M张画像组成训练画像样本集T_s，将剩余照片-画像对组成测试样本集，从测试样本集中选取一张测试照片L，2≤M≤U-1，U为照片-画像对集中的照片-画像对个数；

(2)对训练照片和训练画像样本集进行划分，得到训练照片集样本块集合R和训练画像集样本块集合Q；

(3)将训练照片样本块集合R与对应的画像样本块集合Q划分为N个子集，并将子集组成集合：

R_Π＝{R₁,R₂,…,R_j,…,R_N}

Q_Π＝{Q₁,Q₂,…,Q_j,…,Q_N}

其中，R_Π表示所有训练照片样本块子集组成的集合，R_j表示训练照片样本块第j个子集，Q_Π表示所有训练画像样本块子集组成的集合，Q_j表示训练画像样本块第j个子集，1≤j≤N；

(4)对于每一对训练照片块r_i ^j和训练画像块1≤i≤M，1≤j≤N，在对应位置的训练照片块子集R_j和训练画像块子集Q_j联合寻找K个欧式距离下的近邻对，从而建立起每一对训练照片块和训练画像块指向其K个近邻照片块-画像块对的索引；

(5)对于测试照片块集合P中的每一个测试照片样本块p^j，从其对应的训练照片块子集R_j中根据欧式距离寻找最近的照片块，记为同时从训练画像块子集Q_j中取出对应的画像块其中1≤j≤N；

(6)对每一个测试照片样本块p^j，取出其最近邻照片块索引得到K₁个训练照片块并记作其对应的画像块为通过马尔科夫权重网络，得到重构权值其中T表示转置，1≤l≤K₁；

(7)利用步骤(6)得到的画像块和得到的权值，根据下式得到每个测试照片块p^j对应的待合成画像块s^j:

1≤j≤N,1≤l≤K₁；

(8)迭代执行步骤(5)-(7)直至得到N块待合成画像块，并将N个合成画像块{s¹,…,s^j,…,s^N}进行组合，得到与测试照片L对应的合成画像。

2.根据权利要求1中基于耦合近邻索引的人脸画像生成方法，其特征在于，其中所述步骤(2)，对所有图像进行划分，得到训练照片集样本块集合R和训练画像集样本块集合Q，其步骤如下：

(2a)将测试照片L划分成相同大小及相同重叠程度的N个图像块，并组成测试照片块集合P：

P＝{p¹,…,p^j,…,p^N}，

其中，p^j表示测试照片中的第j个照片块，1≤j≤N；

(2b)将训练照片样本集T_p中的M张照片划分成相同大小及相同重叠程度的N个图像块，并组成训练照片集样本块集合：

其中，R表示训练照片集样本块集合，r_i ^j表示第i张照片中的第j个照片块，1≤i≤M；

(2c)将训练画像样本集T_s中的M张画像划分成相同大小及相同重叠程度的图像块并组成训练画像集样本块集合：

其中，Q表示训练画像集样本块集合，表示第i张画像中的第i个画像块。

3.根据权利要求1中基于耦合近邻索引的人脸画像生成方法，其特征在于，其中所述步骤(4)，对于每一对训练画像块和训练照片块，在对应位置的训练照片块子集和训练画像块子集合中联合寻找K个欧式距离下的近邻对，其步骤如下：

(4a)将训练照片块r_i ^j和对应的训练画像块拼接的放在一起，组成一个新的图像块1≤i≤M，1≤j≤N；

(4b)将所有新的图像块划分为N个子集，并将子集组成集合：

Z＝{Z₁,…,Z_j,…,Z_N}；

其中，Z表示所有新的训练图像块子集组成的集合，Z_j表示新的训练图像块集合的第j个子集，其中1≤j≤N；

(4c)将(4a)中拼接的新图像块在新的训练图像子集Z_j中按照欧式距离寻找K个近邻，建立起这K个近邻照片-画像对到训练照片块r_i ^j和对应的训练画像块的索引。

4.根据权利要求1中基于耦合近邻索引的人脸画像生成方法，其特征在于，其中步骤(5)中根据欧式距离求解测试照片块在对应位置训练照片块子集中的最近邻，其步骤如下：

(5a)对于测试照片块p^j,其对应位置的训练照片块子集为R_j,求解R_j中每一个训练照片块索引到K个近邻照片块的均值，其中1≤j≤N；

(5b)根据p^j与训练照片块子集R_j中每一个训练照片块对应的K近邻照片块均值的欧式距离，选择最小距离对应的训练照片块作为最近邻，记为