CN104700380B - 基于单照片与画像对的人脸画像合成方法 - Google Patents

Abstract

本发明公开了一种基于单照片与画像对的人脸画像合成方法，在数据库样本集内随机选择一对照片与画像对作为初始图像对，剩余的照片作为测试照片样本集，将对所述初始图像对进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块子集投影到投影矩阵得到第一投影系数集合；然后将测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离将在第二图像块子集查找到匹配的图像块合成得到初始合成图像；最后进行迭代合成最终合成图像。本发明增强初始合成画像的质量，省去费时费力的收集大量照片与画像对的过程。

Description

基于单照片与画像对的人脸画像合成方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于单照片与画像对的人脸画像合成方法。

背景技术

人脸画像合成有许多重要的实际应用，比如辅助警方缉凶以及数字娱乐。当由于某些因素而无法获取罪犯的照片时，警方需要通过目击证人的描述绘制出嫌疑犯的画像，然后在警方的人脸照片数据库中进行匹配。由于照片和画像的模态存在较大的差异，因此在匹配之前要先将警方人脸照片数据库中所有的照片转化成画像，然后再将嫌疑犯的画像在合成画像数据库中进行匹配。目前推特和微博等社交网络变得越来越流行，很多用户将自己的画像上传到网上作为账户的头像以增加娱乐效果。

目前的人脸画像合成方法可以分成以下三大类：一，基于子空间学习的人脸画像合成方法；二，基于贝叶斯推断的人脸画像合成方法；三，基于稀疏表示的人脸画像合成方法。

Liu等人在文献“Liu Q,TangX,JinH,et al.Anonlinear approach forfacesketch synthesis andrecognition[C]//Computer Vision andPatternRecognition,2005.CVPR2005.IEEE Computer Society Conference on.IEEE,2005,1:1005-1010.”中采用子空间学习的方法来模拟照片转化成画像的非线性过程。具体实施方式是：先将训练集中的照片-画像对及测试照片划分成大小相同及重叠区域相同的图像块，对于测试照片中的每一个照片块在训练集中寻找它的K个近邻照片块并计算重建系数W，然后再将K个照片块对应的K个画像块用重建系数W进行加权组合得到待合成画像块，最后将所有的待合成画像块融合得到合成画像。但是该方法存在以下缺点：各合成画像块都是单独合成，没有考虑画像块之间的邻域关系，导致融合处的画像不自然，存在噪声。

Wang等人在文献“Wang X,Tang X.Face photo-sketch synthesis andrecognition[J].PatternAnalysis and Machine Intelligence,IEEE Transactions on,2009,31(11):1955-1967.”中提出了一种基于贝叶斯推断的人脸画像合成方法。具体操作步骤如下：首先将训练集中的照片-画像对以及测试照片用相同的方式分块，然后对每一个测试照片块在训练集中寻找它的K个候选照片块，根据测试照片块与K个候选照片块之间的关系以及合成画像中相邻位置的画像块之间的关系，建立马尔可夫随机场模型对每个测试照片块寻找一个最佳的训练画像块作为待合成画像块，最后将所有的待合成画像块融合得到最终的合成画像。该方法存在以下缺陷：每个测试照片块最终只选择一个训练画像块而非合成画像块作为待合成画像块进行画像合成，导致合成画像存在块效应和细节缺失的问题。

高新波等人申请的专利技术“基于稀疏表示的画像-照片生成方法”(申请号：201010289330.9申请日：2010-09-24申请公布号：CN 101958000A)中公开了一种基于稀疏表示的人脸画像合成方法。具体实施方式是：首先采用已有的画像合成方法生成画像的初始估计，然后再利用稀疏表示的方法合成出合成画像的细节信息，最后将初始估计和细节信息进行线性叠加得到最后的合成画像。该方法存在以下缺陷：合成画像的好坏依赖于初始画像合成方法，此外细节信息的线性叠加使得合成画像不自然。

上述三类画像合成方法只适用于测试照片与训练集照片背景相同的情况，当测试照片与训练集照片背景不同时，测试照片用上述三类方法合成的画像的背景会存在噪声。当测试照片中存在眼镜、发卡等非人脸部件，而训练集照片中都不存在这些非人脸部件时，测试照片用上述三类方法合成的对应画像会丢失测试照片中的非人脸部件。此外上述三类画像合成方法都需要用大量的照片-画像对作为训练集，当训练集中只有单照片-画像对时，合成效果很差，然而收集大量的照片-画像对又费时费力。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于单照片与画像对的人脸画像合成方法。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供一种基于单照片与画像对的人脸画像合成方法，该合成方法为：在数据库样本集内随机选择一对照片与画像对作为初始图像对，剩余的照片作为测试照片样本集，将对所述初始图像对进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块子集投影到投影矩阵得到第一投影系数集合；然后将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，将查找到的图像块合成得到初始合成图像；将所述初始合成图像与测试照片构成第一图像对，并对所述第一图像对进行分块，再将所述第一图像对得到的图像块与所述初始图像对得到的图像块整合构成第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内查找匹配的图像块，所述查找到的图像块构成最终合成图像。

上述方案中，所述在数据库样本集内随机选择一对照片与画像对作为初始图像对，剩余的照片作为测试照片样本集，具体为：将数据库样本集中所有照片与画像对中的图像由彩色图像变成灰度图像，再从照片与画像对集合中选择一对照片与画像作为训练样本集A，再将剩下的照片与画像对中的所有照片作为测试照片样本集B，并从测试照片样本集B中选取一张测试照片T。

上述方案中，所述将对所述初始图像对进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，具体为：

2a)对训练样本集A中的照片与画像对建立n层高斯金字塔，高斯金字塔中的每一层都对应着某个尺度下的照片与画像对：

2a1)构造尺度值为σ的高斯函数：

其中，G(x,y,σ)表示在σ尺度值下的高斯函数，x，y分别表示图像中像素点对应的横、纵坐标值；

2a2)将图像与(2a1)所得的高斯函数进行卷积，得到高斯金字塔第一层的图像；

2a3)设i＝1；

2a4)将尺度值σ乘以一个比例系数i+1作为新的尺度因子来卷积原图像，再将卷积后的图像做比例因子为2ⁱ的降采样，得到高斯金字塔第i+1层的图像；

2a5)设i＝i+1；

2a6)重复步骤2a4)-2a5)n-2次，即可得到n层高斯金字塔。

2b)将高斯金字塔中奇数层对应的照片与画像对设为字典训练样本集A1，即第一图像块子集，将高斯金字塔中偶数层对应的照片与画像对设为合成训练样本集A2，即第二图像块子集。

上述方案中，所述将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，具体为：

3a)将字典训练样本集A1中所有的照片划分为相同大小及相同重叠程度的块，从而得到字典训练照片块集合P_A1，

3b)对字典训练照片块集合P_A1利用有效稀疏编码方法得到训练照片块特征字典D_p，即投影矩阵：

3b1)初始化训练照片块特征字典为高斯矩阵，并将高斯矩阵每一个列向量归一化为单位向量；其中，l表示训练照片块特征字典D_p中字典元素的维数，m表示训练照片块特征字典D_p中字典元素的个数；

3b2)给定字典训练照片块集合P_A1以及初始化训练照片块特征字典D_p，按照下式得到字典训练照片块集合P_A1的初始稀疏表示集合C：

其中，λ是正则化参数，设值为0.15，||·||₂表示2范数，||·||₁表示1范数，当给定D_p时，C可以通过特征符号搜索算法进行求解；

3b3)给定字典训练照片块集合P_A1以及由(3b2)得到的初始稀疏表示集合C，按照下式得到估计的训练照片块特征字典D_p：

当给定C时，通过拉格朗日对偶方法求解出D_p；

3b4)交替迭代3b2)和3b3)，直到以下目标函数收敛，得到最终的训练照片块特征字典D_p：

上述方案中，所述将所述第二图像块子集投影到投影矩阵得到第一投影系数集合，具体为：将合成训练样本集A2中所有的照片与画像对划分为相同大小及相同重叠程度的块，从而分别得到合成训练照片块集合P_A2＝{x₁,…,x_j,…,x_N}以及合成训练画像块集合S_A2＝{y₁,…,y_j,…,y_N}。

5a)给定合成训练照片块集合P_A2中的一个训练照片块x_j和训练照片块特征字典D_p；

5b)利用最小角回归方法求解以下最优化问题：

得到训练照片块x_j对应的稀疏表示c_j，其中，λ是正则化参数，设值为0.15；

5c)对合成训练照片块集合P_A2中的每个训练照片块x_j重复步骤5a)和5b)，得到合成训练照片块集合P_A2对应的稀疏表示集合：

C_p＝{c₁,…,c_j,…,c_N}，

其中，c_j表示第j个照片块x_j的稀疏表示，由于每个稀疏表示c_j都包含稀疏系数值v_j以及稀疏系数值在稀疏编码中被求解的顺序o_j，因此稀疏表示集合C_p包含有稀疏系数值集合V_p以及对应的稀疏系数值在稀疏编码中被求解的顺序集合O_p，其表示如下：

V_p＝{v₁,…,v_j,…,v_N}；

O_p＝{o₁,…,o_j,…,o_N}。

上述方案中，所述将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，具体为：

6a)将测试照片T划分为相同大小及相同重叠程度的测试照片块集合：P＝{x₁,…,x_i,…,x_M}，x_i表示测试照片T中的第i个照片块；

6b)将每个测试照片块x_i用训练照片块特征字典D_p进行稀疏编码，得到x_i对应的稀疏表示c_i；

其中，c_i表示第i个测试照片块x_i的稀疏表示，每个稀疏表示c_i都包含稀疏系数值v_i以及稀疏系数值在稀疏编码中被求解的顺序o_i。

上述方案中，所述根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，具体为：

7a)设t＝1，θ＝2K；

7b)从顺序集合O_p中选出与求解顺序o_i中第t个值相同的所有稀疏表示c_j，并将这些选出的稀疏表示记为集合并用值替代稀疏表示集合C_p，再判断中稀疏表示的个数T：如果0＜T≤θ，则转到步骤7e)，如果T＝0，则保留替代前的稀疏表示集合C_p，并转到步骤7e)，如果T＞θ，则转到步骤7c)；

7c)从稀疏系数值集合V_p中选出与稀疏系数值v_i中第t个值欧式距离最相近的1/9稀疏表示c_j，并将这些选出的稀疏表示记为集合并用值替代稀疏表示集合C_p，再判断中稀疏表示的个数T：如果0＜T≤θ，则转到步骤7e)，如果T＝0，则保留替代前的稀疏表示集合C_p，并转到步骤7e)，如果T＞θ，则转到步骤7d)；

7d)令t＝t+1，返回步骤7b)；

7e)将稀疏表示集合C_p中所有T个稀疏表示对应的合成训练照片块集合P_A2中的T个照片块作为稀疏表示c_i对应的测试照片块x_i的待选择照片块集合{x_i,1,x_i,2,…,x_i,T}：如果T＜K，则利用复制操作将待选择照片块从T个增加到K个，如果T＞K，则利用测试照片块x_i的高频信息与待选择照片块的高频信息的欧式距离将待选择照片块从T个减少为K个，使待选择照片块集合从{x_i,1,x_i,2,…,x_i,T}变成最后再从合成训练画像块集合S_A2中选择集合对应的K个画像块作为待选择画像块集合：

上述方案中，所述将查找到的图像块合成得到初始合成图像，具体为：

根据求解马尔可夫随机场模型来从待选择画像块集合中得到每个测试照片块x_i最终对应的训练画像块，并将这些训练画像块进行融合得到与测试照片T对应的初始合成画像S_t，t＝0。

上述方案中，所述将所述初始合成图像与测试照片构成第一图像对，并对所述第一图像对进行分块，再将所述第一图像对得到的图像块与所述初始图像对得到的图像块整合构成第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内查找匹配的图像块，所述查找到的图像块构成最终合成图像，具体为：

9a)测试照片T与初始合成画像S_t对和训练样本集A中的照片与画像对组成新的训练样本集A_t，t＝0；

9b)对新的训练样本集A_t，t＝0，通过求解级联图像合成模型来得到测试照片T对应的最终合成画像S_t，t＝m，其中，m表示级联迭代次数：

9b1)设t＝0；

9b2)将新的训练样本集A_t中的照片和画像划分为相同大小及相同重叠程度的块，得到新的合成训练照片块集合以及新的合成训练画像块集合

9b3)对每个测试照片块x_i，根据欧式距离从新的合成训练照片块集合中寻找K个相近的照片块作为待选择照片块同时从新的合成训练画像块集合中选择对应的画像块作为待选择画像块

9b4)利用步骤9b3)得到的待选择画像块集合通过求解马尔可夫随机场模型来得到每个测试照片块x_i最终对应的训练画像块，并将这些训练画像块进行融合得到与测试照片T对应的合成画像S_t，t＝t+1；

9b5)利用步骤9b4)得到的测试照片T与合成画像S_t对与训练样本集A中的照片与画像对组成新的训练样本集A_t，t＝t+1；

9b6)迭代执行步骤9b2)-9b5)直至迭代次数达到规定次数m，则S_t，t＝m，就是最终的合成画像。

与现有技术相比，本发明的有益效果：

第一，本发明由于采用级联图像合成方法来增强初始合成画像的质量，因此只需要单照片与画像对作为训练集，从而省去费时费力的收集大量照片与画像对的过程；

第二，本发明由于采用全局搜索来寻找近邻，因此能很好的合成眼镜、发卡等非人脸部件；

第三，本发明由于用稀疏表示中的稀疏系数值及稀疏系数值被求解的顺序这两个量来寻找近邻块，因此能有效的匹配拥有不同背景的图像块，从而有效解决测试照片与训练集照片背景不同的问题。

附图说明

图1是本发明的实现流程图；

图2是本发明与现有的三类方法在CUHK student数据库、AR数据库和XM2VTS数据库上的合成画像的对比结果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明实施例提供一种基于单照片与画像对的人脸画像合成方法，如图1所示，该合成方法为：在数据库样本集内随机选择一对照片与画像对作为初始图像对，剩余的照片作为测试照片样本集，将对所述初始图像对进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块子集投影到投影矩阵得到第一投影系数集合；然后将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，将查找到的图像块合成得到初始合成图像；将所述初始合成图像与测试照片构成第一图像对，并对所述第一图像对进行分块，再将所述第一图像对得到的图像块与所述初始图像对得到的图像块整合构成第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内查找匹配的图像块，所述查找到的图像块构成最终合成图像。

所述将数据库样本集中所有照片与画像对中的图像由彩色图像变成灰度图像，再从照片与画像对集合中选择一对照片与画像作为训练样本集A，再将剩下的照片与画像对中的所有照片作为测试照片样本集B，并从测试照片样本集B中选取一张测试照片T。

所述将对所述初始图像对进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，具体为：

2a)对训练样本集A中的照片与画像对建立n层高斯金字塔，高斯金字塔中的每一层都对应着某个尺度下的照片与画像对：

2a1)构造尺度值为σ的高斯函数：

其中，G(x,y,σ)表示在σ尺度值下的高斯函数，x，y分别表示图像中像素点对应的横、纵坐标值；

2a2)将图像与(2a1)所得的高斯函数进行卷积，得到高斯金字塔第一层的图像；

2a3)设i＝1；

2a4)将尺度值σ乘以一个比例系数i+1作为新的尺度因子来卷积原图像，再将卷积后的图像做比例因子为2ⁱ的降采样，得到高斯金字塔第i+1层的图像；

2a5)设i＝i+1；

2a6)重复步骤2a4)-2a5)n-2次，即可得到n层高斯金字塔。

2b)将高斯金字塔中奇数层对应的照片与画像对设为字典训练样本集A1，即第一图像块子集，将高斯金字塔中偶数层对应的照片与画像对设为合成训练样本集A2，即第二图像块子集。

所述将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，具体为：

3a)将字典训练样本集A1中所有的照片划分为相同大小及相同重叠程度的块，从而得到字典训练照片块集合P_A1，

3b)对字典训练照片块集合P_A1利用有效稀疏编码方法得到训练照片块特征字典D_p，即投影矩阵：

3b1)初始化训练照片块特征字典为高斯矩阵，并将高斯矩阵每一个列向量归一化为单位向量；其中，l表示训练照片块特征字典D_p中字典元素的维数，m表示训练照片块特征字典D_p中字典元素的个数；

3b2)给定字典训练照片块集合P_A1以及初始化训练照片块特征字典D_p，按照下式得到字典训练照片块集合P_A1的初始稀疏表示集合C：

其中，λ是正则化参数，设值为0.15，||·||₂表示2范数，||·||₁表示1范数，当给定D_p时，C可以通过特征符号搜索算法进行求解；

3b3)给定字典训练照片块集合P_A1以及由(3b2)得到的初始稀疏表示集合C，按照下式得到估计的训练照片块特征字典D_p：

当给定C时，通过拉格朗日对偶方法求解出D_p；

3b4)交替迭代3b2)和3b3)，直到以下目标函数收敛，得到最终的训练照片块特征字典D_p：

所述将所述第二图像块子集投影到投影矩阵得到第一投影系数集合，具体为：将合成训练样本集A2中所有的照片与画像对划分为相同大小及相同重叠程度的块，从而分别得到合成训练照片块集合P_A2＝{x₁,…,x_j,…,x_N}以及合成训练画像块集合S_A2＝{y₁,…,y_j,…,y_N}。

5a)给定合成训练照片块集合P_A2中的一个训练照片块x_j和训练照片块特征字典D_p；

5b)利用最小角回归方法求解以下最优化问题：

得到训练照片块x_j对应的稀疏表示c_j，其中，λ是正则化参数，设值为0.15。

最小角回归方法见文献“EfronB,Hastie T,Johnstone I,etal.Least angleregression[J].TheAnnals ofstatistics,2004,32(2):407-499.”；

5c)对合成训练照片块集合P_A2中的每个训练照片块x_j重复步骤5a)和5b)，得到合成训练照片块集合P_A2对应的稀疏表示集合：

C_p＝{c₁,…,c_j,…,c_N}，

其中，c_j表示第j个照片块x_j的稀疏表示，由于每个稀疏表示c_j都包含稀疏系数值v_j以及稀疏系数值在稀疏编码中被求解的顺序o_j，因此稀疏表示集合C_p包含有稀疏系数值集合V_p以及对应的稀疏系数值在稀疏编码中被求解的顺序集合O_p，其表示如下：

V_p＝{v₁,…,v_j,…,v_N}；

O_p＝{o₁,…,o_j,…,o_N}。

所述将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，具体为：

6a)将测试照片T划分为相同大小及相同重叠程度的测试照片块集合：P＝{x₁,…,x_i,…,x_M}，x_i表示测试照片T中的第i个照片块；

6b)将每个测试照片块x_i用训练照片块特征字典D_p进行稀疏编码，得到x_i对应的稀疏表示c_i；

其中，c_i表示第i个测试照片块x_i的稀疏表示，每个稀疏表示c_i都包含稀疏系数值v_i以及稀疏系数值在稀疏编码中被求解的顺序o_i。

所述根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，具体为：

7a)设t＝1，θ＝2K；

7b)从顺序集合O_p中选出与求解顺序o_i中第t个值相同的所有稀疏表示c_j，并将这些选出的稀疏表示记为集合并用值替代稀疏表示集合C_p，再判断中稀疏表示的个数T：如果0＜T≤θ，则转到步骤7e)，如果T＝0，则保留替代前的稀疏表示集合C_p，并转到步骤7e)，如果T＞θ，则转到步骤7c)；

7c)从稀疏系数值集合V_p中选出与稀疏系数值v_i中第t个值欧式距离最相近的1/9稀疏表示c_j，并将这些选出的稀疏表示记为集合并用值替代稀疏表示集合C_p，再判断中稀疏表示的个数T：如果0＜T≤θ，则转到步骤7e)，如果T＝0，则保留替代前的稀疏表示集合C_p，并转到步骤7e)，如果T＞θ，则转到步骤7d)；

7d)令t＝t+1，返回步骤7b)；

7e)将稀疏表示集合C_p中所有T个稀疏表示对应的合成训练照片块集合P_A2中的T个照片块作为稀疏表示c_i对应的测试照片块x_i的待选择照片块集合{x_i,1,x_i,2,…,x_i,T}：如果T＜K，则利用复制操作将待选择照片块从T个增加到K个，如果T＞K，则利用测试照片块x_i的高频信息与待选择照片块的高频信息的欧式距离将待选择照片块从T个减少为K个，使待选择照片块集合从{x_i,1,x_i,2,…,x_i,T}变成最后再从合成训练画像块集合S_A2中选择集合对应的K个画像块作为待选择画像块集合：

所述将查找到的图像块合成得到初始合成图像，具体为：

根据求解马尔可夫随机场模型来从待选择画像块集合中得到每个测试照片块x_i最终对应的训练画像块，并将这些训练画像块进行融合得到与测试照片T对应的初始合成画像S_t，t＝0。

所述将所述初始合成图像与测试照片构成第一图像对，并对所述第一图像对进行分块，再将所述第一图像对得到的图像块与所述初始图像对得到的图像块整合构成第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内查找匹配的图像块，所述查找到的图像块构成最终合成图像，具体为：

9a)测试照片T与初始合成画像S_t对和训练样本集A中的照片与画像对组成新的训练样本集A_t，t＝0；

9b)对新的训练样本集A_t，t＝0，通过求解级联图像合成模型来得到测试照片T对应的最终合成画像S_t，t＝m，其中，m表示级联迭代次数：

9b1)设t＝0；

9b2)将新的训练样本集A_t中的照片和画像划分为相同大小及相同重叠程度的块，得到新的合成训练照片块集合以及新的合成训练画像块集合

9b3)对每个测试照片块x_i，根据欧式距离从新的合成训练照片块集合中寻找K个相近的照片块作为待选择照片块同时从新的合成训练画像块集合中选择对应的画像块作为待选择画像块

9b4)利用步骤9b3)得到的待选择画像块集合通过求解马尔可夫随机场模型来得到每个测试照片块x_i最终对应的训练画像块，并将这些训练画像块进行融合得到与测试照片T对应的合成画像S_t，t＝t+1；

9b5)利用步骤9b4)得到的测试照片T与合成画像S_t对与训练样本集A中的照片与画像对组成新的训练样本集A_t，t＝t+1；

9b6)迭代执行步骤9b2)-9b5)直至迭代次数达到规定次数m，则S_t，t＝m，就是最终的合成画像。

实验数据：

1.仿真条件

本发明是在中央处理器为Intel(R)Core(TM)i3-21003.10GHz、内存4G、WINDOWS 7操作系统上，运用美国Mathworks公司开发的MATLAB R2010b进行仿真。

数据库采用CUFS数据库，该数据库包含CUHK student数据库、AR数据库和XM2VTS数据库。

AR数据库见文献“MartinezAM.TheAR face database[J].CVC TechnicalReport,1998,24.”。

XM2VTS数据库见文献“Messer K,Matas J,Kittler J,et al.XM2VTSDB:Theextended M2VTS database[C]//Second international conference on audio andvideo-based biometric person authentication.1999,964:965-966.”。

2.仿真内容

取CUHK student数据库中1个男性照片与画像对作为训练样本集A，测试照片样本集B则为CUFS数据库当中CUHK student数据库剩下的187张照片、AR数据库中123张照片和XM2VTS数据库中295张照片。

利用本发明和现有基于局部线性的方法LLE、基于马尔可夫随机场模型的方法MRF以及基于马尔可夫权重场模型的方法MWF，在CUFS数据库上进行照片到画像的合成仿真实验，结果如图2所示。其中：

图2(a)为原始照片，

图2(b)为现有基于局部线性的方法LLE合成的画像，

图2(c)为现有基于马尔可夫随机场模型的方法MRF合成的画像，

图2(d)为现有基于马尔可夫权重场模型的方法MWF合成的画像，

图2(e)为本发明方法合成的画像。

第三部分：

由图2实验结果可见，图2(b)～图2(d)中的第一张画像都没有发卡，第二张画像都没有刘海，其余的四张画像都没有眼镜，而且图2(b)～图2(d)中的第三张画像到第六张画像的背景都存在噪声。而图2(e)所示的本发明的第一张画像有发卡，第二张画像有刘海，其余的四张画像有眼镜，而且所有合成画像的背景都很干净。

综上所述：本发明由于借助了级联回归的思想，利用贪婪搜索的方法，在以单照片与画像对作为训练集的情况下，在测试照片背景与训练集照片背景不同时，能忽略背景的影响而合成测试照片对应的画像，此外，在测试照片中存在训练集照片中都不存在的非人脸部件时，能对测试照片合成包括非人脸部件的对应画像，验证了本发明的有效性。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (9)

1.一种基于单照片与画像对的人脸画像合成方法，其特征在于，该合成方法为：在数据库样本集内随机选择一对照片与画像作为初始图像对，剩余的照片作为测试照片样本集，将对所述初始图像对进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，将获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块子集投影到投影矩阵得到第一投影系数集合；然后将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，将查找到的图像块合成得到初始合成图像；将所述初始合成图像与测试照片构成第一图像对，并对所述第一图像对进行分块，再将所述第一图像对得到的图像块与所述初始图像对得到的图像块整合构成第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内查找匹配的图像块，查找到的图像块构成最终合成图像。

2.根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所述在数据库样本集内随机选择一对照片与画像作为初始图像对，剩余的照片作为测试照片样本集，具体为：将数据库样本集中所有照片与画像对中的图像由彩色图像变成灰度图像，再从照片与画像对集合中选择一对照片与画像作为训练样本集A，再将剩下的照片与画像对中的所有照片作为测试照片样本集B，并从测试照片样本集B中选取一张测试照片T。

3.根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所述将对所述初始图像对进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，具体为：

2a)对训练样本集A中的照片与画像对建立n层高斯金字塔，高斯金字塔中的每一层都对应着某个尺度下的照片与画像对：

2a1)构造尺度值为σ的高斯函数：

其中，G(x,y,σ)表示在σ尺度值下的高斯函数，x，y分别表示图像中像素点对应的横、纵坐标值；

2a2)将图像与2a1)所得的高斯函数进行卷积，得到高斯金字塔第一层的图像；

2a3)设i＝1；

2a4)将尺度值σ乘以一个比例系数i+1作为新的尺度因子来卷积原图像，再将卷积后的图像做比例因子为2ⁱ的降采样，得到高斯金字塔第i+1层的图像；

2a5)设i＝i+1；

2a6)重复步骤2a4)-2a5)n-2次，即可得到n层高斯金字塔;

2b)将高斯金字塔中奇数层对应的照片与画像对设为字典训练样本集A1，即第一图像块子集，将高斯金字塔中偶数层对应的照片与画像对设为合成训练样本集A2，即第二图像块子集。

4.根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所述将获得的第一图像块子集进行矩阵分解得到投影矩阵，具体为：

3a)将字典训练样本集A1中所有的照片划分为相同大小及相同重叠程度的块，从而得到字典训练照片块集合P_A1，

3b)对字典训练照片块集合P_A1利用有效稀疏编码方法得到训练照片块特征字典D_p，即投影矩阵：

3b1)初始化训练照片块特征字典为高斯矩阵，并将高斯矩阵每一个列向量归一化为单位向量；其中，l表示训练照片块特征字典D_p中字典元素的维数，m表示训练照片块特征字典D_p中字典元素的个数；

3b2)给定字典训练照片块集合P_A1以及初始化训练照片块特征字典D_p，按照下式得到字典训练照片块集合P_A1的初始稀疏表示集合C：

其中，λ是正则化参数，设值为0.15，||·||₂表示2范数，||·||₁表示1范数，当给定D_p时，C可以通过特征符号搜索算法进行求解；

3b3)给定字典训练照片块集合P_A1以及由3b2)得到的初始稀疏表示集合C，按照下式得到估计的训练照片块特征字典D_p：

当给定C时，通过拉格朗日对偶方法求解出D_p；

3b4)交替迭代3b2)和3b3)，直到以下目标函数收敛，得到最终的训练照片块特征字典D_p：

其中，D_pi表示字典D_p的第i个原子，是一个变量。

5.根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所述将所述第二图像块子集投影到投影矩阵得到第一投影系数集合，具体为：将合成训练样本集A2中所有的照片与画像对划分为相同大小及相同重叠程度的块，从而分别得到合成训练照片块集合P_A2＝{x₁,…,x_j,…,x_N}以及合成训练画像块集合S_A2＝{y₁,…,y_j,…,y_N};

5a)给定合成训练照片块集合P_A2中的一个训练照片块x_j和训练照片块特征字典D_p；

5b)利用最小角回归方法求解以下最优化问题： 得到训练照片块x_j对应的稀疏表示c_j，其中，λ是正则化参数，设值为0.15；

5c)对合成训练照片块集合P_A2中的每个训练照片块x_j重复步骤5a)和5b)，得到合成训练照片块集合P_A2对应的稀疏表示集合：

C_p＝{c₁,…,c_j,…,c_N}，

其中，c_j表示第j个照片块x_j的稀疏表示，由于每个稀疏表示c_j都包含稀疏系数值v_j以及稀疏系数值在稀疏编码中被求解的顺序o_j，因此稀疏表示集合C_p包含有稀疏系数值集合V_p以及对应的稀疏系数值在稀疏编码中被求解的顺序集合O_p，其表示如下：

V_p＝{v₁,…,v_j,…,v_N}；

O_p＝{o₁,…,o_j,…,o_N}。

6.根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所述将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，具体为：

6a)将测试照片T划分为相同大小及相同重叠程度的测试照片块集合：P＝{x₁,…,x_i,…,x_M}，x_i表示测试照片T中的第i个照片块；

6b)将每个测试照片块x_i用训练照片块特征字典D_p进行稀疏编码，得到x_i对应的稀疏表示c_i；

其中，c_i表示第i个测试照片块x_i的稀疏表示，每个稀疏表示c_i都包含稀疏系数值v_i以及稀疏系数值在稀疏编码中被求解的顺序o_i。

7.根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所述根据相似性尺度距离在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，具体为：

7a)设t＝1，θ＝2K；

7b)从顺序集合O_p中选出与求解顺序o_i中第t个值相同的所有稀疏表示c_j，并将这些选出的稀疏表示记为集合并用值替代稀疏表示集合C_p，再判断中稀疏表示的个数T：如果0＜T≤θ，则转到步骤7e)，如果T＝0，则保留替代前的稀疏表示集合C_p，并转到步骤7e)，如果T＞θ，则转到步骤7c)；

7c)从稀疏系数值集合V_p中选出与稀疏系数值v_i中第t个值欧式距离最相近的1/9稀疏表示c_j，并将这些选出的稀疏表示记为集合并用值替代稀疏表示集合C_p，再判断中稀疏表示的个数T：如果0＜T≤θ，则转到步骤7e)，如果T＝0，则保留替代前的稀疏表示集合C_p，并转到步骤7e)，如果T＞θ，则转到步骤7d)；

7d)令t＝t+1，返回步骤7b)；

7e)将稀疏表示集合C_p中所有T个稀疏表示对应的合成训练照片块集合P_A2中的T个照片块作为稀疏表示c_i对应的测试照片块x_i的待选择照片块集合{x_i,1,x_i,2,…,x_i,T}：如果T＜K，则利用复制操作将待选择照片块从T个增加到K个，如果T＞K，则利用测试照片块x_i的高频信息与待选择照片块的高频信息的欧式距离将待选择照片块从T个减少为K个，使待选择照片块集合从{x_i,1,x_i,2,…,x_i,T}变成最后再从合成训练画像块集合S_A2中选择待选择照片块集合对应的K个画像块作为待选择画像块集合：

8.根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所述查找到的图像块构成初始合成图像，具体为：

根据求解马尔可夫随机场模型来从待选择画像块集合中得到每个测试照片块x_i最终对应的训练画像块，并将这些训练画像块进行融合得到与测试照片T对应的初始合成画像S_t，t＝0。

9.根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所述将所述初始合成图像与测试照片构成第一图像对，并对所述第一图像对进行分块，再将所述第一图像对得到的图像块与所述初始图像对得到的图像块整合构成第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内查找匹配的图像块，查找到的图像块构成最终合成图像，具体为：

9a)测试照片T与初始合成画像S_t对和训练样本集A中的照片与画像对组成新的训练样本集A_t，t＝0；

9b)对新的训练样本集通过求解级联图像合成模型来得到测试照片T对应的最终合成画像S_t，t＝m，其中，m表示级联迭代次数：

9b1)设t＝0；

9b2)将新的训练样本集A_t中的照片和画像划分为相同大小及相同重叠程度的块，得到新的合成训练照片块集合以及新的合成训练画像块集合

9b3)对每个测试照片块x_i，根据欧式距离从新的合成训练照片块集合中寻找K个相近的照片块作为待选择照片块同时从新的合成训练画像块集合中选择对应的画像块作为待选择画像块

9b4)利用步骤9b3)得到的待选择画像块集合通过求解马尔可夫随机场模型来得到每个测试照片块x_i最终对应的训练画像块，并将这些训练画像块进行融合得到与测试照片T对应的合成画像S_t，t＝t+1；

9b5)利用步骤9b4)得到的测试照片T与合成画像S_t对与训练样本集A中的照片与画像对组成新的训练样本集A_t，t＝t+1；

9b6)迭代执行步骤9b2)-9b5)直至迭代次数达到规定次数m，则S_t，t＝m，就是最终的合成画像。