CN104700439A - 基于单张目标画像的人脸画像合成方法 - Google Patents

Abstract

本发明公开了一种基于单张目标画像的人脸画像合成方法，在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块子集投影到投影矩阵得到第一投影系数集合；然后将测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到匹配的图像块，将查找到的图像块合成得到初始合成图像；最后进行迭代合成最终合成图像。本发明省去费时费力的收集大量照片与画像对的过程，方便合成各种风格的画像。

Description

基于单张目标画像的人脸画像合成方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于单张目标画像的人脸画像合成方法。

背景技术

人脸画像合成有许多重要的实际应用，比如数字娱乐。目前推特和微博等社交网络变得越来越流行，很多用户将自己的画像上传到网上作为账户的头像以增加娱乐效果。为了体现个性化和增加趣味性，用户往往更希望自己的画像能有多种风格可供选择。此外，待合成照片的约束越少，用户就会更加亲睐，例如，待合成照片可以是各种角度，各种表情，各种背景以及全身照、合照等等。

目前的人脸画像合成方法可以分成以下三大类：一，基于子空间学习的人脸画像合成方法；二，基于贝叶斯推断的人脸画像合成方法；三，基于稀疏表示的人脸画像合成方法。

Liu等人在文献“Liu Q,Tang X,Jin H,et al.Anonlinear approach for facesketch synthesis and recognition[C]//Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on.IEEE,2005,1:1005-1010.”中采用子空间学习的方法来模拟照片转化成画像的非线性过程。具体实施方式是：先将训练集中的照片-画像对及测试照片划分成大小相同及重叠区域相同的图像块，对于测试照片中的每一个照片块在训练集中寻找它的K个近邻照片块并计算重建系数W，然后再将K个照片块对应的K个画像块用重建系数W进行加权组合得到待合成画像块，最后将所有的待合成画像块融合得到合成画像。但是该方法存在以下缺点：各合成画像块都是单独合成，没有考虑画像块之间的邻域关系，导致融合处的画像不自然，存在噪声。

Wang等人在文献“Wang X,Tang X.Face photo-sketch synthesis andrecognition[J].PatternAnalysis andMachine Intelligence,IEEE Transactions on,2009,31(11):1955-1967.”中提出了一种基于贝叶斯推断的人脸画像合成方法。具体操作步骤如下：首先将训练集中的照片-画像对以及测试照片用相同的方式分块，然后对每一个测试照片块在训练集中寻找它的K个候选照片块，根据测试照片块与K个候选照片块之间的关系以及合成画像中相邻位置的画像块之间的关系，建立马尔可夫随机场模型对每个测试照片块寻找一个最佳的训练画像块作为待合成画像块，最后将所有的待合成画像块融合得到最终的合成画像。该方法存在以下缺陷：每个测试照片块最终只选择一个训练画像块作为待合成画像块进行画像合成，导致合成画像存在块效应和细节缺失的问题。

高新波等人申请的专利技术“基于稀疏表示的画像-照片生成方法”(申请号：201010289330.9申请日：2010-09-24申请公布号：CN 101958000 A)中公开了一种基于稀疏表示的人脸画像合成方法。具体实施方式是：首先采用已有的画像合成方法生成画像的初始估计，然后再利用稀疏表示的方法合成出合成画像的细节信息，最后将初始估计和细节信息进行线性叠加得到最后的合成画像。该方法存在以下缺陷：合成画像的好坏依赖于初始画像合成方法，此外细节信息的线性叠加使得合成画像不自然。

上述三类画像合成方法需要许多照片-画像对作为训练集，然而收集照片-画像对费时费力。此外，当需要合成测试照片对应的某种类型的画像时，上述三类画像合成方法则需要收集许多对应类型的照片-画像对作为训练集，然而在大多数情况下，很难收集到许多指定类型的照片-画像对。此外，上述三类画像合成方法只适用于测试照片与训练集照片背景相同的情况，当测试照片与训练集照片背景不同时，合成画像的背景会存在噪声。当测试照片中存在非人脸部件，例如眼镜、发卡等，而训练集照片中都不存在这些非人脸部件时，合成画像会丢失测试照片中的非人脸部件。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于单张目标画像的人脸画像合成方法。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供一种基于单张目标画像的人脸画像合成方法，该合成方法为：在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块子集投影到投影矩阵得到第一投影系数集合；然后将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，将查找到的图像块合成得到初始合成图像；将对所述目标画像，测试照片以及初始合成图像进行分块得到第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内根据图像块的多尺度特征查找匹配的图像块，将所述查找到的图像块构成新合成图像，将新合成图像替代初始合成图像，重复迭代上述步骤合成最终合成图像。

上述方案中，所述在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，具体为：将CUFS数据库中所有照片与画像对中的图像由彩色图像变成灰度图像，再从照片与画像对集合中选择一对照片与画像中的画像作为训练画像A，再将剩下的照片与画像对中的所有照片作为测试照片样本集B，并从测试照片样本集B中选取一张测试照片T。

上述方案中，所述将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，具体为：

3a)对训练画像A建立n层高斯金字塔，高斯金字塔中的每一层都对应着某个尺度下的画像对：

3a1)构造尺度值为σ的高斯函数：

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}$

其中，G(x,y,σ)表示在σ尺度值下的高斯函数，x，y分别表示图像中像素点对应的横、纵坐标值；

3a2)将图像与3a1)所得的高斯函数进行卷积，得到高斯金字塔第一层的图像；

3a3)设i＝1；

3a4)将尺度值σ乘以一个比例系数i+1作为新的尺度因子来卷积原图像，再将卷积后的图像做比例因子为2ⁱ的降采样，得到高斯金字塔第i+1层的图像；

3a5)设i＝i+1；

3a6)重复步骤3a4)-3a5)n-2次，即可得到n层高斯金字塔；

3b)将高斯金字塔中奇数层对应的画像设为字典训练样本集A1，将高斯金字塔中偶数层对应的画像设为合成训练样本集A2；

3c)将字典训练样本集A1和合成训练样本集A2中所有的画像划分为相同大小及相同重叠程度的块，从而分别得到字典训练画像块集合S_A1即第一图像块子集和合成训练画像块集合S_A2即第二图像块子集。

上述方案中，所述将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，具体为：

4a)对字典训练画像块集合S_A1即第一图像块子集利用有效稀疏编码方法得到训练画像块特征字典D_s：

4a1)初始化训练画像块特征字典为高斯矩阵，并将高斯矩阵每一个列向量归一化为单位向量；其中，d表示训练画像块特征字典D_s中字典元素的维数，n表示训练画像块特征字典D_s中字典元素的个数；

4a2)给定字典训练画像块集合S_A1以及初始化训练画像块特征字典D_s，按照下式得到字典训练画像块集合S_A1的初始稀疏表示集合C：

$C=\arg \{\min {\left|\right|S_{A1}-D_{s}C\left|\right|}_2^2+\λ{\left|\right|C\left|\right|}_1\}$

其中，λ是正则化参数，设值为0.15，||·||₂表示2范数，||·||₁表示1范数，当给定D_s时，C可以通过特征符号搜索算法进行求解；

4a3)给定字典训练画像块集合S_A1以及由步骤4a2)得到的初始稀疏表示集合C，按照下式得到估计的训练画像块特征字典D_s：

$D_s=\arg \left\{\min {\left|\right|S_{A1}-D_{s}C\left|\right|}_2^2\right\},$

$s.t.{\left|\right|D_{\mathrm{si}}\left|\right|}_2^2\≤1,\∀i=1,...,n$

当给定C时，通过拉格朗日对偶方法求解出D_s；

4a4)交替迭代步骤4a2)和步骤4a3)，直到以下目标函数收敛，得到最终的训练画像块特征字典D_s：

$\underset{D_s,C}{\min }{\left|\right|S_{A1}-D_{s}C\left|\right|}_2^2+\mathrm{\λ}{\left|\right|C\left|\right|}_1,$

$s.t.{\left|\right|D_{\mathrm{si}}\left|\right|}_2^2\≤1,\∀i=1,...,n.$

上述方案中，所述将所述第二图像块子集投影到投影矩阵得到第一投影系数集合，具体为：将合成训练样本集A2中所有的画像划分为相同大小及相同重叠程度的块，从而得到合成训练画像块集合S_A2＝{y₁,…,y_j,…,y_N}即第二图像块子集；

5a)给定训练画像块y_j和训练画像块特征字典D_s；

5b)构造以下最优化问题来求解训练画像块y_j对应的稀疏表示c_j：

从而得到合成训练画像块集合S_A2对应的稀疏表示集合C_s，其中，λ是正则化参数，设值为0.15，上述最优化问题可利用最小角回归方法进行求解；

5c)对合成训练画像块集合S_A2即第二图像块子集中的每个训练画像块y_j重复步骤5a)和5b)，得到合成训练画像块集合S_A2对应的稀疏表示集合即第一投影系数集合：

C_s＝{c₁，…,c_j,…,c_N}；

其中，c_j表示第j个画像块y_j的稀疏表示，由于每个稀疏表示c_j都包含稀疏系数值v_j以及稀疏系数值在稀疏编码中被求解的顺序o_j，因此稀疏表示集合C_s包含有稀疏系数值集合V_s以及对应的稀疏系数值在稀疏编码中被求解的顺序集合O_s，其表示如下：

V_s＝{v₁,…,v_j,…,v_N}；

O_s＝{o₁,…,o_j,…,o_N}。

上述方案中，所述将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，具体为：

6a)将测试照片T划分为相同大小及相同重叠程度的测试照片块集合：P＝{x₁,…,x_i,…,x_M}，x_i表示测试照片T中的第i个照片块；

6b)将每个测试照片块x_i用训练画像块特征字典D_s进行稀疏编码，得到x_i对应的稀疏表示c_i即第二投影系数集合；

其中，c_i表示第i个测试照片块x_i的稀疏表示，每个稀疏表示c_i都包含稀疏系数值v_i以及稀疏系数值在稀疏编码中被求解的顺序o_i。

上述方案中，所述根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，具体为：对合成训练画像块集合S_A2通过贪婪搜索获取每个测试照片块x_i对应的待选择画像块集合

7a)设t＝1，θ＝2K；

7b)从顺序集合O_s中选出与求解顺序o_i中第t个值相同的所有稀疏表示c_j，并将这些选出的稀疏表示记为集合并用值替代稀疏表示集合C_s，再判断中稀疏表示的个数T：如果0＜T≤θ，则转到步骤7e)，如果T＝0，则保留替代前的稀疏表示集合C_s，并转到步骤7e)，如果T＞θ，则转到步骤7c)；

7c)从稀疏系数值集合V_s中选出与稀疏系数值v_i中第t个值欧式距离最相近的1/9稀疏表示c_j，并将这些选出的稀疏表示记为集合并用值替代稀疏表示集合C_s，再判断中稀疏表示的个数T：如果0＜T≤θ，则转到步骤7e)，如果T＝0，则保留替代前的稀疏表示集合C_s，并转到步骤7e)，如果T＞θ，则转到步骤7d)；

7d)令t＝t+1，返回步骤7b)；

7e)将稀疏表示集合C_s中所有T个稀疏表示对应的合成训练画像块集合S_A2中的T个画像块作为稀疏表示c_i对应的测试照片块x_i的待选择画像块集合{y_i,1,y_i,2,…,y_i,T}：如果T＜K，则利用复制操作将待选择画像块从T个增加到K个，如果T＞K，则利用测试照片块x_i的高频信息与待选择画像块的高频信息的欧式距离将待选择画像块从T个减少为K个，使待选择画像块集合从{y_i,1,y_i,2,…,y_i,T}变成 ${\tilde{y}}_i=\{y_{i,1},y_{i,2},...,y_{i,K}\}.$

上述方案中，所述将查找到的图像块合成得到初始合成图像，具体为：根据求解马尔可夫随机场模型从待选择画像块集合中得到每个测试照片块x_i最终对应的训练画像块，并将这些训练画像块进行融合得到与测试照片T对应的初始合成画像S_t，t＝0。

上述方案中，所述将对所述目标画像，测试照片以及初始合成图像进行分块得到第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内根据图像块的多尺度特征查找匹配的图像块，将所述查找到的图像块构成新合成图像，具体为：提取初始合成画像S_t、测试照片T以及训练画像A的像素值特征以及SURF特征，提取初始合成画像S_t、测试照片T以及训练画像A的多尺度特征的投影系数，获取测试照片块x_l对应的待选择画像块集合根据所述待选择画像块集合获取新合成画像。

上述方案中，所述将新合成图像替代初始合成图像，重复迭代上述步骤合成最终合成图像，具体为：新合成画像代替初始合成画像，迭代执行提取初始合成画像S_t、测试照片T以及训练画像A的像素值特征以及SURF特征，提取初始合成画像S_t、测试照片T以及训练画像A的多尺度特征的投影系数，获取测试照片块x_l对应的待选择画像块集合根据所述待选择画像块集合获取新合成画像，直到迭代次数达到指定值m时停止，则新合成画像S_t，t＝m，为最终合成画像。

与现有技术相比，本发明的有益效果：

第一，本发明由于只需要单张目标画像作为训练集，从而省去费时费力的收集大量照片与画像对的过程，因此能方便的合成各种风格的画像；

第二，本发明由于采用全局搜索来寻找近邻，因此能很好的合成眼镜、发卡等非人脸部件；

第三，本发明由于用稀疏表示中的稀疏系数值及稀疏系数值被求解的顺序这两个量来寻找近邻块，因此能有效的匹配拥有不同背景的图像块，从而有效解决测试照片与训练集照片背景不同的问题。

附图说明

图1为本发明的实现流程图；

图2为三种不同类型的画像；

图3为本发明与现有的三类方法在CUHK student数据库、AR数据库和XM2VTS数据库上的合成画像的对比结果图；

图4为本发明用三种不同类型的画像作为训练集时在CUHK student数据库、AR数据库和XM2VTS数据库上的合成画像的对比结果图。

图5为本发明用三种不同类型的画像作为训练集时在网上下载的合照上的合成画像的对比结果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明实施例提供一种基于单张目标画像的人脸画像合成方法，图1所示，该合成方法为：在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块子集投影到投影矩阵得到第一投影系数集合；然后将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，将查找到的图像块合成得到初始合成图像；将对所述目标画像，测试照片以及初始合成图像进行分块得到第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内根据图像块的多尺度特征查找匹配的图像块，将所述查找到的图像块构成新合成图像，将新合成图像替代初始合成图像，重复迭代上述步骤合成最终合成图像。

所述在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，具体为：将CUFS数据库中所有照片与画像对中的图像由彩色图像变成灰度图像，再从照片与画像对集合中选择一对照片与画像中的画像作为训练画像A，再将剩下的照片与画像对中的所有照片作为测试照片样本集B，并从测试照片样本集B中选取一张测试照片T。

所述在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，之后，该方法还包括：对目标画像的多尺度特征进行主成分分析来获取目标画像的多尺度特征的主成分。

所述将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，具体为：

3a)对训练画像A建立n层高斯金字塔，高斯金字塔中的每一层都对应着某个尺度下的画像对：

3a1)构造尺度值为σ的高斯函数：

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}$

其中，G(x,y,σ)表示在σ尺度值下的高斯函数，x，y分别表示图像中像素点对应的横、纵坐标值；

3a2)将图像与3a1)所得的高斯函数进行卷积，得到高斯金字塔第一层的图像；

3a3)设i＝1；

3a4)将尺度值σ乘以一个比例系数i+1作为新的尺度因子来卷积原图像，再将卷积后的图像做比例因子为2ⁱ的降采样，得到高斯金字塔第i+1层的图像；

3a5)设i＝i+1；

3a6)重复步骤3a4)-3a5)n-2次，即可得到n层高斯金字塔；

3b)将高斯金字塔中奇数层对应的画像设为字典训练样本集A1，将高斯金字塔中偶数层对应的画像设为合成训练样本集A2；

3c)将字典训练样本集A1和合成训练样本集A2中所有的画像划分为相同大小及相同重叠程度的块，从而分别得到字典训练画像块集合S_A1即第一图像块子集和合成训练画像块集合S_A2即第二图像块子集。

所述将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，具体为：

4a)对字典训练画像块集合S_A1即第一图像块子集利用有效稀疏编码方法得到训练画像块特征字典D_s：

4a1)初始化训练画像块特征字典为高斯矩阵，并将高斯矩阵每一个列向量归一化为单位向量；其中，d表示训练画像块特征字典D_s中字典元素的维数，n表示训练画像块特征字典D_s中字典元素的个数；

4a2)给定字典训练画像块集合S_A1以及初始化训练画像块特征字典D_s，按照下式得到字典训练画像块集合S_A1的初始稀疏表示集合C：

$C=\arg \{\min {\left|\right|S_{A1}-D_{s}C\left|\right|}_2^2+\λ{\left|\right|C\left|\right|}_1\}$

其中，λ是正则化参数，设值为0.15，||·||₂表示2范数，||·||₁表示1范数，当给定D_s时，C可以通过特征符号搜索算法进行求解；

4a3)给定字典训练画像块集合S_A1以及由步骤4a2)得到的初始稀疏表示集合C，按照下式得到估计的训练画像块特征字典D_s：

$D_s=\arg \left\{\min {\left|\right|S_{A1}-D_{s}C\left|\right|}_2^2\right\},$

$s.t.{\left|\right|D_{\mathrm{si}}\left|\right|}_2^2\≤1,\∀i=1,...,n$

当给定C时，通过拉格朗日对偶方法求解出D_s；

4a4)交替迭代步骤4a2)和步骤4a3)，直到以下目标函数收敛，得到最终的训练画像块特征字典D_s：

$\underset{D_s,C}{\min }{\left|\right|S_{A1}-D_{s}C\left|\right|}_2^2+\mathrm{\λ}{\left|\right|C\left|\right|}_1,$

$s.t.{\left|\right|D_{\mathrm{si}}\left|\right|}_2^2\≤1,\∀i=1,...,n.$

所述的有效稀疏编码方法，见文献“Lee H,BattleA,RainaR,et al.Efficientsparse coding algorithms[C]//Advances inneural informationprocessing systems.2006:801-808.”，文献中包含了特征符号搜索算法和拉格朗日对偶方法。

获取训练画像块特征字典D_s的方法不局限于上述的有效稀疏编码方法，还可用K-SVD算法，见文献“AharonM,EladM,BrucksteinA.k-svd:An algorithmfor designing overcomplete dictionaries for sparserepresentation[J].SignalProcessing,IEEE Transactions on,2006,54(11):4311-4322.”。

所述将所述第二图像块子集投影到投影矩阵得到第一投影系数集合，具体为：将合成训练样本集A2中所有的画像划分为相同大小及相同重叠程度的块，从而得到合成训练画像块集合S_A2＝{y₁,…,y_j,…,y_N}即第二图像块子集；

5a)给定训练画像块y_j和训练画像块特征字典D_s；

5b)构造以下最优化问题来求解训练画像块y_j对应的稀疏表示c_j：

从而得到合成训练画像块集合S_A2对应的稀疏表示集合C_s，其中，λ是正则化参数，设值为0.15，上述最优化问题可利用最小角回归方法进行求解。

最小角回归方法见文献“Efron B,Hastie T,Johnstone I,et al.Least angleregression[J].The Annals ofstatistics,2004,32(2):407-499.”；

5c)对合成训练画像块集合S_A2即第二图像块子集中的每个训练画像块y_j重复步骤5a)和5b)，得到合成训练画像块集合S_A2对应的稀疏表示集合即第一投影系数集合：

C_s＝{c₁,…,c_j,…,c_N}。

其中，c_j表示第j个画像块y_j的稀疏表示，由于每个稀疏表示c_j都包含稀疏系数值v_j以及稀疏系数值在稀疏编码中被求解的顺序o_j，因此稀疏表示集合C_s包含有稀疏系数值集合V_s以及对应的稀疏系数值在稀疏编码中被求解的顺序集合O_s，其表示如下：

V_s＝{v₁,…,v_j,…,v_N}；

O_s＝{o₁,…,o_j,…,o_N}。

所述将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，具体为：

6a)将测试照片T划分为相同大小及相同重叠程度的测试照片块集合：P＝{x₁,…,x_i,…,x_M}，x_i表示测试照片T中的第i个照片块；

6b)将每个测试照片块x_i用训练画像块特征字典D_s进行稀疏编码，得到x_i对应的稀疏表示c_i即第二投影系数集合；

其中，c_i表示第i个测试照片块x_i的稀疏表示，每个稀疏表示c_i都包含稀疏系数值v_i以及稀疏系数值在稀疏编码中被求解的顺序o_i。

所述根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，具体为：对合成训练画像块集合S_A2通过贪婪搜索获取每个测试照片块x_i对应的待选择画像块集合

7a)设t＝1，θ＝2K；

7b)从顺序集合O_s中选出与求解顺序o_i中第t个值相同的所有稀疏表示c_j，并将这些选出的稀疏表示记为集合并用值替代稀疏表示集合C_s，再判断中稀疏表示的个数T：如果0＜T≤θ，则转到步骤7e)，如果T＝0，则保留替代前的稀疏表示集合C_s，并转到步骤7e)，如果T＞θ，则转到步骤7c)；

7c)从稀疏系数值集合V_s中选出与稀疏系数值v_i中第t个值欧式距离最相近的1/9稀疏表示c_j，并将这些选出的稀疏表示记为集合并用值替代稀疏表示集合C_s，再判断中稀疏表示的个数T：如果0＜T≤θ，则转到步骤7e)，如果T＝0，则保留替代前的稀疏表示集合C_s，并转到步骤7e)，如果T＞θ，则转到步骤7d)；

7d)令t＝t+1，返回步骤7b)；

7e)将稀疏表示集合C_s中所有T个稀疏表示对应的合成训练画像块集合S_A2中的T个画像块作为稀疏表示c_i对应的测试照片块x_i的待选择画像块集合{y_i,1,y_i,2,…,y_i,T}：如果T＜K，则利用复制操作将待选择画像块从T个增加到K个，如果T＞K，则利用测试照片块x_i的高频信息与待选择画像块的高频信息的欧式距离将待选择画像块从T个减少为K个，使待选择画像块集合从{y_i,1,y_i,2,…,y_i,T}变成 ${\tilde{y}}_i=\{y_{i,1},y_{i,2},...,y_{i,K}\}.$

所述将查找到的图像块合成得到初始合成图像，具体为：根据求解马尔可夫随机场模型从待选择画像块集合中得到每个测试照片块x_i最终对应的训练画像块，并将这些训练画像块进行融合得到与测试照片T对应的初始合成画像S_t，t＝0；

所述将对所述目标画像，测试照片以及初始合成图像进行分块得到第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内根据图像块的多尺度特征查找匹配的图像块，将所述查找到的图像块构成新合成图像，具体为：提取初始合成画像S_t、测试照片T以及训练画像A的像素值特征以及SURF特征，提取初始合成画像S_t、测试照片T以及训练画像A的多尺度特征的投影系数，获取测试照片块x_l对应的待选择画像块集合根据所述待选择画像块集合获取新合成画像。

所述提取合成画像S_t、测试照片T以及训练画像A的像素值特征以及SURF特征，具体为

9a)将合成画像S_t划分为相同大小及相同重叠程度的画像块集合：Z＝{z₁,…,z_l,…,z_M}，z_l表示合成画像S_t中的第l个画像块；

9b)将测试照片T划分为相同大小及相同重叠程度的测试照片块集合：P＝{x₁,…,x_l,…,x_M}，x_l表示测试照片T中的第l个照片块；

9c)将训练画像A划分为相同大小及相同重叠程度的训练画像块集合：S＝{y₁,…,y_l,…,y_N}，y_l表示训练画像A中的第l个画像块；

9d)对画像块集合Z中的每个块提取像素值特征和SURF特征；

9e)对测试照片块集合P中的每个块提取像素值特征和SURF特征；

9f)对训练画像块集合S中的每个块提取像素值特征和SURF特征；

所述提取合成画像S_t、测试照片T以及训练画像A的多尺度特征的投影系数，具体为：

10a)对合成画像S_t建立高斯金字塔G和拉普拉斯金字塔L，再对高斯金字塔G的每层画像求解水平一阶导数h1和二阶导数h2以及竖直一阶导数v1和二阶导数v2。因此，合成画像S_t拥有6个多尺度特征：合成画像S_t的高斯金字塔G_S，合成画像S_t的拉普拉斯金字塔L_S，合成画像S_t的水平一阶导数金字塔H1_S，合成画像S_t的水平二阶导数金字塔H2_S，合成画像S_t的竖直一阶导数金字塔V1_S，合成画像S_t的竖直二阶导数金字塔V2_S；

10b)对训练画像A建立高斯金字塔G和拉普拉斯金字塔L，再对高斯金字塔G的每层画像求解水平一阶导数h1和二阶导数h2以及竖直一阶导数v1和二阶导数v2。因此，训练画像A拥有6个多尺度特征：训练画像A的高斯金字塔G_A，训练画像A的拉普拉斯金字塔L_A，训练画像A的水平一阶导数金字塔H1_A，训练画像A的水平二阶导数金字塔H2_A，训练画像A的竖直一阶导数金字塔V1_A，训练画像A的竖直二阶导数金字塔V2_A；

10c)对测试照片T建立高斯金字塔G和拉普拉斯金字塔L，再对高斯金字塔G的每层照片求解水平一阶导数h1和二阶导数h2以及竖直一阶导数v1和二阶导数v2。因此，测试照片T拥有6个多尺度特征：测试照片T的高斯金字塔G_T，测试照片T的拉普拉斯金字塔L_T，测试照片T的水平一阶导数金字塔H1_T，测试照片T的水平二阶导数金字塔H2_T，测试照片T的竖直一阶导数金字塔V1_T，测试照片T的竖直二阶导数金字塔V2_T；

10d)将步骤10a)-10c)中的各多尺度特征投影到步骤2中的主成分以获取各多尺度特征的投影系数；

所述获取测试照片块x_l对应的待选择画像块集合具体为：

11a)将每个测试照片块x_l从测试照片块集合P＝{x₁,…,x_i,…,x_M}中利用像素值特征搜索求得K个最近邻；则画像块集合Z＝{z₁,…,z_l,…,z_M}中K个对应的画像块z_l即为搜索得到的待选择画像块；

11b)将每个测试照片块x_l从训练画像块集合S＝{y₁,…,y_l,…,y_N}中利用多尺度特征的投影系数搜索求得K个最近邻；

11c)将每个测试照片块x_l对应的画像块z_l从训练画像块集合S＝{y₁,…,y_l,…,y_N}中利用多尺度特征的投影系数搜索求得K个最近邻；

11d)对于每个测试照片块x_l，当测试照片块x_l的高频分量大于某个指定值时，将测试照片块x_l在步骤11a)-11c)中获得的3K个最近邻利用测试照片块x_l的各特征和3K个最近邻的各特征的欧式距离进行最优化重新排序：

11d1)利用提取的图像块多尺度特征的投影系数以及图像块像素值特征和SURF特征，先求解每个测试照片块x_l与3K个最近邻对应特征的欧式距离：

dist_k＝[dt_k,1,…,dt_k,l,…,dt_k,L]，k＝1,…,3K；

其中，dt_k,l表示测试照片块x_l与第k个近邻画像块在第l个特征上的欧式距离，L表示图像块所提取的特征个数；

11d2)对步骤11d1)得到的dist_k，k＝1,…,3K，通过求解以下最优化问题得到测试照片块x_l与第k个最近邻所有对应特征的欧式距离dist_k的权重μ_k＝[μ_k,1,…,μ_k,l,…,μ_k,L]。

$\min \{{\mathrm{dist}}_k^T{\mathrm{\μ}}_k+\frac{1}{2}{\mathrm{\μ}}_k^{T}H{\mathrm{\μ}}_k\}s.t.{\mathrm{\Σ}}_{l=1}^L{\mathrm{\μ}}_{k,l}=\mathrm{1,0}\≤{\mathrm{\μ}}_{k,l}\≤1$

其中，H是对角矩阵，对角元素为

11d3)利用步骤11d1)得到的欧式距离dist_k与步骤11d2)得到的权重μ_k，按照得到每个测试照片块x_l与3K个最近邻新的距离从而进行重新排序。

11e)对于每个测试照片块x_l，当测试照片块x_l的高频分量小于等于某个指定值时，直接将测试照片块x_l在测试照片块集合P＝{x₁,…,x_i,…,x_M}中利用像素值特征搜索求得3K个最近邻；

所述获取新合成画像，具体为。

从步骤11a)-11e)得到的测试照片块x_l对应的3K个最近邻中选择前K个最近邻，通过求解马尔可夫随机场模型得到每个测试照片块x_l最终对应的训练画像块，然后经过融合得到测试照片T对应的新合成画像S_t，t＝1；

所述将新合成图像替代初始合成图像，重复迭代上述步骤合成最终合成图像，具体为：新合成画像代替初始合成画像，迭代执行步骤9a)～11e)，直到迭代次数达到指定值m时停止，则新合成画像S_t，t＝m，为最终合成画像。

实验数据：

本发明的效果可以通过以下仿真实验做进一步的说明。

1.仿真条件

本发明是在中央处理器为Intel(R)Core(TM)i3-21003.10GHz、内存4G、WINDOWS 7操作系统上，运用美国Mathworks公司开发的MATLAB R2013b进行仿真。

数据库采用CUFS数据库，该数据库包含CUHK student数据库、AR数据库和XM2VTS数据库。

AR数据库见文献“MartinezAM.TheAR face database[J].CVC TechnicalReport,1998,24.”。

XM2VTS数据库见文献“Messer K,Matas J,Kittler J,et al.XM2VTSDB:Theextended M2VTS database[C]//Second international conference on audio andvideo-based biometric person authentication.1999,964:965-966.”。

2.仿真内容

取CUHK student数据库中1个男性画像作为训练画像A。测试照片样本集B则为CUFS数据库当中CUHK student数据库剩下的187张照片、AR数据库中123张照片和XM2VTS数据库中295张照片。

为了证明本发明能合成多种风格的画像，训练画像A除了取CUFS数据库中的画像，还从网上下载了两张不同风格的画像作为训练画像A，如图2所示。其中，图2(1)和图2(2)分别为网上下载的两张不同风格的画像，图2(3)为CUHKstudent数据库中1个男性画像。

利用本发明和现有基于局部线性的方法LLE、基于马尔可夫随机场模型的方法MRF以及基于马尔可夫权重场模型的方法MWF，在CUFS数据库上进行照片到画像的合成仿真实验，结果如图3所示。其中：

图3(a)为原始照片，

图3(b)为现有基于局部线性的方法LLE合成的画像，

图3(c)为现有基于马尔可夫随机场模型的方法MRF合成的画像，

图3(d)为现有基于马尔可夫权重场模型的方法MWF合成的画像，

图3(e)为本发明方法用图2(3)作为训练画像A时合成的画像。

由图3实验结果可见，图3(b)～图3(d)中的第一张画像都没有发卡，第二张画像都没有刘海，其余的四张画像都没有眼镜，而且图3(b)～图3(d)中的第三张画像到第六张画像的背景都存在噪声。而图3(e)所示的本发明的第一张画像有发卡，第二张画像有刘海，其余的四张画像有眼镜，而且所有合成画像的背景都很干净。

在用图2中的三种不同风格的画像依次作为训练画像A的情况下，本发明方法在CUFS数据库上进行照片到画像的合成仿真实验，结果如图4所示。其中：

图4(a)为原始照片，

图4(b)为本发明方法用图2(1)作为训练画像A时合成的画像，

图4(c)为本发明方法用图2(2)作为训练画像A时合成的画像，

图4(d)为本发明方法用图2(3)作为训练画像A时合成的画像。

由图4实验结果可见，图4(b)的风格与图2(1)相似，图4(c)的风格与图2(2)相似，图4(d)的风格与图2(3)相似，此外图4(b)～图4(d)所示的本发明的第一张画像有发卡，第二张画像有刘海，其余的四张画像有眼镜，而且所有合成画像的背景都很干净。

在用图2中的三种不同风格的画像依次作为训练画像A的情况下，本发明方法在网上下载的合照上进行照片到画像的合成仿真实验，结果如图5所示。其中：

图5(a)为原始照片，

图5(b)为本发明方法用图2(1)作为训练画像A时合成的画像，

图5(c)为本发明方法用图2(2)作为训练画像A时合成的画像，

图5(d)为本发明方法用图2(3)作为训练画像A时合成的画像。

由图5实验结果可见，图5(b)的风格与图2(1)相似，图5(c)的风格与图2(2)相似，图5(d)的风格与图2(3)相似，此外图5(b)～图5(d)所示的本发明的合成画像均不受测试图像的大小以及人脸数量的影响。

综上所述：本发明由于在用多尺度金字塔作为特征时借助了迭代的思想，并在以稀疏表示中稀疏系数值和稀疏系数值在稀疏编码中被求解的顺序作为特征的情况下，利用贪婪搜索的方法，使得在以单张目标画像作为训练集的情况下，在测试照片与训练集照片背景不同时，能忽略背景的影响而合成测试照片对应的画像；在测试照片中存在训练集照片中都不存在的非人脸部件时，能对测试照片合成包括非人脸部件在内的对应画像；此外，还能忽略训练画像的风格和测试照片的大小以及测试照片中所包容的人脸数目等因素进行画像合成，验证了本发明的实用性。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种基于单张目标画像的人脸画像合成方法，其特征在于，该合成方法为：在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块子集投影到投影矩阵得到第一投影系数集合；然后将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，将查找到的图像块合成得到初始合成图像；将对所述目标画像，测试照片以及初始合成图像进行分块得到第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内根据图像块的多尺度特征查找匹配的图像块，将所述查找到的图像块构成新合成图像，将新合成图像替代初始合成图像，重复迭代上述步骤合成最终合成图像。

2.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，具体为：将CUFS数据库中所有照片与画像对中的图像由彩色图像变成灰度图像，再从照片与画像对集合中选择一对照片与画像中的画像作为训练画像A，再将剩下的照片与画像对中的所有照片作为测试照片样本集B，并从测试照片样本集B中选取一张测试照片T。

3.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，具体为：

3a)对训练画像A建立n层高斯金字塔，高斯金字塔中的每一层都对应着某个尺度下的画像对：

3a1)构造尺度值为σ的高斯函数：

$G(x,y,\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-(x^2+y^2)}$

其中，G(x,y,σ)表示在σ尺度值下的高斯函数，x，y分别表示图像中像素点对应的横、纵坐标值；

3a2)将图像与3a1)所得的高斯函数进行卷积，得到高斯金字塔第一层的图像；

3a3)设i＝1；

3a4)将尺度值σ乘以一个比例系数i+1作为新的尺度因子来卷积原图像，再将卷积后的图像做比例因子为2ⁱ的降采样，得到高斯金字塔第i+1层的图像；

3a5)设i＝i+1；

3a6)重复步骤3a4)-3a5)n-2次，即可得到n层高斯金字塔；

3b)将高斯金字塔中奇数层对应的画像设为字典训练样本集A1，将高斯金字塔中偶数层对应的画像设为合成训练样本集A2；

3c)将字典训练样本集A1和合成训练样本集A2中所有的画像划分为相同大小及相同重叠程度的块，从而分别得到字典训练画像块集合S_A1即第一图像块子集和合成训练画像块集合S_A2即第二图像块子集。

4.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，具体为：

4a)对字典训练画像块集合S_A1即第一图像块子集利用有效稀疏编码方法得到训练画像块特征字典D_s：

4a1)初始化训练画像块特征字典为高斯矩阵，并将高斯矩阵每一个列向量归一化为单位向量；其中，d表示训练画像块特征字典D_s中字典元素的维数，n表示训练画像块特征字典D_s中字典元素的个数；

4a2)给定字典训练画像块集合S_A1以及初始化训练画像块特征字典D_s，按照下式得到字典训练画像块集合S_A1的初始稀疏表示集合C：

$C=\arg \{\min {\left|\right|S_{A1}-D_{s}C\left|\right|}_2^2+\mathrm{\λ}{\left|\right|C\left|\right|}_1\}$

其中，λ是正则化参数，设值为0.15，||·||₂表示2范数，||·||₁表示1范数，当给定D_s时，C可以通过特征符号搜索算法进行求解；

4a3)给定字典训练画像块集合S_A1以及由步骤4a2)得到的初始稀疏表示集合C，按照下式得到估计的训练画像块特征字典D_s：

$D_s=\arg \left\{\min {\left|\right|S_{A1}-D_{s}C\left|\right|}_2^2\right\},$

$s.t.{\left|\right|D_{\mathrm{si}}\left|\right|}_2^2\≤1,\∀i=1,...,n$

当给定C时，通过拉格朗日对偶方法求解出D_s；

4a4)交替迭代步骤4a2)和步骤4a3)，直到以下目标函数收敛，得到最终的训练画像块特征字典D_s：

$\underset{D_s,C}{\min }{\left|\right|S_{A1}-D_{s}C\left|\right|}_2^2+\mathrm{\λ}{\left|\right|C\left|\right|}_1,$

$s.t.{\left|\right|D_{\mathrm{si}}\left|\right|}_2^2\≤1,\∀i=1,...,n.$

5.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将所述第二图像块子集投影到投影矩阵得到第一投影系数集合，具体为：将合成训练样本集A2中所有的画像划分为相同大小及相同重叠程度的块，从而得到合成训练画像块集合S_A2＝{y₁,…,y_j,…,y_N}即第二图像块子集；

5a)给定训练画像块y_j和训练画像块特征字典D_s；

5b)构造以下最优化问题来求解训练画像块y_j对应的稀疏表示c_j：

从而得到合成训练画像块集合S_A2对应的稀疏表示集合C_s，其中，λ是正则化参数，设值为0.15，上述最优化问题可利用最小角回归方法进行求解；

5c)对合成训练画像块集合S_A2即第二图像块子集中的每个训练画像块y_j重复步骤5a)和5b)，得到合成训练画像块集合S_A2对应的稀疏表示集合即第一投影系数集合：

C_s＝{c₁,…,c_j,…,c_N}；

其中，c_j表示第j个画像块y_j的稀疏表示，由于每个稀疏表示c_j都包含稀疏系数值v_j以及稀疏系数值在稀疏编码中被求解的顺序o_j，因此稀疏表示集合C_s包含有稀疏系数值集合V_s以及对应的稀疏系数值在稀疏编码中被求解的顺序集合O_s，其表示如下：

V_s＝{v₁,…,v_j,…,v_N}；

O_s＝{o₁,…,o_j,…,o_N}。

6.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，具体为：

6a)将测试照片T划分为相同大小及相同重叠程度的测试照片块集合：P＝{x₁,…,x_i,…,x_M}，x_i表示测试照片T中的第i个照片块；

6b)将每个测试照片块x_i用训练画像块特征字典D_s进行稀疏编码，得到x_i对应的稀疏表示c_i即第二投影系数集合；

其中，c_i表示第i个测试照片块x_i的稀疏表示，每个稀疏表示c_i都包含稀疏系数值v_i以及稀疏系数值在稀疏编码中被求解的顺序o_i。

7.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，具体为：对合成训练画像块集合S_A2通过贪婪搜索获取每个测试照片块x_i对应的待选择画像块集合

7a)设t＝1，θ＝2K；

7b)从顺序集合O_s中选出与求解顺序o_i中第t个值相同的所有稀疏表示c_j，并将这些选出的稀疏表示记为集合并用值替代稀疏表示集合C_s，再判断中稀疏表示的个数T：如果0＜T≤θ，则转到步骤7e)，如果T＝0，则保留替代前的稀疏表示集合C_s，并转到步骤7e)，如果T＞θ，则转到步骤7c)；

7c)从稀疏系数值集合V_s中选出与稀疏系数值v_i中第t个值欧式距离最相近的1/9稀疏表示c_j，并将这些选出的稀疏表示记为集合并用值替代稀疏表示集合C_s，再判断中稀疏表示的个数T：如果0＜T≤θ，则转到步骤7e)，如果T＝0，则保留替代前的稀疏表示集合C_s，并转到步骤7e)，如果T＞θ，则转到步骤7d)；

7d)令t＝t+1，返回步骤7b)；

7e)将稀疏表示集合C_s中所有T个稀疏表示对应的合成训练画像块集合S_A2中的T个画像块作为稀疏表示c_i对应的测试照片块x_i的待选择画像块集合{y_i,1,y_i,2,…,y_i,T}：如果T＜K，则利用复制操作将待选择画像块从T个增加到K个，如果T＞K，则利用测试照片块x_i的高频信息与待选择画像块的高频信息的欧式距离将待选择画像块从T个减少为K个，使待选择画像块集合从{y_i,1,y_i,2,…,y_i,T}变成 ${\tilde{y}}_i=\{y_{i,1},y_{i,2},...,y_{i,K}\}.$

8.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将查找到的图像块合成得到初始合成图像，具体为：根据求解马尔可夫随机场模型从待选择画像块集合中得到每个测试照片块x_i最终对应的训练画像块，并将这些训练画像块进行融合得到与测试照片T对应的初始合成画像S_t，t＝0。

9.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将对所述目标画像，测试照片以及初始合成图像进行分块得到第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内根据图像块的多尺度特征查找匹配的图像块，将所述查找到的图像块构成新合成图像，具体为：提取初始合成画像S_t、测试照片T以及训练画像A的像素值特征以及SURF特征，提取初始合成画像S_t、测试照片T以及训练画像A的多尺度特征的投影系数，获取测试照片块x_l对应的待选择画像块集合根据所述待选择画像块集合获取新合成画像。

10.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将新合成图像替代初始合成图像，重复迭代上述步骤合成最终合成图像，具体为：新合成画像代替初始合成画像，迭代执行提取初始合成画像S_t、测试照片T以及训练画像A的像素值特征以及SURF特征，提取初始合成画像S_t、测试照片T以及训练画像A的多尺度特征的投影系数，获取测试照片块x_l对应的待选择画像块集合根据所述待选择画像块集合获取新合成画像，直到迭代次数达到指定值m时停止，则新合成画像S_t，t＝m，为最终合成画像。