CN104700439B - 基于单张目标画像的人脸画像合成方法 - Google Patents
基于单张目标画像的人脸画像合成方法 Download PDFInfo
- Publication number
- CN104700439B CN104700439B CN201510109196.2A CN201510109196A CN104700439B CN 104700439 B CN104700439 B CN 104700439B CN 201510109196 A CN201510109196 A CN 201510109196A CN 104700439 B CN104700439 B CN 104700439B
- Authority
- CN
- China
- Prior art keywords
- portrait
- block
- image block
- photo
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于单张目标画像的人脸画像合成方法，在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块子集投影到投影矩阵得到第一投影系数集合；然后将测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到匹配的图像块，将查找到的图像块合成得到初始合成图像；最后进行迭代合成最终合成图像。本发明省去费时费力的收集大量照片与画像对的过程，方便合成各种风格的画像。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于单张目标画像的人脸画像合成方法。
背景技术
人脸画像合成有许多重要的实际应用，比如数字娱乐。目前推特和微博等社交网络变得越来越流行，很多用户将自己的画像上传到网上作为账户的头像以增加娱乐效果。为了体现个性化和增加趣味性，用户往往更希望自己的画像能有多种风格可供选择。此外，待合成照片的约束越少，用户就会更加亲睐，例如，待合成照片可以是各种角度，各种表情，各种背景以及全身照、合照等等。
目前的人脸画像合成方法可以分成以下三大类：一，基于子空间学习的人脸画像合成方法；二，基于贝叶斯推断的人脸画像合成方法；三，基于稀疏表示的人脸画像合成方法。
Liu等人在文献“Liu Q, Tang X, Jin H, et al. A nonlinear approach forface sketch synthesis and recognition[C]//Computer Vision and PatternRecognition, 2005. CVPR 2005. IEEE Computer Society Conference on. IEEE,2005, 1: 1005-1010.”中采用子空间学习的方法来模拟照片转化成画像的非线性过程。具体实施方式是：先将训练集中的照片-画像对及测试照片划分成大小相同及重叠区域相同的图像块，对于测试照片中的每一个照片块在训练集中寻找它的个近邻照片块并计算重建系数，然后再将个照片块对应的个画像块用重建系数进行加权组合得到待合成画像块，最后将所有的待合成画像块融合得到合成画像。但是该方法存在以下缺点：各合成画像块都是单独合成，没有考虑画像块之间的邻域关系，导致融合处的画像不自然，存在噪声。
Wang等人在文献“Wang X, Tang X. Face photo-sketch synthesis andrecognition[J]. Pattern Analysis and Machine Intelligence, IEEE Transactionson, 2009, 31(11): 1955-1967.”中提出了一种基于贝叶斯推断的人脸画像合成方法。具体操作步骤如下：首先将训练集中的照片-画像对以及测试照片用相同的方式分块，然后对每一个测试照片块在训练集中寻找它的个候选照片块，根据测试照片块与个候选照片块之间的关系以及合成画像中相邻位置的画像块之间的关系，建立马尔可夫随机场模型对每个测试照片块寻找一个最佳的训练画像块作为待合成画像块，最后将所有的待合成画像块融合得到最终的合成画像。该方法存在以下缺陷：每个测试照片块最终只选择一个训练画像块作为待合成画像块进行画像合成，导致合成画像存在块效应和细节缺失的问题。
高新波等人申请的专利技术“基于稀疏表示的画像-照片生成方法”（申请号：201010289330.9申请日：2010-09-24申请公布号：CN 101958000 A）中公开了一种基于稀疏表示的人脸画像合成方法。具体实施方式是：首先采用已有的画像合成方法生成画像的初始估计，然后再利用稀疏表示的方法合成出合成画像的细节信息，最后将初始估计和细节信息进行线性叠加得到最后的合成画像。该方法存在以下缺陷：合成画像的好坏依赖于初始画像合成方法，此外细节信息的线性叠加使得合成画像不自然。
上述三类画像合成方法需要许多照片-画像对作为训练集，然而收集照片-画像对费时费力。此外，当需要合成测试照片对应的某种类型的画像时，上述三类画像合成方法则需要收集许多对应类型的照片-画像对作为训练集，然而在大多数情况下，很难收集到许多指定类型的照片-画像对。此外，上述三类画像合成方法只适用于测试照片与训练集照片背景相同的情况，当测试照片与训练集照片背景不同时，合成画像的背景会存在噪声。当测试照片中存在非人脸部件，例如眼镜、发卡等，而训练集照片中都不存在这些非人脸部件时，合成画像会丢失测试照片中的非人脸部件。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于单张目标画像的人脸画像合成方法。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种基于单张目标画像的人脸画像合成方法，该合成方法为：在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块子集投影到投影矩阵得到第一投影系数集合；然后将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，将查找到的图像块合成得到初始合成图像；将对所述目标画像，测试照片以及初始合成图像进行分块得到第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内根据图像块的多尺度特征查找匹配的图像块，将所述查找到的图像块构成新合成图像，将新合成图像替代初始合成图像，重复迭代上述步骤合成最终合成图像。
上述方案中，所述在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，具体为：将CUFS数据库中所有照片与画像对中的图像由彩色图像变成灰度图像，再从照片与画像对集合中选择一对照片与画像中的画像作为目标画像，再将剩下的照片与画像对中的所有照片作为测试照片样本集，并从测试照片样本集中选取一张测试照片。
上述方案中，所述将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，具体为：
3a) 对目标画像建立层高斯金字塔，高斯金字塔中的每一层都对应着某个尺度下的画像对：
3a1) 构造尺度值为的高斯函数：
其中，表示在尺度值下的高斯函数，，分别表示图像中像素点对应的横、纵坐标值；
3a2) 将图像与3a1)所得的高斯函数进行卷积，得到高斯金字塔第一层的图像；
3a3) 设；
3a4) 将尺度值乘以一个比例系数作为新的尺度因子来卷积原图像，再将卷积后的图像做比例因子为的降采样，得到高斯金字塔第层的图像；
3a5) 设；
3a6) 重复步骤3a4)-3a5)次，即可得到层高斯金字塔；
3b) 将高斯金字塔中奇数层对应的画像设为字典训练样本集，将高斯金字塔中偶数层对应的画像设为合成训练样本集;
3c) 将字典训练样本集和合成训练样本集中所有的画像划分为相同大小及相同重叠程度的块，从而分别得到字典训练画像块集合即第一图像块子集和合成训练画像块集合即第二图像块子集。
上述方案中，所述将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，具体为：
4a) 对字典训练画像块集合即第一图像块子集利用有效稀疏编码方法得到训练画像块特征字典：
4a1) 初始化训练画像块特征字典为高斯矩阵，并将高斯矩阵每一个列向量归一化为单位向量；其中，表示训练画像块特征字典中字典元素的维数，表示训练画像块特征字典中字典元素的个数；
4a2) 给定字典训练画像块集合以及初始化训练画像块特征字典，按照下式得到字典训练画像块集合的初始稀疏表示集合：
其中，是正则化参数，设值为0.15，表示2范数，表示1范数，当给定时，可以通过特征符号搜索算法进行求解；
4a3) 给定字典训练画像块集合以及由步骤4a2)得到的初始稀疏表示集合，按照下式得到估计的训练画像块特征字典：
,
当给定时，通过拉格朗日对偶方法求解出；
4a4) 交替迭代步骤4a2)和步骤4a3)，直到以下目标函数收敛，得到最终的训练画像块特征字典：
,
。
上述方案中，所述将所述第二图像块子集投影到投影矩阵得到第一投影系数集合，具体为：将合成训练样本集中所有的画像划分为相同大小及相同重叠程度的块，从而得到合成训练画像块集合即第二图像块子集；
5a) 给定训练画像块和训练画像块特征字典；
5b) 构造以下最优化问题来求解训练画像块对应的稀疏表示：
，从而得到合成训练画像块集合对应的稀疏表示集合，其中，是正则化参数，设值为0.15，上述最优化问题可利用最小角回归方法进行求解；
5c) 对合成训练画像块集合即第二图像块子集中的每个训练画像块重复步骤5a)和5b)，得到合成训练画像块集合对应的稀疏表示集合即第一投影系数集合：
；
其中，表示第个画像块的稀疏表示，由于每个稀疏表示都包含稀疏系数值以及稀疏系数值在稀疏编码中被求解的顺序，因此稀疏表示集合包含有稀疏系数值集合以及对应的稀疏系数值在稀疏编码中被求解的顺序集合，其表示如下：
；
。
上述方案中，所述将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，具体为：
6a) 将测试照片划分为相同大小及相同重叠程度的测试照片块集合：，表示测试照片中的第个照片块；
6b) 将每个测试照片块用训练画像块特征字典进行稀疏编码，得到对应的稀疏表示即第二投影系数集合；
其中，表示第个测试照片块的稀疏表示，每个稀疏表示都包含稀疏系数值以及稀疏系数值在稀疏编码中被求解的顺序。
上述方案中，所述根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，具体为：对合成训练画像块集合通过贪婪搜索获取每个测试照片块对应的待选择画像块集合：
7a) 设，；
7b) 从顺序集合中选出与求解顺序中第个值相同的所有稀疏表示，并将这些选出的稀疏表示记为集合，并用值替代稀疏表示集合，再判断中稀疏表示的个数：如果，则转到步骤7e)，如果，则保留替代前的稀疏表示集合，并转到步骤7e)，如果，则转到步骤7c)；
7c) 从稀疏系数值集合中选出与稀疏系数值中第个值欧式距离最相近的稀疏表示，并将这些选出的稀疏表示记为集合，并用值替代稀疏表示集合，再判断中稀疏表示的个数：如果，则转到步骤7e)，如果，则保留替代前的稀疏表示集合，并转到步骤7e)，如果，则转到步骤7d)；
7d) 令，返回步骤7b)；
7e) 将稀疏表示集合中所有个稀疏表示对应的合成训练画像块集合中的个画像块作为稀疏表示对应的测试照片块的待选择画像块集合：如果，则利用复制操作将待选择画像块从个增加到个，如果，则利用测试照片块的高频信息与待选择画像块的高频信息的欧式距离将待选择画像块从个减少为个，使待选择画像块集合从变成。
上述方案中，所述将查找到的图像块合成得到初始合成图像，具体为：根据求解马尔可夫随机场模型从待选择画像块集合中得到每个测试照片块最终对应的训练画像块，并将这些训练画像块进行融合得到与测试照片对应的初始合成画像，。
上述方案中，所述将对所述目标画像，测试照片以及初始合成图像进行分块得到第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内根据图像块的多尺度特征查找匹配的图像块，将所述查找到的图像块构成新合成图像，具体为：提取初始合成画像、测试照片以及目标画像的像素值特征以及SURF特征，提取初始合成画像、测试照片以及目标画像的多尺度特征的投影系数，获取测试照片块对应的待选择画像块集合，根据所述待选择画像块集合获取新合成画像。
上述方案中，所述将新合成图像替代初始合成图像，重复迭代上述步骤合成最终合成图像，具体为：新合成画像代替初始合成画像，迭代执行提取初始合成画像、测试照片以及目标画像的像素值特征以及SURF特征，提取初始合成画像、测试照片以及目标画像的多尺度特征的投影系数，获取测试照片块对应的待选择画像块集合，根据所述待选择画像块集合获取新合成画像，直到迭代次数达到指定值时停止，则新合成画像，，为最终合成画像。
与现有技术相比，本发明的有益效果：
第一，本发明由于只需要单张目标画像作为训练集，从而省去费时费力的收集大量照片与画像对的过程，因此能方便的合成各种风格的画像；
第二，本发明由于采用全局搜索来寻找近邻，因此能很好的合成眼镜、发卡等非人脸部件；
第三，本发明由于用稀疏表示中的稀疏系数值及稀疏系数值被求解的顺序这两个量来寻找近邻块，因此能有效的匹配拥有不同背景的图像块，从而有效解决测试照片与训练集照片背景不同的问题。
附图说明
图1为本发明的实现流程图；
图2为三种不同类型的画像；
图3为本发明与现有的三类方法在CUHK student数据库、AR数据库和XM2VTS数据库上的合成画像的对比结果图；
图4为本发明用三种不同类型的画像作为训练集时在CUHK student数据库、AR数据库和XM2VTS数据库上的合成画像的对比结果图。
图5为本发明用三种不同类型的画像作为训练集时在网上下载的合照上的合成画像的对比结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明实施例提供一种基于单张目标画像的人脸画像合成方法，图1所示，该合成方法为：在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块子集投影到投影矩阵得到第一投影系数集合；然后将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，将查找到的图像块合成得到初始合成图像；将对所述目标画像，测试照片以及初始合成图像进行分块得到第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内根据图像块的多尺度特征查找匹配的图像块，将所述查找到的图像块构成新合成图像，将新合成图像替代初始合成图像，重复迭代上述步骤合成最终合成图像。
所述在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，具体为：将CUFS数据库中所有照片与画像对中的图像由彩色图像变成灰度图像，再从照片与画像对集合中选择一对照片与画像中的画像作为目标画像，再将剩下的照片与画像对中的所有照片作为测试照片样本集，并从测试照片样本集中选取一张测试照片。
所述在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，之后，该方法还包括：对目标画像的多尺度特征进行主成分分析来获取目标画像的多尺度特征的主成分。
所述将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，具体为：
3a) 对目标画像建立层高斯金字塔，高斯金字塔中的每一层都对应着某个尺度下的画像对：
3a1) 构造尺度值为的高斯函数：
其中，表示在尺度值下的高斯函数，，分别表示图像中像素点对应的横、纵坐标值；
3a2) 将图像与3a1)所得的高斯函数进行卷积，得到高斯金字塔第一层的图像；
3a3) 设；
3a4) 将尺度值乘以一个比例系数作为新的尺度因子来卷积原图像，再将卷积后的图像做比例因子为的降采样，得到高斯金字塔第层的图像；
3a5) 设；
3a6) 重复步骤3a4)-3a5)次，即可得到层高斯金字塔；
3b) 将高斯金字塔中奇数层对应的画像设为字典训练样本集，将高斯金字塔中偶数层对应的画像设为合成训练样本集；
3c) 将字典训练样本集和合成训练样本集中所有的画像划分为相同大小及相同重叠程度的块，从而分别得到字典训练画像块集合即第一图像块子集和合成训练画像块集合即第二图像块子集。
所述将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，具体为：
4a) 对字典训练画像块集合即第一图像块子集利用有效稀疏编码方法得到训练画像块特征字典：
4a1) 初始化训练画像块特征字典为高斯矩阵，并将高斯矩阵每一个列向量归一化为单位向量；其中，表示训练画像块特征字典中字典元素的维数，表示训练画像块特征字典中字典元素的个数；
4a2) 给定字典训练画像块集合以及初始化训练画像块特征字典，按照下式得到字典训练画像块集合的初始稀疏表示集合：
其中，是正则化参数，设值为0.15，表示2范数，表示1范数，当给定时，可以通过特征符号搜索算法进行求解；
4a3) 给定字典训练画像块集合以及由步骤4a2)得到的初始稀疏表示集合，按照下式得到估计的训练画像块特征字典：
,
当给定时，通过拉格朗日对偶方法求解出；
4a4) 交替迭代步骤4a2)和步骤4a3)，直到以下目标函数收敛，得到最终的训练画像块特征字典：
,
。
所述的有效稀疏编码方法，见文献“Lee H, Battle A, Raina R, et al.Efficient sparse coding algorithms[C]//Advances in neural informationprocessing systems. 2006: 801-808.”，文献中包含了特征符号搜索算法和拉格朗日对偶方法。
获取训练画像块特征字典的方法不局限于上述的有效稀疏编码方法，还可用K-SVD算法，见文献“Aharon M, Elad M, Bruckstein A. k-svd: An algorithm fordesigning overcomplete dictionaries for sparse representation[J]. SignalProcessing, IEEE Transactions on, 2006, 54(11): 4311-4322.”。
所述将所述第二图像块子集投影到投影矩阵得到第一投影系数集合，具体为：将合成训练样本集中所有的画像划分为相同大小及相同重叠程度的块，从而得到合成训练画像块集合即第二图像块子集；
5a) 给定训练画像块和训练画像块特征字典；
5b) 构造以下最优化问题来求解训练画像块对应的稀疏表示：
，从而得到合成训练画像块集合对应的稀疏表示集合，其中，是正则化参数，设值为0.15，上述最优化问题可利用最小角回归方法进行求解。
最小角回归方法见文献“Efron B, Hastie T, Johnstone I, et al. Leastangle regression[J]. The Annals of statistics, 2004, 32(2): 407-499.”；
5c) 对合成训练画像块集合即第二图像块子集中的每个训练画像块重复步骤5a)和5b)，得到合成训练画像块集合对应的稀疏表示集合即第一投影系数集合：
。
其中，表示第个画像块的稀疏表示，由于每个稀疏表示都包含稀疏系数值以及稀疏系数值在稀疏编码中被求解的顺序，因此稀疏表示集合包含有稀疏系数值集合以及对应的稀疏系数值在稀疏编码中被求解的顺序集合，其表示如下：
；
。
所述将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，具体为：
6a) 将测试照片划分为相同大小及相同重叠程度的测试照片块集合：，表示测试照片中的第个照片块；
6b) 将每个测试照片块用训练画像块特征字典进行稀疏编码，得到对应的稀疏表示即第二投影系数集合；
其中，表示第个测试照片块的稀疏表示，每个稀疏表示都包含稀疏系数值以及稀疏系数值在稀疏编码中被求解的顺序。
所述根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，具体为：对合成训练画像块集合通过贪婪搜索获取每个测试照片块对应的待选择画像块集合：
7a) 设，；
7b) 从顺序集合中选出与求解顺序中第个值相同的所有稀疏表示，并将这些选出的稀疏表示记为集合，并用值替代稀疏表示集合，再判断中稀疏表示的个数：如果，则转到步骤7e)，如果，则保留替代前的稀疏表示集合，并转到步骤7e)，如果，则转到步骤7c)；
7c) 从稀疏系数值集合中选出与稀疏系数值中第个值欧式距离最相近的稀疏表示，并将这些选出的稀疏表示记为集合，并用值替代稀疏表示集合，再判断中稀疏表示的个数：如果，则转到步骤7e)，如果，则保留替代前的稀疏表示集合，并转到步骤7e)，如果，则转到步骤7d)；
7d) 令，返回步骤7b)；
7e) 将稀疏表示集合中所有个稀疏表示对应的合成训练画像块集合中的个画像块作为稀疏表示对应的测试照片块的待选择画像块集合：如果，则利用复制操作将待选择画像块从个增加到个，如果，则利用测试照片块的高频信息与待选择画像块的高频信息的欧式距离将待选择画像块从个减少为个，使待选择画像块集合从变成。
所述将查找到的图像块合成得到初始合成图像，具体为：根据求解马尔可夫随机场模型从待选择画像块集合中得到每个测试照片块最终对应的训练画像块，并将这些训练画像块进行融合得到与测试照片对应的初始合成画像，；
所述将对所述目标画像，测试照片以及初始合成图像进行分块得到第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内根据图像块的多尺度特征查找匹配的图像块，将所述查找到的图像块构成新合成图像，具体为：提取初始合成画像、测试照片以及目标画像的像素值特征以及SURF特征，提取初始合成画像、测试照片以及目标画像的多尺度特征的投影系数，获取测试照片块对应的待选择画像块集合，根据所述待选择画像块集合获取新合成画像。
所述提取合成画像、测试照片以及目标画像的像素值特征以及SURF特征，具体为
9a) 将合成画像划分为相同大小及相同重叠程度的画像块集合：，表示合成画像中的第个画像块；
9b) 将测试照片划分为相同大小及相同重叠程度的测试照片块集合：，表示测试照片中的第个照片块；
9c) 将目标画像划分为相同大小及相同重叠程度的训练画像块集合：，表示目标画像中的第个画像块；
9d) 对画像块集合中的每个块提取像素值特征和SURF特征；
9e) 对测试照片块集合中的每个块提取像素值特征和SURF特征；
9f) 对训练画像块集合中的每个块提取像素值特征和SURF特征；
所述提取合成画像、测试照片以及目标画像的多尺度特征的投影系数，具体为：
10a) 对合成画像建立高斯金字塔和拉普拉斯金字塔，再对高斯金字塔的每层画像求解水平一阶导数和二阶导数以及竖直一阶导数和二阶导数。因此，合成画像拥有6个多尺度特征：合成画像的高斯金字塔，合成画像的拉普拉斯金字塔，合成画像的水平一阶导数金字塔，合成画像的水平二阶导数金字塔，合成画像的竖直一阶导数金字塔，合成画像的竖直二阶导数金字塔；
10b) 对目标画像建立高斯金字塔和拉普拉斯金字塔，再对高斯金字塔的每层画像求解水平一阶导数和二阶导数以及竖直一阶导数和二阶导数。因此，目标画像拥有6个多尺度特征：目标画像的高斯金字塔，目标画像的拉普拉斯金字塔，目标画像的水平一阶导数金字塔，目标画像的水平二阶导数金字塔，目标画像的竖直一阶导数金字塔，目标画像的竖直二阶导数金字塔；
10c) 对测试照片建立高斯金字塔和拉普拉斯金字塔，再对高斯金字塔的每层照片求解水平一阶导数和二阶导数以及竖直一阶导数和二阶导数。因此，测试照片拥有6个多尺度特征：测试照片的高斯金字塔，测试照片的拉普拉斯金字塔，测试照片的水平一阶导数金字塔，测试照片的水平二阶导数金字塔，测试照片的竖直一阶导数金字塔，测试照片的竖直二阶导数金字塔；
10d) 将步骤10a)-10c)中的各多尺度特征投影到步骤2中的主成分以获取各多尺度特征的投影系数；
所述获取测试照片块对应的待选择画像块集合，具体为：
11a) 将每个测试照片块从测试照片块集合中利用像素值特征搜索求得个最近邻；则画像块集合中个对应的画像块即为搜索得到的待选择画像块；
11b) 将每个测试照片块从训练画像块集合中利用多尺度特征的投影系数搜索求得个最近邻；
11c) 将每个测试照片块对应的画像块从训练画像块集合中利用多尺度特征的投影系数搜索求得个最近邻；
11d) 对于每个测试照片块，当测试照片块的高频分量大于某个指定值时，将测试照片块在步骤11a)-11c)中获得的个最近邻利用测试照片块的各特征和个最近邻的各特征的欧式距离进行最优化重新排序：
11d1) 利用提取的图像块多尺度特征的投影系数以及图像块像素值特征和SURF特征，先求解每个测试照片块与个最近邻对应特征的欧式距离：
，；
其中，表示测试照片块与第个近邻画像块在第个特征上的欧式距离，表示图像块所提取的特征个数；
11d2) 对步骤11d1)得到的，，通过求解以下最优化问题得到测试照片块与第个最近邻所有对应特征的欧式距离的权重。
其中，是对角矩阵，对角元素为；
11d3) 利用步骤11d1)得到的欧式距离与步骤11d2)得到的权重，按照得到每个测试照片块与个最近邻新的距离从而进行重新排序。
11e) 对于每个测试照片块，当测试照片块的高频分量小于等于某个指定值时，直接将测试照片块在测试照片块集合中利用像素值特征搜索求得个最近邻；
所述获取新合成画像，具体为：
从步骤11a)-11e) 得到的测试照片块对应的个最近邻中选择前个最近邻，通过求解马尔可夫随机场模型得到每个测试照片块最终对应的训练画像块，然后经过融合得到测试照片对应的新合成画像，；
所述将新合成图像替代初始合成图像，重复迭代上述步骤合成最终合成图像，具体为：新合成画像代替初始合成画像，迭代执行步骤9a）~11e），直到迭代次数达到指定值时停止，则新合成画像，，为最终合成画像。
实验数据：
本发明的效果可以通过以下仿真实验做进一步的说明。
1.仿真条件
本发明是在中央处理器为Intel(R) Core(TM) i3-2100 3.10GHz、内存4G、WINDOWS 7操作系统上，运用美国Mathworks公司开发的MATLAB R2013b进行仿真。
数据库采用CUFS数据库，该数据库包含CUHK student数据库、AR数据库和XM2VTS数据库。
AR数据库见文献“Martinez A M. The AR face database[J]. CVC TechnicalReport, 1998, 24.”。
XM2VTS数据库见文献“Messer K, Matas J, Kittler J, et al. XM2VTSDB: Theextended M2VTS database[C]//Second international conference on audio andvideo-based biometric person authentication. 1999, 964: 965-966.”。
2.仿真内容
取CUHK student数据库中1个男性画像作为目标画像。测试照片样本集则为CUFS数据库当中CUHK student数据库剩下的187张照片、AR数据库中123张照片和XM2VTS数据库中295张照片。
为了证明本发明能合成多种风格的画像，目标画像除了取CUFS数据库中的画像，还从网上下载了两张不同风格的画像作为目标画像，如图2所示。其中，图2(1)和图2(2)分别为网上下载的两张不同风格的画像，图2(3)为CUHK student数据库中1个男性画像。
利用本发明和现有基于局部线性的方法LLE、基于马尔可夫随机场模型的方法MRF以及基于马尔可夫权重场模型的方法MWF，在CUFS数据库上进行照片到画像的合成仿真实验，结果如图3所示。其中：
图3(a)为原始照片，
图3(b)为现有基于局部线性的方法LLE合成的画像，
图3(c)为现有基于马尔可夫随机场模型的方法MRF合成的画像，
图3(d)为现有基于马尔可夫权重场模型的方法MWF合成的画像，
图3(e)为本发明方法用图2(3)作为目标画像时合成的画像。
由图3实验结果可见，图3(b)~图3(d)中的第一张画像都没有发卡，第二张画像都没有刘海，其余的四张画像都没有眼镜，而且图3(b)~图3(d)中的第三张画像到第六张画像的背景都存在噪声。而图3(e)所示的本发明的第一张画像有发卡，第二张画像有刘海，其余的四张画像有眼镜，而且所有合成画像的背景都很干净。
在用图2中的三种不同风格的画像依次作为目标画像的情况下，本发明方法在CUFS数据库上进行照片到画像的合成仿真实验，结果如图4所示。其中：
图4(a)为原始照片，
图4(b)为本发明方法用图2(1)作为目标画像时合成的画像，
图4(c)为本发明方法用图2(2)作为目标画像时合成的画像，
图4(d)为本发明方法用图2(3)作为目标画像时合成的画像。
由图4实验结果可见，图4(b)的风格与图2(1)相似，图4(c)的风格与图2(2)相似，图4(d)的风格与图2(3)相似，此外图4(b)~图4(d)所示的本发明的第一张画像有发卡，第二张画像有刘海，其余的四张画像有眼镜，而且所有合成画像的背景都很干净。
在用图2中的三种不同风格的画像依次作为目标画像的情况下，本发明方法在网上下载的合照上进行照片到画像的合成仿真实验，结果如图5所示。其中：
图5(a)为原始照片，
图5(b)为本发明方法用图2(1)作为目标画像时合成的画像，
图5(c)为本发明方法用图2(2)作为目标画像时合成的画像，
图5(d)为本发明方法用图2(3)作为目标画像时合成的画像。
由图5实验结果可见，图5(b)的风格与图2(1)相似，图5(c)的风格与图2(2)相似，图5(d)的风格与图2(3)相似，此外图5(b)~图5(d)所示的本发明的合成画像均不受测试图像的大小以及人脸数量的影响。
综上所述：本发明由于在用多尺度金字塔作为特征时借助了迭代的思想，并在以稀疏表示中稀疏系数值和稀疏系数值在稀疏编码中被求解的顺序作为特征的情况下，利用贪婪搜索的方法，使得在以单张目标画像作为训练集的情况下，在测试照片与训练集照片背景不同时，能忽略背景的影响而合成测试照片对应的画像；在测试照片中存在训练集照片中都不存在的非人脸部件时，能对测试照片合成包括非人脸部件在内的对应画像；此外，还能忽略目标画像的风格和测试照片的大小以及测试照片中所包容的人脸数目等因素进行画像合成，验证了本发明的实用性。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (10)
1.一种基于单张目标画像的人脸画像合成方法，其特征在于，该合成方法为：在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块子集投影到投影矩阵得到第一投影系数集合；然后将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，将查找到的图像块合成得到初始合成图像；将对所述目标画像，测试照片以及初始合成图像进行分块得到第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内根据图像块的多尺度特征查找匹配的图像块，将所述查找到的图像块构成新合成图像，将新合成图像替代初始合成图像，重复迭代上述步骤合成最终合成图像。
2.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述在数据库样本集内随机选择一对照片与画像对中的画像作为目标画像，其他剩余照片与画像对中的照片作为测试照片样本集，具体为：将CUFS数据库中所有照片与画像对中的图像由彩色图像变成灰度图像，再从照片与画像对集合中选择一对照片与画像中的画像作为目标画像，再将剩下的照片与画像对中的所有照片作为测试照片样本集，并从测试照片样本集中选取一张测试照片。
3.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将对所述目标画像进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，具体为：
3a) 对目标画像建立层高斯金字塔，高斯金字塔中的每一层都对应着某个尺度下的画像对：
3a1) 构造尺度值为的高斯函数：
其中，表示在尺度值下的高斯函数，，分别表示图像中像素点对应的横、纵坐标值；
3a2) 将图像与3a1)所得的高斯函数进行卷积，得到高斯金字塔第一层的图像；
3a3) 设；
3a4) 将尺度值乘以一个比例系数作为新的尺度因子来卷积原图像，再将卷积后的图像做比例因子为的降采样，得到高斯金字塔第层的图像；
3a5) 设；
3a6) 重复步骤3a4)-3a5)次，即可得到层高斯金字塔；
3b) 将高斯金字塔中奇数层对应的画像设为字典训练样本集，将高斯金字塔中偶数层对应的画像设为合成训练样本集;
3c) 将字典训练样本集和合成训练样本集中所有的画像划分为相同大小及相同重叠程度的块，从而分别得到字典训练画像块集合即第一图像块子集和合成训练画像块集合即第二图像块子集。
4.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，具体为：
4a) 对字典训练画像块集合即第一图像块子集利用有效稀疏编码方法得到训练画像块特征字典：
4a1) 初始化训练画像块特征字典为高斯矩阵，并将高斯矩阵每一个列向量归一化为单位向量；其中，表示训练画像块特征字典中字典元素的维数，表示训练画像块特征字典中字典元素的个数；
4a2) 给定字典训练画像块集合以及初始化训练画像块特征字典，按照下式得到字典训练画像块集合的初始稀疏表示集合：
其中，是正则化参数，设值为0.15，表示2范数，表示1范数，当给定时，可以通过特征符号搜索算法进行求解；
4a3) 给定字典训练画像块集合以及由步骤4a2)得到的初始稀疏表示集合，按照下式得到估计的训练画像块特征字典：
,
当给定时，通过拉格朗日对偶方法求解出；
4a4) 交替迭代步骤4a2)和步骤4a3)，直到以下目标函数收敛，得到最终的训练画像块特征字典：
,
。
5.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将所述第二图像块子集投影到投影矩阵得到第一投影系数集合，具体为：将合成训练样本集中所有的画像划分为相同大小及相同重叠程度的块，从而得到合成训练画像块集合即第二图像块子集；
5a) 给定训练画像块和训练画像块特征字典；
5b) 构造以下最优化问题来求解训练画像块对应的稀疏表示：
，从而得到合成训练画像块集合对应的稀疏表示集合，其中，是正则化参数，设值为0.15，上述最优化问题可利用最小角回归方法进行求解；
5c) 对合成训练画像块集合即第二图像块子集中的每个训练画像块重复步骤5a)和5b)，得到合成训练画像块集合对应的稀疏表示集合即第一投影系数集合：
；
其中，表示第个画像块的稀疏表示，由于每个稀疏表示都包含稀疏系数值以及稀疏系数值在稀疏编码中被求解的顺序，因此稀疏表示集合包含有稀疏系数值集合以及对应的稀疏系数值在稀疏编码中被求解的顺序集合，其表示如下：
；
。
6.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，具体为：
6a) 将测试照片划分为相同大小及相同重叠程度的测试照片块集合：，表示测试照片中的第个照片块；
6b) 将每个测试照片块用训练画像块特征字典进行稀疏编码，得到对应的稀疏表示即第二投影系数集合；
其中，表示第个测试照片块的稀疏表示，每个稀疏表示都包含稀疏系数值以及稀疏系数值在稀疏编码中被求解的顺序。
7.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，具体为：对合成训练画像块集合通过贪婪搜索获取每个测试照片块对应的待选择画像块集合：
7a) 设，；
7b) 从顺序集合中选出与求解顺序中第个值相同的所有稀疏表示，并将这些选出的稀疏表示记为集合，并用值替代稀疏表示集合，再判断中稀疏表示的个数：如果，则转到步骤7e)，如果，则保留替代前的稀疏表示集合，并转到步骤7e)，如果，则转到步骤7c)；
7c) 从稀疏系数值集合中选出与稀疏系数值中第个值欧式距离最相近的稀疏表示，并将这些选出的稀疏表示记为集合，并用值替代稀疏表示集合，再判断中稀疏表示的个数：如果，则转到步骤7e)，如果，则保留替代前的稀疏表示集合，并转到步骤7e)，如果，则转到步骤7d)；
7d) 令，返回步骤7b)；
7e) 将稀疏表示集合中所有个稀疏表示对应的合成训练画像块集合中的个画像块作为稀疏表示对应的测试照片块的待选择画像块集合：如果，则利用复制操作将待选择画像块从个增加到个，如果，则利用测试照片块的高频信息与待选择画像块的高频信息的欧式距离将待选择画像块从个减少为个，使待选择画像块集合从变成。
8.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将查找到的图像块合成得到初始合成图像，具体为：根据求解马尔可夫随机场模型从待选择画像块集合中得到每个测试照片块最终对应的训练画像块，并将这些训练画像块进行融合得到与测试照片对应的初始合成画像，。
9.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将对所述目标画像，测试照片以及初始合成图像进行分块得到第三图像块子集，将所述测试照片分块后得到的图像块在第三图像块子集内根据图像块的多尺度特征查找匹配的图像块，将所述查找到的图像块构成新合成图像，具体为：提取初始合成画像、测试照片以及目标画像的像素值特征以及SURF特征，提取初始合成画像、测试照片以及目标画像的多尺度特征的投影系数，获取测试照片块对应的待选择画像块集合，根据所述待选择画像块集合获取新合成画像。
10.根据权利要求1所述的基于单张目标画像的人脸画像合成方法，其特征在于，所述将新合成图像替代初始合成图像，重复迭代上述步骤合成最终合成图像，具体为：新合成画像代替初始合成画像，迭代执行提取初始合成画像、测试照片以及目标画像的像素值特征以及SURF特征，提取初始合成画像、测试照片以及目标画像的多尺度特征的投影系数，获取测试照片块对应的待选择画像块集合，根据所述待选择画像块集合获取新合成画像，直到迭代次数达到指定值时停止，则新合成画像，，为最终合成画像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510109196.2A CN104700439B (zh) | 2015-03-12 | 2015-03-12 | 基于单张目标画像的人脸画像合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510109196.2A CN104700439B (zh) | 2015-03-12 | 2015-03-12 | 基于单张目标画像的人脸画像合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104700439A CN104700439A (zh) | 2015-06-10 |
| CN104700439B true CN104700439B (zh) | 2017-08-15 |
Family
ID=53347521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510109196.2A Active CN104700439B (zh) | 2015-03-12 | 2015-03-12 | 基于单张目标画像的人脸画像合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104700439B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023120B (zh) * | 2016-04-12 | 2019-06-21 | 西安电子科技大学 | 基于耦合近邻索引的人脸画像合成方法 |
| CN106412590B (zh) * | 2016-11-21 | 2019-05-14 | 西安电子科技大学 | 一种图像处理方法及装置 |
| CN109920021B (zh) * | 2019-03-07 | 2023-05-23 | 华东理工大学 | 一种基于正则化宽度学习网络的人脸素描合成方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103984954A (zh) * | 2014-04-23 | 2014-08-13 | 西安电子科技大学宁波信息技术研究院 | 基于多特征融合的图像合成方法 |
| CN104077742A (zh) * | 2014-07-22 | 2014-10-01 | 武汉大学 | 基于Gabor特征的人脸素描合成方法及系统 |
| CN104123741A (zh) * | 2014-06-24 | 2014-10-29 | 小米科技有限责任公司 | 生成人脸素描的方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6845171B2 (en) * | 2001-11-19 | 2005-01-18 | Microsoft Corporation | Automatic sketch generation |
| JP5291735B2 (ja) * | 2011-02-24 | 2013-09-18 | ソネットエンタテインメント株式会社 | 似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラム |
-
2015
- 2015-03-12 CN CN201510109196.2A patent/CN104700439B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103984954A (zh) * | 2014-04-23 | 2014-08-13 | 西安电子科技大学宁波信息技术研究院 | 基于多特征融合的图像合成方法 |
| CN104123741A (zh) * | 2014-06-24 | 2014-10-29 | 小米科技有限责任公司 | 生成人脸素描的方法和装置 |
| CN104077742A (zh) * | 2014-07-22 | 2014-10-01 | 武汉大学 | 基于Gabor特征的人脸素描合成方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104700439A (zh) | 2015-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vo et al. | Composing text and image for image retrieval-an empirical odyssey | |
| Li et al. | Pose guided deep model for pedestrian attribute recognition in surveillance scenarios | |
| Li et al. | Linestofacephoto: Face photo generation from lines with conditional self-attention generative adversarial networks | |
| Pickup et al. | Shape retrieval of non-rigid 3d human models | |
| Liu et al. | Learning spatio-temporal representations for action recognition: A genetic programming approach | |
| Zhang et al. | End-to-end photo-sketch generation via fully convolutional representation learning | |
| Wang et al. | Deepfont: Identify your font from an image | |
| Lin et al. | Exploring explicit domain supervision for latent space disentanglement in unpaired image-to-image translation | |
| CN106326288B (zh) | 图像搜索方法及装置 | |
| Cai et al. | Multi-view super vector for action recognition | |
| CN106372581B (zh) | 构建及训练人脸识别特征提取网络的方法 | |
| Cheraghian et al. | Zero-shot learning of 3d point cloud objects | |
| Taylor et al. | Learning invariance through imitation | |
| CN104517274B (zh) | 基于贪婪搜索的人脸画像合成方法 | |
| Sharma et al. | Expanded parts model for semantic description of humans in still images | |
| Li et al. | JointsGait: A model-based gait recognition method based on gait graph convolutional networks and joints relationship pyramid mapping | |
| Robles-Kelly et al. | String edit distance, random walks and graph matching | |
| Han et al. | Generative graph prototypes from information theory | |
| Li et al. | Patch alignment manifold matting | |
| CN104794223B (zh) | 一种基于图像检索的字幕匹配方法和系统 | |
| Kumar Verma et al. | Generative model for zero-shot sketch-based image retrieval | |
| Ren et al. | A deep and structured metric learning method for robust person re-identification | |
| CN104700439B (zh) | 基于单张目标画像的人脸画像合成方法 | |
| CN113449776A (zh) | 基于深度学习的中草药识别方法、装置及存储介质 | |
| Xie et al. | Learning cycle-consistent cooperative networks via alternating MCMC teaching for unsupervised cross-domain translation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |