CN109086721A - 用于人脸画像合成的主动表观模型 - Google Patents
用于人脸画像合成的主动表观模型 Download PDFInfo
- Publication number
- CN109086721A CN109086721A CN201810878976.7A CN201810878976A CN109086721A CN 109086721 A CN109086721 A CN 109086721A CN 201810878976 A CN201810878976 A CN 201810878976A CN 109086721 A CN109086721 A CN 109086721A
- Authority
- CN
- China
- Prior art keywords
- photo
- shape
- texture
- portrait
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000015572 biosynthetic process Effects 0.000 title abstract description 27
- 238000003786 synthesis reaction Methods 0.000 title abstract description 27
- 238000000513 principal component analysis Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 81
- 238000012549 training Methods 0.000 claims description 69
- 239000013598 vector Substances 0.000 claims description 51
- 238000012360 testing method Methods 0.000 claims description 27
- 230000001815 facial effect Effects 0.000 claims description 9
- 238000012847 principal component analysis method Methods 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000009021 linear effect Effects 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 35
- 238000012545 processing Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 2
- 238000007796 conventional method Methods 0.000 abstract 1
- 238000010189 synthetic method Methods 0.000 abstract 1
- 238000001308 synthesis method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000011840 criminal investigation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
用于人脸画像合成的主动表观模型，属于图像处理技术领域。针以现有方法的缺陷，利用包含“合成解释”思想的方法即主动表观模型来辅助人脸画像合成研究，提供可提高已有画像合成方法性能的用于人脸画像合成的主动表观模型。引入“合成解释”的思想进行人脸画像合成，因此能在一定程度上考虑重建问题的基本原理；所用的重建模型是基于主成分分析的方法，因此能快速的进行人脸画像的合成。考虑了人脸形状与人脸纹理两个部分，因此不仅能提高合成画像的纹理，而且还能考虑到合成画像的形状。
Description
技术领域
本发明属于图像处理技术领域，尤其是涉及可用于刑侦破案以及数字娱乐的一种用于人脸画像合成的主动表观模型。
背景技术
人脸画像合成有重大的实际应用，比如支持动漫制作和辅助警方破案。当案件发生后，警方一般会根据现场目击证人的描述绘制出嫌疑犯的画像，之后在警方的照片数据库中进行检索和识别。由于照片和画像属于两种不同的模态，存在较大的差异，因此在识别之前先将警方人脸数据库中的照片转化成画像，再将待识别的画像在合成画像数据库中进行识别。目前社交媒体变得越来越流行，很多用户将自己的照片转化成画像然后上传到网上作为自己的头像以增加娱乐效果。
已有的人脸画像合成方法主要分两大类：数据驱动的方法和模型驱动的方法。其中，数据驱动的方法主要包含两个步骤：近邻图像(图像块)选择和图像(图像块)权重重建。模型驱动的方法直接学习照片(照片块)与画像(画像块)之间的映射关系。下面列举一些经典的人脸画像合成算法。
Liu等人(Liu Q,Tang X,Jin H,et al.A nonlinear approach for face sketchsynthesis and recognition[C]//Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on.IEEE,2005,1:1005-1010.)采用局部线性嵌入模型来模拟照片转化成合成画像的非线性过程。其实施方式是：首先将训练集中的照片-画像对及待变换照片划分成大小相同及重叠区域相同的图像块，对于待变换照片的每一个照片块在训练集中寻找它的K个近邻照片块，然后将K个照片块对应的K个画像块进行加权组合得到待合成画像块，最后将所有的待合成画像块融合得到合成画像。但是该方法存在以下缺点：固定的近邻个数导致合成画像不清醒。
Wang等人(Wang X,Tang X.Face photo-sketch synthesis and recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(11):1955-1967)提出了一种基于马尔可夫随机场模型的人脸画像合成方法。该方法的操作如下：首先将训练集中的画像-照片对以及待合成照片用相同的方式分块；然后对于每一个待合成照片块在训练集中寻找它的K个候选照片块，根据待合成照片块与K个候选照片块之间的关系以及合成画像中相邻位置的画像块之间的关系，建立马尔可夫随机场模型对每个待合成照片块寻找一个最佳的训练画像块作为待合成画像块；最后将所有的待合成画像块融合得到最终的合成画像。该方法存在的缺陷是：由于每个待合成照片块最终只选择一个训练画像块进行画像合成，导致合成画像存在块效应和细节缺失的问题。
中国专利CN 104517274A公开一种基于稀疏表示的人脸画像合成方法。该方法实施方式是：首先将训练集中的画像-照片对以及待合成照片用相同的方式分块；然后将待合成照片块以及训练集中的照片块用稀疏编码得到对应的稀疏表示，再通过贪婪搜索算法，用待合成照片块对应的稀疏表示在训练照片块对应的稀疏表示集合中寻找近邻块，建立马尔可夫随机场模型得到待合成画像块；最后对所有的待合成画像块进行融合即可得到合成画像。该方法的缺陷是：没有考虑人脸的结构信息使得合成画像在人脸的关键部件中缺失纹理信息。
Wang等人(Wang N,Zhu M,Li J,et al.Data-driven vs.model-driven:Fastface sketch synthesis[J].Neurocomputing,2017,257:214-221)提出了一种快速的人脸画像合成方法。其实施方式是：首先将训练集中的画像-照片对以及待合成照片用相同的方式分块；然后将训练集照片块进行聚类，接着对每类学习一个回归模型；在测试阶段，给定待合成照片块，找到相应的类别后进行回归得到待合成的画像块；最后对所有待合成画像块进行融合即可得到合成画像。
上述画像合成方法并没有考虑图像重建问题的潜在原理。认为一旦解决了图像重建问题，图像转换问题也就迎刃而解。虽然有些人脸画像合成方法使用“合成解释”的思想，但是它们并没有将图像重建问题作为重要的问题直接处理。
发明内容
本发明的目的在于针以上述现有方法的缺陷，利用包含“合成解释”思想的方法即主动表观模型来辅助人脸画像合成研究，提供可提高已有画像合成方法性能的用于人脸画像合成的主动表观模型。
本发明包括以下步骤：
(1)给定标好关键点的照片-画像对集合，将集合中的照片由彩色图像变成灰度图像，再将照片-画像对集合划分为训练照片样本集、训练画像样本集和测试照片样本集，并从测试照片样本集中选取一张测试照片I；
(2)对训练照片样本集与训练画像样本集提取对应的训练照片形状集与训练画像形状集其中，M代表训练照片样本集中照片的个数以及训练画像样本集中画像的个数，代表第i张照片的人脸形状，代表第i张画像的人脸形状；对训练照片形状集Sp和训练画像形状集Ss进行主成分分析(主成分分析方法见文献“Tang X,Wang X.Face photo recognition using sketch[C]//ImageProcessing.2002.Proceedings.2002International Conference on.IEEE,2002,1:I-I”)：
其中，是照片形状特征向量，是照片形状集特征向量矩阵，是照片形状集对角特征值矩阵，是画像形状特征向量，Vs s是画像形状集特征向量矩阵，是画像形状集对角特征值矩阵；是照片形状参数，是画像形状参数；
(3)对训练照片样本集与训练画像样本集提取对应的训练照片纹理集与训练画像纹理集其中，M代表训练照片样本集中照片的个数以及训练画像样本集中画像的个数，代表第i张照片的人脸纹理，代表第i张画像的人脸纹理；对训练照片纹理集Gp和训练画像纹理集Gs进行主成分分析：
其中，是照片纹理特征向量，是照片纹理集特征向量矩阵，是照片纹理集对角特征值矩阵，是画像纹理特征向量，是画像纹理集特征向量矩阵，是画像纹理集对角特征值矩阵；是照片纹理参数，是画像纹理参数；
(4)将步骤(2)和步骤(3)得到的人脸照片形状参数和人脸照片纹理参数融合成一个新的照片级联参数将步骤(2)和步骤(3)得到的人脸画像形状参数和人脸画像纹理参数融合成一个新的画像级联参数
其中，Wi p是人脸照片形状参数对应的权重矩阵，Wi s是人脸画像形状参数对应的权重矩阵，用于消除形状参数与纹理参数之间单位不一致的问题；对照片级联参数集和画像级联参数集分别进行主成分分析：
其中，Qp是照片级联参数特征向量，Vp是照片级联参数集特征向量矩阵，Λp是照片级联参数集对角特征值矩阵，Qs是画像级联参数特征向量，Vs是画像级联参数集特征向量矩阵，Λs是画像级联参数集对角特征值矩阵，是照片表观参数，是画像表观参数；
(5)给定一张标好关键点的测试照片I，将其由彩色图像变成灰度图像，然后对测试照片I提取对应的人脸照片形状与人脸照片纹理利用公式(1)和(3)分别计算测试照片I对应的人脸照片形状参数和人脸照片纹理参数将得到的人脸照片形状参数和人脸照片纹理参数融合成一个新的照片级联参数利用公式(7)，由照片级联参数可得到照片表观参数
将公式(9)中的Qp用公式(7)替代可得：
将公式(10)中的Bp用Bs替代可得照片级联参数对应的画像级联参数
(6)利用模型的线性性质，将人脸照片的形状和纹理表示成画像级联参数的函数，将主成分分析重建策略与公式(2)和(4)结合可得公式(12)和(13)如下：
其中，测试照片I可利用公式(11)给定的画像级联参数合成人脸形状与人脸纹理再将人脸纹理变形到人脸形状对应的位置，从而得到测试照片I的合成画像。
在步骤(2)中，所述主成分分析方法的步骤如下：
第一步，将训练照片样本集中的M张照片提取其对应的人脸照片形状，并计算所得形状集合的平均人脸照片形状将训练画像样本集中的M张画像提取其对应的人脸画像形状，并计算所得形状集合的平均人脸画像形状
第二步，分别对协方差矩阵SpSpT和SsSsT进行特征值分解：
其中，Vs p是照片形状集特征向量矩阵，是照片形状集对角特征值矩阵，Vs s是画像形状集特征向量矩阵，是画像形状集对角特征值矩阵；
第三步，从第二步可得协方差矩阵SpSpT和SsSsT相应的标准正交的特征向量矩阵和
其中，是照片形状特征向量，是画像形状特征向量。
在步骤(3)中，所述主成分分析方法的步骤如下：
第一步，将训练照片样本集中的M张照片提取其对应的人脸纹理，并计算所得纹理集合的平均人脸照片纹理将训练画像样本集中的M张画像提取其对应的人脸画像纹理，并计算所得纹理集合的平均人脸画像纹理
第二步，分别对协方差矩阵GpGpT和GsGsT进行特征值分解：
其中，是照片纹理集特征向量矩阵，是照片纹理集对角特征值矩阵，是画像纹理集特征向量矩阵，是画像纹理集对角特征值矩阵；
第三步，从第二步可得协方差矩阵GpGpT和GsGsT相应的标准正交的特征向量矩阵和
其中，是照片纹理特征向量，是画像纹理特征向量。
在步骤(4)中，所述主成分分析方法的步骤如下：
第一步，将步骤(2)和步骤(3)得到的人脸照片形状参数和人脸照片纹理参数融合成一个新的照片级联参数，并计算所得照片级联参数集的平均人脸照片级联参数将步骤(2)和步骤(3)得到的人脸画像形状参数和人脸画像纹理参数融合成一个新的画像级联参数，并计算所得画像级联参数集的平均人脸画像级联参数
第二步，分别对协方差矩阵BpBpT和BsBsT进行特征值分解：
(BpBpT)BpVp＝BpVpΛp
(BsBsT)BsVs＝BsVsΛs
其中，Vp是照片级联参数集特征向量矩阵，Λp是照片级联参数集对角特征值矩阵，Vs是画像级联参数集特征向量矩阵，Λs是画像级联参数集对角特征值矩阵；
第三步，从第二步可得协方差矩阵BpBpT和BsBsT相应的标准正交的特征向量矩阵Qp和Qs：
其中，Qp是照片级联参数特征向量，Qs是画像级联参数特征向量。
本发明与现有方法相比具有如下优点：
1)本发明明确的引入“合成解释”的思想进行人脸画像合成，因此能在一定程度上考虑重建问题的基本原理；
2)本发明所用的重建模型是基于主成分分析的方法，因此能快速的进行人脸画像的合成。
3)本发明考虑了人脸形状与人脸纹理两个部分，因此不仅能提高合成画像的纹理，而且还能考虑到合成画像的形状。
附图说明
图1为本发明基于主动表观模型的人脸画像合成方法的流程图；
图2为本发明与现有的四种方法在CUHK student数据库上的合成画像的对比结果图。
具体实施方式
本发明的核心思想是通过“合成解释”的思想提出一种基于主动表观模型的人脸画像合成方法，以提高已有合成方法的性能。
以下实施例将结合附图对本发明作进一步的说明。
参照图1，本发明实施例的步骤如下：
步骤1，给定标好关键点的照片-画像对集合，将集合中的照片由彩色图像变成灰度图像，然后再将照片-画像对集合划分为训练照片样本集、训练画像样本集和测试照片样本集，并从测试照片样本集中选取一张测试照片I；
步骤2，对训练照片样本集中的第i张照片Xi提取对应的人脸照片形状对训练画像样本集中的第i张画像Yi提取对应的人脸画像形状其中，L代表图像中关键点的个数，代表第i张照片Xi第l个关键点的横纵坐标位置，代表第i张画像Yi第l个关键点的横纵坐标位置。将训练照片样本集中的M张照片提取其对应的人脸照片形状，并计算所得形状集合的平均人脸照片形状将训练画像样本集中的M张画像提取其对应的人脸画像形状，并计算所得形状集合的平均人脸画像形状对每个人脸照片形状和人脸画像形状利用特征转换的方法进行重建，特征转换方法见文献“Tang X,Wang X.Face photorecognition using sketch[C]//Image Processing.2002.Proceedings.2002International Conference on.IEEE,2002,1:I-I.”；
其中，是人脸照片形状参数，是人脸画像形状参数，是照片形状特征向量，是画像形状特征向量。
步骤3，将训练照片样本集中的第i张照片Xi变形，使其人脸照片形状与步骤2中所得的平均人脸照片形状一致，从而得到与形状无关的人脸照片纹理将训练画像样本集中的第i张画像Yi变形，使其人脸画像形状与步骤2中所得的平均人脸画像形状一致，从而得到与形状无关的人脸画像纹理将训练照片样本集中的M张照片提取其对应的人脸照片纹理，并计算所得纹理集合的平均人脸照片纹理将训练画像样本集中的M张画像提取其对应的人脸画像纹理，并计算所得纹理集合的平均人脸画像纹理对每个人脸照片纹理和人脸画像纹理利用特征转换的方法进行重建：
其中，是人脸照片纹理参数，是人脸画像纹理参数，是照片纹理特征向量，是画像纹理特征向量。
步骤4，将步骤2和步骤3得到的人脸照片形状参数和人脸照片纹理参数融合成一个新的照片级联参数将步骤2和步骤3得到的人脸画像形状参数和人脸画像纹理参数融合成一个新的画像级联参数
其中，Wi p是人脸照片形状参数对应的权重矩阵，Wi s是人脸画像形状参数对应的权重矩阵，用于消除形状参数与纹理参数之间单位不一致的问题。对每个照片级联参数和画像级联参数分别利用特征转换的方法进行重建：
其中，Qp是照片级联参数特征向量，Qs是画像级联参数特征向量，是照片表观参数，是画像表观参数。
步骤5，将训练照片样本集中的M张照片提取其对应的照片级联参数，并构建矩阵将训练画像样本集中的M张画像提取其对应的画像级联参数，并构建矩阵分别对协方差矩阵BpBpT和BsBsT进行特征值分解：
(BpBpT)BpVp＝BpVpΛp (22)
(BsBsT)BsVs＝BsVsΛs (23)
其中，Vp是照片级联参数集特征向量矩阵，Vs是画像级联参数集特征向量矩阵，Λp是照片级联参数集对角特征值矩阵，Λs是画像级联参数集对角特征值矩阵。
步骤6，从步骤5可得协方差矩阵BpBpT和BsBsT相应的标准正交的特征向量矩阵Qp和Qs：
步骤7，给定一张标好关键点的测试照片I，将其由彩色图像变成灰度图像，然后对测试照片I提取对应的人脸照片形状并将测试照片I变形，使其人脸照片形状与步骤2中所得的平均人脸照片形状一致，从而得到与形状无关的人脸照片纹理利用公式(14)和(16)分别计算测试照片I对应的人脸照片形状参数和人脸照片纹理参数将得到的人脸照片形状参数和人脸照片纹理参数融合成一个新的照片级联参数将照片级联参数带入公式(20)可得到：
将公式(26)中的Qp用公式(24)替代可得：
将公式(27)中的Bp用Bs替代可得照片级联参数对应的画像级联参数
步骤8，利用模型的线性性质，将人脸照片的形状和纹理表示成画像级联参数的函数，再利用公式(15)和(17)可得公式(29)和(30)如下：
其中，测试照片I可利用公式(28)给定的画像级联参数合成人脸形状与人脸纹理再将人脸纹理变形到人脸形状对应的位置，从而得到测试照片I的合成画像。
图2为本发明与现有的四种方法在CUHK student数据库上的合成画像的对比结果图。
本发明的效果可以通过以下仿真实验做进一步的说明。
1.仿真条件
本发明是在中央处理器为Intel(R)Core(TM)i5-6400 2.70GHz、内存8G、WINDOWS10操作系统上，运用美国Mathworks公司开发的MATLAB R2015a进行仿真。数据库采用CUHKstudent数据库。
2.仿真内容
取CUHK student数据库中88张照片作为训练照片样本集，88张画像作为训练画像样本集，100张照片作为对应的测试照片样本集。
根据本发明方法实施例所述，利用基于主动表观模型的人脸画像合成方法在CUHKstudent数据库上进行照片到画像的合成，用基于局部线性的方法LLE，基于马尔可夫随机场模型的方法MRF，基于马尔可夫权重场模型的方法MWF以及基于空间画像去噪的方法SSD在CUHK student数据库上进行照片到画像的合成，实验结果对比图如图2，其中第一列为原始照片，第二列为原始画像，第三列为基于局部线性的方法LLE合成的画像，第四列为基于马尔可夫随机场模型的方法MRF合成的画像，第五列为基于马尔可夫权重场模型的方法MWF合成的画像，第六列为基于空间画像去噪的方法SSD合成的画像，最后一列为本发明方法合成的画像。
由实验结果可见，由于借助了“合成解释”的思想，利用了主动表观模型，即结合了人脸形状、人脸纹理与主成分分析算法，使得合成算法不仅能快速的进行人脸画像的合成，而且还能在纹理与结构两方面上提高合成画像的质量，验证了本发明的性能。
本发明与现有方法的区别在于明确的考虑图像重建问题的潜在原理并将其应用到人脸画像合成过程。结合了人脸形状、人脸纹理与主成分分析算法，使得合成算法不仅能快速地进行人脸画像的合成，而且还能在纹理与结构两方面上提高合成画像的质量，可用于刑侦破案和数字娱乐。
Claims (4)
1.用于人脸画像合成的主动表观模型，其特征在于包括以下步骤：
(1)给定标好关键点的照片-画像对集合，将集合中的照片由彩色图像变成灰度图像，再将照片-画像对集合划分为训练照片样本集、训练画像样本集和测试照片样本集，并从测试照片样本集中选取一张测试照片I；
(2)对训练照片样本集与训练画像样本集提取对应的训练照片形状集与训练画像形状集其中，M代表训练照片样本集中照片的个数以及训练画像样本集中画像的个数，代表第i张照片的人脸形状，代表第i张画像的人脸形状；对训练照片形状集Sp和训练画像形状集Ss进行主成分分析：
其中，是照片形状特征向量，是照片形状集特征向量矩阵，是照片形状集对角特征值矩阵，是画像形状特征向量，是画像形状集特征向量矩阵，是画像形状集对角特征值矩阵；是照片形状参数，是画像形状参数；
(3)对训练照片样本集与训练画像样本集提取对应的训练照片纹理集与训练画像纹理集其中，M代表训练照片样本集中照片的个数以及训练画像样本集中画像的个数，代表第i张照片的人脸纹理，代表第i张画像的人脸纹理；对训练照片纹理集Gp和训练画像纹理集Gs进行主成分分析：
其中，是照片纹理特征向量，是照片纹理集特征向量矩阵，是照片纹理集对角特征值矩阵，是画像纹理特征向量，是画像纹理集特征向量矩阵，是画像纹理集对角特征值矩阵；是照片纹理参数，是画像纹理参数；
(4)将步骤(2)和步骤(3)得到的人脸照片形状参数和人脸照片纹理参数融合成一个新的照片级联参数将步骤(2)和步骤(3)得到的人脸画像形状参数和人脸画像纹理参数融合成一个新的画像级联参数
其中，Wi p是人脸照片形状参数对应的权重矩阵，Wi s是人脸画像形状参数对应的权重矩阵，用于消除形状参数与纹理参数之间单位不一致的问题；对照片级联参数集和画像级联参数集分别进行主成分分析：
其中，Qp是照片级联参数特征向量，Vp是照片级联参数集特征向量矩阵，Λp是照片级联参数集对角特征值矩阵，Qs是画像级联参数特征向量，Vs是画像级联参数集特征向量矩阵，Λs是画像级联参数集对角特征值矩阵，是照片表观参数，是画像表观参数；
(5)给定一张标好关键点的测试照片I，将其由彩色图像变成灰度图像，然后对测试照片I提取对应的人脸照片形状与人脸照片纹理利用公式(1)和(3)分别计算测试照片I对应的人脸照片形状参数和人脸照片纹理参数将得到的人脸照片形状参数和人脸照片纹理参数融合成一个新的照片级联参数利用公式(7)，由照片级联参数得到照片表观参数
将公式(9)中的Qp用公式(7)替代得：
将公式(10)中的Bp用Bs替代得照片级联参数对应的画像级联参数
(6)利用模型的线性性质，将人脸照片的形状和纹理表示成画像级联参数的函数，将主成分分析重建策略与公式(2)和(4)结合得公式(12)和(13)如下：
其中，测试照片I利用公式(11)给定的画像级联参数合成人脸形状与人脸纹理再将人脸纹理变形到人脸形状对应的位置，从而得到测试照片I的合成画像。
2.如权利要求1所述用于人脸画像合成的主动表观模型，其特征在于在步骤(2)中，所述主成分分析方法的步骤如下：
第一步，将训练照片样本集中的M张照片提取其对应的人脸照片形状，并计算所得形状集合的平均人脸照片形状将训练画像样本集中的M张画像提取其对应的人脸画像形状，并计算所得形状集合的平均人脸画像形状
第二步，分别对协方差矩阵SpSpT和SsSsT进行特征值分解：
其中，Vs p是照片形状集特征向量矩阵，是照片形状集对角特征值矩阵，Vs s是画像形状集特征向量矩阵，是画像形状集对角特征值矩阵；
第三步，从第二步得协方差矩阵SpSpT和SsSsT相应的标准正交的特征向量矩阵和
其中，是照片形状特征向量，是画像形状特征向量。
3.如权利要求1所述用于人脸画像合成的主动表观模型，其特征在于在步骤(3)中，所述主成分分析方法的步骤如下：
第一步，将训练照片样本集中的M张照片提取其对应的人脸纹理，并计算所得纹理集合的平均人脸照片纹理将训练画像样本集中的M张画像提取其对应的人脸画像纹理，并计算所得纹理集合的平均人脸画像纹理
第二步，分别对协方差矩阵GpGpT和GsGsT进行特征值分解：
其中，是照片纹理集特征向量矩阵，是照片纹理集对角特征值矩阵，是画像纹理集特征向量矩阵，是画像纹理集对角特征值矩阵；
第三步，从第二步得协方差矩阵GpGpT和GsGsT相应的标准正交的特征向量矩阵和
其中，是照片纹理特征向量，是画像纹理特征向量。
4.如权利要求1所述用于人脸画像合成的主动表观模型，其特征在于在步骤(4)中，所述主成分分析方法的步骤如下：
第一步，将步骤(2)和步骤(3)得到的人脸照片形状参数和人脸照片纹理参数融合成一个新的照片级联参数，并计算所得照片级联参数集的平均人脸照片级联参数将步骤(2)和步骤(3)得到的人脸画像形状参数和人脸画像纹理参数融合成一个新的画像级联参数，并计算所得画像级联参数集的平均人脸画像级联参数
第二步，分别对协方差矩阵BpBpT和BsBsT进行特征值分解：
(BpBpT)BpVp＝BpVpΛp
(BsBsT)BsVs＝BsVsΛs
其中，Vp是照片级联参数集特征向量矩阵，Λp是照片级联参数集对角特征值矩阵，Vs是画像级联参数集特征向量矩阵，Λs是画像级联参数集对角特征值矩阵；
第三步，从第二步得协方差矩阵BpBpT和BsBsT相应的标准正交的特征向量矩阵Qp和Qs：
其中，Qp是照片级联参数特征向量，Qs是画像级联参数特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810878976.7A CN109086721A (zh) | 2018-08-03 | 2018-08-03 | 用于人脸画像合成的主动表观模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810878976.7A CN109086721A (zh) | 2018-08-03 | 2018-08-03 | 用于人脸画像合成的主动表观模型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109086721A true CN109086721A (zh) | 2018-12-25 |
Family
ID=64833706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810878976.7A Pending CN109086721A (zh) | 2018-08-03 | 2018-08-03 | 用于人脸画像合成的主动表观模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109086721A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919052A (zh) * | 2019-02-22 | 2019-06-21 | 武汉捷丰天泽信息科技有限公司 | 刑侦模拟画像模型生成方法、刑侦模拟画像方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770649A (zh) * | 2008-12-30 | 2010-07-07 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
| CN104036299A (zh) * | 2014-06-10 | 2014-09-10 | 电子科技大学 | 一种基于局部纹理aam的人眼轮廓跟踪方法 |
| US20160104309A1 (en) * | 2014-10-08 | 2016-04-14 | Korea Institute Of Science And Technology | Apparatus and method for generating facial composite image, recording medium for performing the method |
-
2018
- 2018-08-03 CN CN201810878976.7A patent/CN109086721A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770649A (zh) * | 2008-12-30 | 2010-07-07 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
| CN104036299A (zh) * | 2014-06-10 | 2014-09-10 | 电子科技大学 | 一种基于局部纹理aam的人眼轮廓跟踪方法 |
| US20160104309A1 (en) * | 2014-10-08 | 2016-04-14 | Korea Institute Of Science And Technology | Apparatus and method for generating facial composite image, recording medium for performing the method |
Non-Patent Citations (1)
| Title |
|---|
| SHENGCHUAN ZHANG: "《AAM Based Face Sketch Synthesis》", 《NEURAL PROCESS LETT》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919052A (zh) * | 2019-02-22 | 2019-06-21 | 武汉捷丰天泽信息科技有限公司 | 刑侦模拟画像模型生成方法、刑侦模拟画像方法及装置 |
| CN109919052B (zh) * | 2019-02-22 | 2021-05-14 | 武汉捷丰天泽信息科技有限公司 | 刑侦模拟画像模型生成方法、刑侦模拟画像方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nhan Duong et al. | Temporal non-volume preserving approach to facial age-progression and age-invariant face recognition | |
| CN104517274B (zh) | 基于贪婪搜索的人脸画像合成方法 | |
| Singh et al. | Neural style transfer: A critical review | |
| CN109359527B (zh) | 基于神经网络的头发区域提取方法及系统 | |
| CN111489405B (zh) | 基于条件增强生成对抗网络的人脸草图合成系统 | |
| CN110097499B (zh) | 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 | |
| Cao et al. | Painterly image harmonization in dual domains | |
| CN116152926A (zh) | 基于视觉和骨架信息融合的手语识别方法、装置及系统 | |
| Wei et al. | A three-stage GAN model based on edge and color prediction for image outpainting | |
| Fu et al. | Detecting GAN-generated face images via hybrid texture and sensor noise based features | |
| Qiao et al. | Csc-net: Cross-color spatial co-occurrence matrix network for detecting synthesized fake images | |
| Zhu et al. | Dual conditional normalization pyramid network for face photo-sketch synthesis | |
| Bian et al. | Conditional adversarial consistent identity autoencoder for cross-age face synthesis | |
| CN109086721A (zh) | 用于人脸画像合成的主动表观模型 | |
| CN105844605A (zh) | 基于自适应表示的人脸画像合成方法 | |
| CN112132923A (zh) | 一种基于风格小图高清化的两阶段数字图像风格变换方法及系统 | |
| CN104700439B (zh) | 基于单张目标画像的人脸画像合成方法 | |
| Liu et al. | Pose-guided high-resolution appearance transfer via progressive training | |
| Zhang et al. | Base-detail image inpainting. | |
| Cao et al. | Sketch face recognition via cascaded transformation generation network | |
| CN112529081A (zh) | 基于高效注意力校准的实时语义分割方法 | |
| Pu et al. | Application of Image Style Transfer Based on Normalized Residual Network in Art Design | |
| Liang et al. | Image harmonization with region-wise contrastive learning | |
| Que et al. | Denoising Diffusion Probabilistic Model for Face Sketch-to-Photo Synthesis | |
| CN110427892A (zh) | 基于深浅层自相关融合的cnn人脸表情特征点定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181225 |
|
| RJ01 | Rejection of invention patent application after publication |