CN111652798B - 人脸姿态迁移方法和计算机存储介质 - Google Patents
人脸姿态迁移方法和计算机存储介质 Download PDFInfo
- Publication number
- CN111652798B CN111652798B CN202010457866.0A CN202010457866A CN111652798B CN 111652798 B CN111652798 B CN 111652798B CN 202010457866 A CN202010457866 A CN 202010457866A CN 111652798 B CN111652798 B CN 111652798B
- Authority
- CN
- China
- Prior art keywords
- face
- pose
- features
- migration
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 99
- 230000005012 migration Effects 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003062 neural network model Methods 0.000 claims abstract description 31
- 230000000750 progressive effect Effects 0.000 claims abstract description 28
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000003064 k means clustering Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000011144 upstream manufacturing Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开一种人脸姿态迁移方法和计算机存储介质。该方法包括将原始人脸图像输入深度卷积网络以提取第一特征，将该第一特征、目标人脸姿态特征和多个基准人脸姿态特征输入到渐进式人脸姿态迁移神经网络模型中进行渐进式姿态迁移，以生成目标人脸图像，其中，第一特征包括原始人脸姿态特征和原始人脸外观特征，目标人脸图像的人脸姿态特征与目标人脸姿态特征相同，目标人脸图像的人脸外观特征与原始人脸外观特征相同。通过上述方式，本申请可以实现自然真实的图像姿态迁移。
Description
技术领域
本申请涉及图像处理领域，特别是涉及一种人脸姿态迁移方法和计算机存储介质。
背景技术
随着人脸识别技术的进步，对于人脸数据的需求越来越大。由于在现实中很难拍到带有夸张表情的人脸图像或者带有上下左右偏转的大姿态人脸图像，所以提出了很多用于表情或者姿态迁移的属性迁移算法。
但是现有的属性迁移算法普遍存在生成的图像不够自然真实或者模糊的问题。
发明内容
本申请提供一种人脸姿态迁移方法和计算机存储介质，以解决现有技术中属性迁移后的图像不够自然真实或者模糊的问题。
为解决上述技术问题，本申请采用的一个技术方案是一种人脸姿态迁移方法，该方法包括：将原始人脸图像输入深度卷积网络以提取第一特征，将该第一特征、目标人脸姿态特征和多个基准人脸姿态特征输入到渐进式人脸姿态迁移神经网络模型中进行渐进式姿态迁移，以生成目标人脸图像，其中，第一特征包括原始人脸姿态特征和原始人脸外观特征，目标人脸图像的人脸姿态特征与目标人脸姿态特征相同，目标人脸图像的人脸外观特征与原始人脸外观特征相同。
为解决上述技术问题，本申请采用的另一个技术方案是一种计算机存储介质，该计算机存储介质存储有计算机程序，该计算机程序被执行时实现人脸姿态迁移方法的步骤。
区别于现有技术，本申请通过上述人脸姿态迁移方法，实现了自然而真实的属性迁移后的图像。
附图说明
为更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请中K＝5时的K均值聚类结果的示意图；
图2是根据本申请的实施例的姿态迁移方法的示意流程图；
图3是本申请的一个应用场景的示意流程图；
图4是本申请的人脸姿态迁移装置的一实施例的结构示意图；
图5是本申请的计算机存储介质的一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在一个实施例中，本申请的渐进式人脸姿态迁移神经网络模型的输入包括基准人脸姿态特征。下面说明该基准人脸姿态特征的获得。基准人脸姿态特征的使用将在后文中详细说明。
可选地，多个基准人脸姿态特征是利用聚类方法从所收集的人脸图像库提取得到的。
可选地，多个基准人脸姿态特征是利用K均值聚类方法从所收集的人脸图像库提取得到的。
可选地，所收集的人脸图像库来自包含各种姿态的人脸图像的公开人脸数据库。例如，MIT人脸数据库、Yale人脸数据库B、PIE人脸数据库等。
可选地，使用从网络上抓取的或者从其他途径获得的包含各种姿态的人脸图像。
可选地，对所收集的图像进行预处理。该预处理包括对人脸图像进行尺度和光照的归一化处理。
对所收集的图像进行人脸特征提取。
可选地，使用深度学习方法或Gabor特征提取算法或者其他算法提取人脸特征。
可选地，利用关键点提取算法提取人脸关键点。这些关键点包括表征诸如眼睛、鼻子、耳朵、眉毛等的人脸主要特征的关键点和描绘二维人脸图像中的人脸可见轮廓的关键点。关键点的个数可以是68，或者81，或者更多。
人脸特征提取后的图像相当于人脸关键点坐标组成的一组向量S＝{P1,P2,…,Pn}，其中，n是关键点的个数，P是关键点。
利用例如K均值聚类的聚类方法，对提取人脸关键点之后的人脸图像进行聚类。
K均值聚类算法是一种无监督聚类算法。该算法的主要作用是将相似的样本自动归到一个类别中，每个类别称为一个“簇”。在K均值聚类算法中，簇的个数k和每个簇的初始中心对于结果的影响很大。
可选地，通过K均值聚类来学习人脸图像上下俯仰、左右偏转等变化。簇的个数k越大，则得到的人脸姿态信息将越丰富。为了使通过本申请的方法得到的人脸姿态更加自然，需要更多的渐进性的人脸姿态。例如，在从偏转角度为0°的正脸姿态到偏转角度为60°的人脸姿态的变化中，偏转角度为中间角度(例如，5°、10°…55°)的人脸姿态越多，根据本申请的方法所得到的人脸姿态就越自然。
可选地，K均值聚类的过程如下：
(1)初始化：指定k个聚类中心cluster 1,cluster 2,…,cluster k。由于K均值聚类对于初始值敏感，因此，聚类中心的指定可以依靠经验或者其他方法进行。也可以随机指定聚类中心。对于提取关键点后的人脸图像，任意聚类中心i可以表示为向量clusteri＝{P1i,P2i,…,Pni}，其中，n是关键点的个数，P表示关键点。
(2)分配：首先，距离计算：计算每一人脸图像的关键点向量到每一个聚类中心向量的距离，与该人脸图像距离最小的聚类中心向量所属的簇就是该人脸图像所属的簇。其中，距离可以是关键点向量之间的欧氏距离、明科斯基距离、切比雪夫距离等。
(3)修正聚类中心值：计算每个簇中所有人脸图像的关键点向量的均值向量，将这k个新的均值向量作为新的聚类中心cluster 1,cluster 2,…,cluster k。
重复步骤(2)和(3)。直到迭代次数超过阈值或者重新计算得出的聚类中心和上一次的聚类中心之间的偏差小于阈值为止。
最终所得的聚类中心就是基准人脸姿态特征，这些基准人脸姿态特征构成人脸姿态库。
可选地，对人脸姿态库中的多个基准人脸姿态特征进行姿态角度标注。例如，标注这些基准人脸姿态特征相对于正脸姿态的俯仰和/或偏转角度。也可以根据基准人脸姿态特征相对于正脸姿态的俯仰和/或偏转角度，对这些基准人脸姿态特征进行分类。例如，偏转角度在10°-20°之间的为一类，偏转角度在20°-30°之间的为另一类等。
参考图1，图1示出了k＝5时得到的聚类结果。可选地，k可以取更大的值。
在一个实施例中，本申请使用渐进式人脸姿态迁移神经网络模型进行人脸姿态迁移。下面说明该渐进式人脸姿态迁移神经网络模型的架构和训练。
人脸姿态迁移的过程，大致是基于原始人脸图像的原始人脸姿态特征和目标人脸姿态特征，实现像素移动的过程，从而在将图像的姿态变成目标人脸姿态的过程中，保持图像的外观特征不变。该外观特征可以理解为图像的身份识别特征。保持图像的外观特征不变，即，虽然图像中的人脸的姿态(人脸的上下左右偏转等)发生了变化，但是用肉眼或者人脸识别软件判断，图像中人脸依然属于同一个人。进一步，图像的外观特征还包括人脸的图像纹理特征(例如，色彩、对比度、灰度等)。保持图像的外观特征不变还包括保持图像中人脸对应位置的图像纹理特征不变。
渐进式姿态迁移过程，是通过在原始人脸图像的原始人脸姿态和目标人脸姿态中间的一系列过渡人脸姿态或者中间人脸姿态，实现人脸姿态的逐渐变化，避免现有技术中从原始人脸姿态到目标人脸姿态的直接迁移所导致的失真问题。
基于生成对抗网络模型的渐进式人脸姿态迁移神经网络模型包括生成器和判别器。
可选地，生成器的输入包括需要进行人脸姿态迁移的原始人脸图像和目标人脸姿态特征，或者生成器的输入包括需要进行人脸姿态迁移的原始人脸图像和包含目标人脸姿态特征的参考人脸图像。该目标人脸姿态特征为需要迁移到该原始人脸图像中的人脸姿态特征。
可选地，生成器限定在原始姿态特征和目标人脸姿态特征之间经过一个或多个中间人脸姿态特征的人脸姿态迁移路径，该一个或多个中间人脸姿态特征属于多个基准人脸姿态特征。
可选地，生成器包括按顺序级联形成的多个局部人脸姿态迁移模块，该局部人脸姿态迁移模块用于在人脸姿态迁移路径中的两个相邻的中间人脸姿态特征之间或者在原始人脸姿态特征与一个中间人脸姿态特征之间或者在一个中间人脸姿态特征与目标人脸姿态特征之间进行人脸姿态迁移。
可选地，每个局部人脸姿态迁移模块包含相同的架构。局部人脸姿态迁移模块包括Conv-BN-PReLU-Conv-BN的卷积架构，其中，Conv是卷积神经层，BN是批归一化层，PReLU是带参数的修正线性单元层。
可选地，局部人脸姿态迁移模块使用注意力机制。
可选地，注意力机制通过在局部人脸姿态迁移模块中的一个额外的注意力机制掩码层实现。该注意力机制掩码层对该注意力机制掩码层的输入分配在0-1之间的不同加权系数。该注意力机制掩码层的参数需要通过整个人脸姿态迁移网络的训练来学习。通过引入注意力机制，能够降低整个网络的冗余度，加快其计算速度。
可选地，注意力机制掩码层基于原始人脸姿态、目标人脸姿态和当前局部人脸姿态迁移模块的输入人脸姿态实现，该注意力机制掩码层指示了在每一次局部姿态迁移中，各个像素的重要程度。
可选地，每个局部人脸姿态迁移模块在末尾处包括一个上采样网络。
可选地，每个局部人脸姿态迁移模块包含局部外观单元和局部姿态单元两个并行的分支，其中，局部外观单元和局部姿态单元都各自包括Conv-BN-PReLU-Conv-BN卷积架构。
可选地，生成器包括编码器模块和解码器模块。
编码器模块对生成器的输入进行编码操作。例如，编码器模块对输入的原始人脸图像Ic进行卷积操作，得到用于第一个局部外观单元的输入F0 I。编码器模块例如分别提取原始人脸图像Ic的原始人脸姿态特征Pc和参考人脸图像Ir的目标人脸姿态特征Pg。
可选地，Pc和Pg的提取通过独立于生成器的其他模块完成。
可选地，Pc和Pg的提取通过基于人脸关键点定位的其他模块完成。
编码器将基准人脸姿态特征作为输入。
可选地，编码器将该原始人脸姿态特征Pc和该目标人脸姿态特征Pg拼接或者融合到用于第一个局部姿态单元的输入F0 p中。
可选地，编码器提取基准人脸姿态的角度标注信息，该角度标注信息用于指导生成器的训练。
可选地，编码器基于上述基准人脸姿态特征，获取在原始人脸姿态特征Pc和目标人脸姿态特征Pg之间的变化关系。
可选地，编码器基于上述基准人脸姿态特征，获取从原始人脸姿态特征Pc沿着一系列基准人脸姿态特征到目标人脸姿态特征Pg的变化关系。
可选地，编码器将该原始人脸姿态特征Pc和该目标人脸姿态特征Pg以及上述变化关系拼接或者融合到用于第一个局部姿态单元的输入F0 p中。
可选地，第m个局部人脸姿态迁移模块的输入包括：用于局部外观单元的输入Fm-1 I和用于局部姿态单元的输入Fm-1 p。
可选地，第m个局部人脸姿态迁移模块的输出包括：局部外观单元的输出Fm I和局部姿态单元的输出Fm p。
可选地，在第m个局部人脸姿态迁移模块中，输入Fm-1 p通过局部姿态单元的Conv-BN-PReLU-Conv-BN卷积架构，得到中间值Fm-1，局部姿态卷积 p，Fm-1，局部姿态卷积 p然后被输入到当前局部人脸姿态迁移模块的注意力机制掩码层，得到输出AMm，该输出AMm用于根据局部姿态变化指导局部外观变化(即，图像中的像素变迁)。输入Fm-1 I通过局部外观单元的Conv-BN-PReLU-Conv-BN卷积架构，得到中间值Fm-1，局部外观卷积 I。则局部外观单元的最终输出Fm I的计算公式为：
Fm I＝AMm·Fm-1，局部外观卷积 I+Fm-1 I
其中，·表示向量的对位相乘。
对Fm-1，局部姿态卷积 p和Fm I执行拼接(concatenation)操作，得到局部姿态单元的输出Fm p。
可选地，生成器包括解码器。解码器对最后一个局部人脸姿态迁移模块的输出Fn I(n表示局部人脸姿态迁移模块的个数)执行反卷积操作，得到生成器的输出Ig。
上文简要介绍了根据本申请的一个实施例的生成器网络。
接下来简要介绍根据本申请的一个实施例的判别器网络。
判别器网络用于判断生成器网络所生成的图像Ig在外观方面与原始人脸图像Ic的一致性，以及判断生成器网络所生成的图像Ig在人脸姿态特征方面与目标人脸姿态特征Pg的一致性。
可选地，判别器网络包括分别用于外观一致性判断的外观判别器Dt和用于人脸姿态特征一致性判断的姿态判别器Dp。
可选地，外观判别器的输出为St，姿态判别器的输出为Sp。
可选地，S＝St*Sp为判别器的最终输出。
在使用本申请的渐进式人脸姿态迁移神经网络模型之前，需要对其进行训练和测试。
可选地，从各种公开的人脸数据库或者从网络上抓取人脸图像，并且将获得的人脸图像分为训练人脸图像集和测试人脸图像集。
可选地，将目标人脸姿态特征Z作为目标姿态分布，将训练人脸图像集X作为真实数据分布，训练包括生成器和判别器的渐进式人脸姿态迁移神经网络模型。
可选地，对该渐进式人脸姿态迁移神经网络模型进行整数N次训练。其中，在每次训练中，训练一次生成器，训练K(K为大于等于1的正整数)次判别器。在生成器和判别器的每一次训练中，使用误差逆向传播算法更新生成器和判别器的参数。
可选地，生成器的损失函数为L生成对抗网络＝logD(X)+log(1-D(G(Z))其中，D(X)表示输入为X时，判别器的输出。G(Z)表示输入为Z时，生成器的输出。
可选地，当判别器包括外观判别器Dt和姿态判别器Dp时，生成器的损失函数为LGAN＝LGAN＝log[Dt(X)·Dp(X)]+log[(1-Dt(G(Z)))·(1-Dp(G(Z)))]，其中，Dt(X)表示输入为X时，外观判别器Dt的输出，Dp(X)表示输入为X时，姿态判别器Dp的输出。
可选地，在渐进式人脸姿态迁移神经网络模型包括用于从参考人脸图像提取目标人脸姿态特征的编码器的情况下，也可以将参考人脸图像作为网络的输入目标姿态分布。
可选地，为了防止神经网络过拟合，可以在上述损失函数中添加附加项。
可选地，在渐进式人脸姿态迁移神经网络模型的每次训练中，利用误差逆向传播模型，基于梯度下降法对网络模型的参数进行更新。
可选地，利用测试集对该渐进式人脸姿态迁移神经网络模型进行测试，防止该网络模拟对训练集的过拟合。
训练过程中，诸如学习率等的超参数的设置，梯度下降法的选择等问题在此不再赘述。
参考图2，图2是根据本申请的实施例的姿态迁移方法的示意流程图。图2中所示的方法包括：
步骤S01：将原始人脸图像输入深度卷积网络以提取第一特征。
如上文所述，该原始人脸图像即为需要进行人脸姿态迁移的图像。
可选地，该第一特征包括该原始人脸图像的人脸外观特征和人脸姿态特征。该人脸外观特征包括人脸的身份识别特征。进一步，该人脸外观特征还包括人脸的图像纹理特征，诸如人脸对应位置的色彩、对比度、灰度特征等。
步骤S02：将第一特征、目标人脸姿态特征和多个基准人脸姿态特征输入到渐进式人脸姿态迁移神经网络模型中进行渐进式姿态迁移，以生成目标人脸图像。
该目标人脸图像的人脸姿态特征与目标人脸姿态特征相同。
该目标人脸图像的人脸外观特征与原始人脸外观特征相同。
参考图3，图3示出了本申请的渐进式人脸姿态迁移神经网络模型的一个应用场景的示意流程图。
图3中的应用场景是例如人脸打卡等门禁场景。由于在门禁前，人脸往往呈现各种角度下的姿态，而门禁数据库中的人脸图像往往是正脸图像。因此，在门禁前的人脸为很大偏转姿态的情况下，往往会出现识别困难或者根本无法识别的情况。
为此，本申请根据上述建立的人脸姿态库和人脸姿态迁移神经网络模型，将打卡时所呈现的大偏转姿态人脸，运用姿态转移方法校正为正脸，再与门禁数据库中的正脸图像进行匹配，实现更好的人脸识别。
在图3的实施例中，具体步骤为：
步骤S301：门禁系统的摄像头检测到人脸，拍摄人脸图像。
步骤S302：将所拍摄的人脸图像作为原始人脸图像输入到人脸姿态迁移神经网络模型中。在该固定应用场景中，上文中所述的通过K聚类得到的人脸姿态库可以被集成在该人脸姿态迁移神经网络模型中，或者在每次应用时输入到该人脸姿态迁移神经网络模型中。以正脸所对应的人脸姿态特征作为目标人脸姿态特征输入到人脸姿态迁移神经网络模型中。
步骤S303：基于生成式对抗的人脸姿态迁移神经网络模型输出人脸姿态为正脸的目标人脸图像。
步骤S304：通过深度卷积网络提取该目标人脸图像的特征，与门禁数据库中的正脸图像的特征进行匹配。
步骤S305：输出匹配结果，其中，匹配结果最好且两者之间的特征误差在预定阈值内的正脸图像为正确的匹配对象。若该匹配对象不存在，则输出没有匹配对象的结果。
根据又一实施例的应用场景为使用已知人脸制作动画的使用场景。
具体地，已知人脸A的姿态变化视频Va和人脸B，需要制作人脸B的相同姿态变化的视频Vb。
具体地，提取姿态变化视频Va中的每帧图像{Va,j}(其中，j＝1,..,m,m为视频Va的总帧数)的姿态特征并标注每帧图像在视频中的时间序列。
将作为原始人脸图像的人脸图像B、作为目标人脸姿态特征的{Va,j}的姿态特征以及上述人脸姿态库输入到人脸姿态迁移神经网络模型中，得到对应目标人脸图像Vb,j(其中，j＝1,..,m,m为视频Vb的总帧数)。Vb,j按照时间序列排布的集合{Vb,j}就是我们所需要的姿态变化视频Vb。
具体参考图4，本申请还提供一种人脸姿态迁移装置，该人脸姿态迁移装置400包括聚类模块401、训练模块402、姿态迁移模块403。
这些模块的具体作用如下：
聚类模块401用于利用聚类方法从所收集的人脸图像库生成多个基准人脸姿态特征，以建立包括多个基准人脸姿态特征的人脸姿态库。
训练模块402用于训练基于生成对抗网络模型的渐进式人脸姿态迁移神经网络模型。
姿态迁移模块403用于将原始人脸图像、目标人脸姿态特征和多个基准人脸姿态特征输入到渐进式人脸姿态迁移神经网络模型中进行渐进式姿态迁移，以生成目标人脸图像。
上述人脸姿态迁移方法的逻辑过程以计算机程序呈现，在计算机程序方面，若其作为独立的软件产品销售或使用时，其可存储在计算机存储介质中，因而本发明提出一种计算机存储介质。请参阅图5。
图5是本发明计算机存储介质一实施例的结构示意图，本实施例计算机存储介质500中存储有计算机程序51，计算机程序51被处理器执行时实现上述姿态迁移方法。
该计算机存储介质500具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory，)、磁碟或者光盘等可以存储计算机程序51的介质，或者也可以为存储有该计算机程序51的服务器，该服务器可将存储的计算机程序51发送给其他设备运行，或者也可以自运行该存储的计算机程序51。该计算机存储介质500从物理实体上来看，可以为多个实体的组合，例如多个服务器、服务器加存储器、或存储器加移动硬盘等多种组合方式。
综上所述，本申请通过利用聚类方法从所收集的人脸图像库生成多个基准人脸姿态特征，以建立包括该多个基准人脸姿态特征的人脸姿态库，根据多个基准人脸姿态特征和包括原始训练人脸图像和目标训练人脸姿态特征的训练数据集，训练基于生成对抗网络模型的人脸姿态迁移神经网络模型，将原始人脸图像、目标人脸姿态特征和多个基准人脸姿态特征输入到人脸姿态迁移神经网络模型中，以生成目标人脸图像，从而实现更真实自然的姿态迁移图像。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (7)
1.一种人脸姿态迁移方法，其特征在于，包括如下步骤：
将原始人脸图像输入深度卷积网络以提取第一特征；
将所述第一特征、目标人脸姿态特征和多个基准人脸姿态特征输入到渐进式人脸姿态迁移神经网络模型中进行渐进式姿态迁移，以生成目标人脸图像，
其中，
所述第一特征包括原始人脸姿态特征和原始人脸外观特征，
所述目标人脸图像的人脸姿态特征与所述目标人脸姿态特征相同，所述目标人脸图像的人脸外观特征与所述原始人脸外观特征相同；
所述渐进式人脸姿态迁移神经网络模型的生成器限定在原始人脸姿态特征和目标人脸姿态特征之间经过一个或多个中间人脸姿态特征的人脸姿态迁移路径，所述一个或多个中间人脸姿态特征属于多个基准人脸姿态特征；
所述渐进式人脸姿态迁移神经网络模型的生成器包括按顺序级联的多个局部人脸姿态迁移模块，
所述局部人脸姿态迁移模块包括注意力机制掩码层、局部姿态单元和局部外观单元；
所述局部姿态单元用于在所述人脸姿态特征迁移路径中的两个相邻的中间人脸姿态特征之间或者在所述原始人脸姿态特征与一个中间人脸姿态特征之间或者在一个中间人脸姿态特征与所述目标人脸姿态特征之间进行人脸姿态迁移；
所述注意力机制掩码层用于根据所述人脸姿态迁移的计算的结果，指导所述局部外观单元进行外观特征的更新。
2.根据权利要求1所述的人脸姿态迁移方法，其特征在于，
沿着所述渐进式人脸姿态迁移神经网络模型的生成器中数据传输的方向，所述生成器还包括在所述按顺序级联的多个局部人脸姿态迁移模块的上游的编码器和在所述按顺序级联的多个局部人脸姿态迁移模块下游的解码器。
3.根据权利要求1所述的人脸姿态迁移方法，其特征在于，
所述渐进式人脸姿态迁移神经网络模型的判别器包括外观判别器和姿态判别器，所述渐进式人脸姿态迁移神经网络模型的判别器的输出结果为所述外观判别器的输出结果和所述姿态判别器的输出结果两者的乘积。
4.根据权利要求1所述的人脸姿态迁移方法，其特征在于，
所述多个基准人脸姿态特征是利用聚类方法从所收集的人脸图像库提取得到的。
5.根据权利要求4所述的人脸姿态迁移方法，其特征在于，
所述多个基准人脸姿态特征是利用K均值聚类方法从所收集的人脸图像库提取得到的。
6.根据权利要求5所述的人脸姿态迁移方法，其特征在于，
所述多个基准人脸姿态特征被根据姿态角度进行标注。
7.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1-6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010457866.0A CN111652798B (zh) | 2020-05-26 | 2020-05-26 | 人脸姿态迁移方法和计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010457866.0A CN111652798B (zh) | 2020-05-26 | 2020-05-26 | 人脸姿态迁移方法和计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111652798A CN111652798A (zh) | 2020-09-11 |
| CN111652798B true CN111652798B (zh) | 2023-09-29 |
Family
ID=72342953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010457866.0A Active CN111652798B (zh) | 2020-05-26 | 2020-05-26 | 人脸姿态迁移方法和计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652798B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163503A (zh) * | 2020-09-24 | 2021-01-01 | 高新兴科技集团股份有限公司 | 办案区人员无感轨迹生成方法、系统、存储介质及设备 |
| CN116250021A (zh) * | 2020-11-13 | 2023-06-09 | 华为技术有限公司 | 图像生成模型的训练方法、新视角图像生成方法及装置 |
| CN112734632B (zh) * | 2021-01-05 | 2024-02-27 | 百果园技术(新加坡)有限公司 | 图像处理方法、装置、电子设备和可读存储介质 |
| CN112581635B (zh) * | 2021-02-26 | 2021-06-01 | 北京智源人工智能研究院 | 一种通用的快速换脸方法、装置、电子设备和存储介质 |
| CN113627254B (zh) * | 2021-07-07 | 2023-10-27 | 武汉大学 | 一种基于特征迁移与特征融合的俯角人脸识别方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101938502A (zh) * | 2009-07-14 | 2011-01-05 | 北京邮电大学 | 一种服务器集群系统及负载均衡方法 |
| KR20170050465A (ko) * | 2015-10-30 | 2017-05-11 | 에스케이텔레콤 주식회사 | 얼굴 인식 장치 및 방법 |
| CN107025629A (zh) * | 2017-04-27 | 2017-08-08 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN107292813A (zh) * | 2017-05-17 | 2017-10-24 | 浙江大学 | 一种基于生成对抗网络的多姿态人脸生成方法 |
| CN108304829A (zh) * | 2018-03-08 | 2018-07-20 | 北京旷视科技有限公司 | 人脸识别方法、装置及系统 |
| CN108334816A (zh) * | 2018-01-15 | 2018-07-27 | 桂林电子科技大学 | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 |
| CN109215080A (zh) * | 2018-09-25 | 2019-01-15 | 清华大学 | 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置 |
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN110111418A (zh) * | 2019-05-15 | 2019-08-09 | 北京市商汤科技开发有限公司 | 创建脸部模型的方法、装置及电子设备 |
| WO2019178054A1 (en) * | 2018-03-12 | 2019-09-19 | Carnegie Mellon University | Pose invariant face recognition |
| AU2018269375A1 (en) * | 2017-05-16 | 2019-11-28 | Apple Inc. | Emoji recording and sending |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3579196A1 (en) * | 2018-06-05 | 2019-12-11 | Cristian Sminchisescu | Human clothing transfer method, system and device |
-
2020
- 2020-05-26 CN CN202010457866.0A patent/CN111652798B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101938502A (zh) * | 2009-07-14 | 2011-01-05 | 北京邮电大学 | 一种服务器集群系统及负载均衡方法 |
| KR20170050465A (ko) * | 2015-10-30 | 2017-05-11 | 에스케이텔레콤 주식회사 | 얼굴 인식 장치 및 방법 |
| CN107025629A (zh) * | 2017-04-27 | 2017-08-08 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| AU2018269375A1 (en) * | 2017-05-16 | 2019-11-28 | Apple Inc. | Emoji recording and sending |
| CN110520901A (zh) * | 2017-05-16 | 2019-11-29 | 苹果公司 | 表情符号录制和发送 |
| CN107292813A (zh) * | 2017-05-17 | 2017-10-24 | 浙江大学 | 一种基于生成对抗网络的多姿态人脸生成方法 |
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN108334816A (zh) * | 2018-01-15 | 2018-07-27 | 桂林电子科技大学 | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 |
| CN108304829A (zh) * | 2018-03-08 | 2018-07-20 | 北京旷视科技有限公司 | 人脸识别方法、装置及系统 |
| WO2019178054A1 (en) * | 2018-03-12 | 2019-09-19 | Carnegie Mellon University | Pose invariant face recognition |
| CN109215080A (zh) * | 2018-09-25 | 2019-01-15 | 清华大学 | 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置 |
| CN110111418A (zh) * | 2019-05-15 | 2019-08-09 | 北京市商汤科技开发有限公司 | 创建脸部模型的方法、装置及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| 《计算机应用研究》第35卷(2018年)总目次;计算机应用研究(第12期);全文 * |
| Fast Head Pose Estimation via Rotation-Adaptive Facial Landmark Detection for Video Edge Computation;WEIWEI WANG;SPECIAL SECTION ON INNOVATION AND APPLICATION OF INTELLIGENT PROCESSING OF DATA, INFORMATION AND KNOWLEDGE AS RESOURCES IN EDGE COMPUTING;全文 * |
| 基于自学习深度卷积神经网络的姿态变化人脸识别;邹国锋;傅桂霞;高明亮;尹丽菊;王科俊;;小型微型计算机系统(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111652798A (zh) | 2020-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652798B (zh) | 人脸姿态迁移方法和计算机存储介质 | |
| US12062249B2 (en) | System and method for generating image landmarks | |
| US11967151B2 (en) | Video classification method and apparatus, model training method and apparatus, device, and storage medium | |
| CN112800903B (zh) | 一种基于时空图卷积神经网络的动态表情识别方法及系统 | |
| CN111444881A (zh) | 伪造人脸视频检测方法和装置 | |
| CN112418095A (zh) | 一种结合注意力机制的面部表情识别方法及系统 | |
| Tuzel et al. | Global-local face upsampling network | |
| US20240265598A1 (en) | Method and apparatus for composing background and face by using deep learning network | |
| CN113177616B (zh) | 图像分类方法、装置、设备及存储介质 | |
| CN115565238B (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| CN112784929B (zh) | 一种基于双元组扩充的小样本图像分类方法及装置 | |
| Li et al. | Learning symmetry consistent deep cnns for face completion | |
| CN115050064A (zh) | 人脸活体检测方法、装置、设备及介质 | |
| US20230100427A1 (en) | Face image processing method, face image processing model training method, apparatus, device, storage medium, and program product | |
| Sun et al. | 3-D facial feature reconstruction and learning network for facial expression recognition in the wild | |
| Wang et al. | Gazecaps: Gaze estimation with self-attention-routed capsules | |
| CN113688715A (zh) | 面部表情识别方法及系统 | |
| CN114283265A (zh) | 一种基于3d旋转建模的无监督人脸转正方法 | |
| CN117152352A (zh) | 图像处理方法、深度学习模型训练方法及装置 | |
| Zhang et al. | Joint stacked hourglass network and salient region attention refinement for robust face alignment | |
| CN110969109A (zh) | 一种非受限条件下眨眼检测模型及其构建方法和应用 | |
| Tliba et al. | Self supervised scanpath prediction framework for painting images | |
| Lücke et al. | Occlusive components analysis | |
| CN113962846A (zh) | 图像对齐方法及装置、计算机可读存储介质及电子设备 | |
| Do et al. | Image and encoded text fusion for deep multi-modal clustering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |