CN109635745A - 一种基于生成对抗网络模型生成多角度人脸图像的方法 - Google Patents
一种基于生成对抗网络模型生成多角度人脸图像的方法 Download PDFInfo
- Publication number
- CN109635745A CN109635745A CN201811528488.XA CN201811528488A CN109635745A CN 109635745 A CN109635745 A CN 109635745A CN 201811528488 A CN201811528488 A CN 201811528488A CN 109635745 A CN109635745 A CN 109635745A
- Authority
- CN
- China
- Prior art keywords
- image
- network model
- face image
- facial image
- human face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000001815 facial effect Effects 0.000 claims abstract description 90
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 19
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 19
- 239000000284 extract Substances 0.000 description 15
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003115 biocidal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于生成对抗网络模型生成多角度人脸图像的方法，能够获取基于原始人脸图像生成指定角度的人脸图像的请求，然后分别提取原始人脸图像的轮廓特征和五官特征，最后将指定角度、轮廓特征、以及五官特征输入预先训练得到的生成对抗网络模型，得到目标人脸图像。可见，该方法利用预先训练完成的生成对抗网络模型实现了基于人脸图像生成任意指定角度人脸图像的目的，避免了人脸姿态变化给身份识别带来的影响。此外，本发明还提供了一种基于生成对抗网络模型生成多角度人脸图像的装置、设备及计算机可读存储介质，其作用与上述方法相对应。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种基于生成对抗网络模型生成多角度人脸图像的方法、装置、设备及计算机可读存储介质。
背景技术
人脸识别是一种基于人的脸部特征信息进行身份识别的一种生物识别技术。针对输入的人脸图像或者视频流，首先判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。然后依据这些信息，进一步提取每个人脸中所蕴涵的身份特征数据，并将其与已知的人脸进行对比，从而识别每个人脸的身份。
人脸识别主要用于身份识别，但是，人脸识别存在的技术瓶颈是如何处理人脸姿态的变化，即在不同的图像或者视频流中，人脸的角度表情光照条件各不相同，如何从这种复杂多变的场景中准确的提取人脸身份信息进行身份识别，是亟待本领域技术人员解决的问题。
发明内容
本发明的目的是提供一种基于生成对抗网络模型生成多角度人脸图像的方法、装置、设备及计算机可读存储介质，用以解决人脸姿态变化增大基于人脸图像进行身份识别的困难的问题。
为解决上述技术问题，本发明提供了一种基于生成对抗网络模型生成多角度人脸图像的方法，所述方法包括：
获取基于原始人脸图像生成指定角度的人脸图像的请求；
分别提取所述原始人脸图像的轮廓特征和五官特征；
将所述指定角度、所述轮廓特征、以及所述五官特征输入预先训练得到的生成对抗网络模型，得到目标人脸图像。
可选的，所述分别提取所述原始人脸图像的轮廓特征和五官特征，具体包括：
对所述原始人脸图像的目标区域进行裁剪，得到多个图像块；
对各个所述图像块进行编码，得到五官特征。
可选的，所述生成对抗网络模型包括轮廓图像生成器和五官图像生成器，所述将所述指定角度、所述轮廓特征、以及所述五官特征输入预先训练得到的生成对抗网络模型，得到目标人脸图像，具体包括：
将所述指定角度和所述轮廓特征输入所述轮廓图像生成器，得到轮廓图像；
将所述指定角度和所述五官特征输入所述五官图像生成器，得到五官图像；
根据所述轮廓图像和所述五官图像，生成目标人脸图像。
可选的，所述将所述指定角度和所述轮廓特征输入所述轮廓图像生成器，得到轮廓图像，具体包括：
将所述指定角度、所述轮廓特征、以及预设维度的噪声向量输入所述轮廓图像生成器，得到轮廓图像。
可选的，所述生成对抗网络模型的训练过程包括：
获取真实人脸图像以及生成的目标人脸图像；
根据所述目标人脸图像与所述真实人脸图像，计算模型损失值；
判断所述模型损失值是否满足预设条件；
若不满足，则调整所述生成对抗网络模型的模型参数。
可选的，所述根据所述目标人脸图像与所述真实人脸图像，计算模型损失值，具体包括：
根据所述目标人脸图像与所述真实人脸图像，分别计算身份损失值、像素损失值、以及对抗损失值；
根据所述身份损失值、所述像素损失值、所述对抗损失值、以及各个损失值的预设超参数，计算模型损失值。
另外，本发明还提供了一种基于生成对抗网络模型生成多角度人脸图像的装置，所述装置包括：
请求获取模块：用于获取基于原始人脸图像生成指定角度的人脸图像的请求；
特征提取模块：用于分别提取所述原始人脸图像的轮廓特征和五官特征；
图像生成模块：用于将所述指定角度、所述轮廓特征、以及所述五官特征输入预先训练得到的生成对抗网络模型，得到目标人脸图像。
可选的，所述特征提取模块具体包括：
裁剪单元：用于对所述原始人脸图像的目标区域进行裁剪，得到多个图像块；
编码单元：用于对各个所述图像块进行编码，得到五官特征。
此外，本发明还提供了一种基于生成对抗网络模型生成多角度人脸图像的设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上所述的一种基于生成对抗网络模型生成多角度人脸图像的方法的步骤。
最后，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的一种基于生成对抗网络模型生成多角度人脸图像的方法的步骤。
本发明所提供的一种基于生成对抗网络模型生成多角度人脸图像的方法，能够获取基于原始人脸图像生成指定角度的人脸图像的请求，然后分别提取原始人脸图像的轮廓特征和五官特征，最后将指定角度、轮廓特征、以及五官特征输入预先训练得到的生成对抗网络模型，得到目标人脸图像。可见，该方法利用预先训练完成的生成对抗网络模型实现了基于人脸图像生成任意指定角度人脸图像的目的，避免了人脸姿态变化给身份识别带来的影响。
此外，本发明还提供了一种基于生成对抗网络模型生成多角度人脸图像的装置、设备及计算机可读存储介质，其作用与上述方法相对应，这里不再赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种基于生成对抗网络模型生成多角度人脸图像的方法实施例一的实现流程图；
图2为本发明所提供的一种基于生成对抗网络模型生成多角度人脸图像的方法实施例二中生成对抗网络模型的结构示意图；
图3为本发明所提供的一种基于生成对抗网络模型生成多角度人脸图像的方法实施例二中轮廓特征提取生成器的原理示意图；
图4为本发明所提供的一种基于生成对抗网络模型生成多角度人脸图像的方法实施例二中五官特征提取生成器的原理示意图；
图5为本发明所提供的一种基于生成对抗网络模型生成多角度人脸图像的方法实施例二的生成指定角度人脸图像的流程图；
图6为本发明所提供的一种基于生成对抗网络模型生成多角度人脸图像的装置实施例的功能框图；
图7为本发明所提供的一种基于生成对抗网络模型生成多角度人脸图像的设备实施例的结构框图。
具体实施方式
本发明的核心是提供一种基于生成对抗网络模型生成多角度人脸图像的方法、装置、设备及计算机可读存储介质，实现了基于人脸图像生成任意指定角度人脸图像的目的，减小了基于人脸图像进行身份识别的难度。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面对本发明提供的一种基于生成对抗网络模型生成多角度人脸图像的方法实施例一进行介绍，参见图1，实施例一包括：
步骤S101：获取基于原始人脸图像生成指定角度的人脸图像的请求。
上述原始人脸体图像指的是输入的人脸图像，下文将会提及的目标人脸图像指的是基于原始人脸图像生成的指定角度的人脸图像，这里的指定角度可以是人为指定的任意角度。
步骤S102：分别提取所述原始人脸图像的轮廓特征和五官特征。
上述五官特征，有可以称为局部特征，在提取这个特征的时候，需要对人脸图像进行裁剪，得到多个图像块，然后分别对各个图像块进行编码，得到五官特征。
步骤S103：将所述指定角度、所述轮廓特征、以及所述五官特征输入预先训练得到的生成对抗网络模型，得到目标人脸图像。
上述生成对抗网络模型为预先经过训练的，训练完成后的生成对抗网络模型具备了根据人脸的轮廓特征、五官特征、以及指定的角度生成符合预期的人脸图像的能力，也就是根据用户指定的角度，分别对轮廓特征和五官特征进行适应性调整，合成指定角度的人脸图像的能力。具体的，本实施例可以选取深度卷积生成对抗网络模型进行训练，传统的对抗生成网络虽然可以让生成样本的分布不断的接近逼近真实样本分布，但是在图像的尺寸较大，图像之中包含的特征过多的时候，可能发生无法学习的如此多数量的特征的现象，而深度卷积生成对抗网络模型能够学习更多的特征。
本实施例所提供一种基于生成对抗网络模型生成多角度人脸图像的方法，能够获取基于原始人脸图像生成指定角度的人脸图像的请求，然后分别提取原始人脸图像的轮廓特征和五官特征，最后将指定角度、轮廓特征、以及五官特征输入预先训练得到的生成对抗网络模型，得到目标人脸图像。可见，该方法利用预先训练完成的生成对抗网络模型实现了基于人脸图像生成任意指定角度人脸图像的目的，避免了人脸姿态变化给身份识别带来的影响。
下面开始详细介绍本发明提供的一种基于生成对抗网络模型生成多角度人脸图像的方法实施例二，实施例二主要介绍一种实际应用场景中该方法的实施过程。
首先，如上所述，本实施例基于生成对抗网络模型来实现生成指定角度人脸图像的目的，那么首先对该生成对抗网络模型的结构进行介绍：
作为一种可选的实施方式，本实施例中生成对抗网络模型的结构可以如图2所示，包括：轮廓特征提取生成器、五官特征提取生成器、人脸图像生成器、身份鉴别器、姿态鉴别器。各部分的主要作用如下：上述轮廓特征提取生成器，能够提取人脸图像的轮廓特征，并生成一张指定角度的人脸轮廓图像；上述五官特征提取生成器，能够从输入的人脸图像中分离出人脸的五官特征，并生成一张与人脸轮廓的指定角度相匹配的人脸五官图像；上述人脸图像生成器，主要用于根据上述人脸轮廓图像和人脸五官图像，合成最终的目标人脸图像；上述身份鉴别器，用于在训练过程中判断生成的人脸图像与输入的人脸图像是否为同一人；上述姿态鉴别器，主要用于在训练过程中判断生成的人脸图像是否为指定角度的人脸图像。
具体的，如图3所示，把人脸图像输入到轮廓特征提取生成器中，经过编码器的编码之后，人脸图像被转换为一个特定维度的特征向量，这个特征向量包含了人脸图像的轮廓特征。在得到这个特征向量之后，我们把人脸姿态代码(pose code)以及这个特征向量拼接到一起，一起输入到解码器中去，经过解码器的反卷积操作之后，生成一张和输入的人脸图像大小相等的人脸轮廓图像。这个人脸轮廓图像在后面需要和人脸五官图像拼合，得到最后的目标人脸图像。
上述人脸姿态代码是指根据指定角度转换得到的代码，具体的，在拼接过程中实际用到的也是一个由上述代码组成的向量。作为一种优选的实施方式，上述向解码器输入的向量可以由轮廓特征向量、姿态代码向量、以及一定维度的噪声向量来拼接得到，通过加入噪声向量，可以使生成人脸轮廓图像的质量更高、细节更逼真的目的。
如图4所示，把人脸图像输入到五官特征提取生成器之后，五官特征提取生成器会对人脸图像不同区域进行裁剪，得到每一部分具体的图像块，然后把这些经过裁剪的图像块分别进行编码，得到每一部分的特征向量，再把这个特征向量、人脸姿态代码、以及一定维度的噪声向量拼接到一起，输入解码器，得到各个部分的图像，最后对各个部分的图像进行合成，得到整体的人脸五官图像。
下面对如上所述的生成对抗网络模型的训练过程进行介绍，我们知道，对生成对抗网络进行训练的过程中经常需要用到损失函数，本实施例中的整个模型的损失函数由多个部分组成，包括身份损失函数、像素损失函数、对抗损失函数，下面分别对各个部分进行介绍：
首先是身份损失函数，我们知道，身份鉴别器本身包括一个卷积神经网络，在对身份鉴别器进行训练的过程中，为了使其能够正确分类预设训练集中的身份信息，可以把身份鉴别器中间的某几层提取出来，计算真实图像与生成图像之间的差别，用于比较真实图像与生成图像之间的身份差距。作为一种简便的实施方式，在本实施例中，我们可以选择中间两层来实现我们的损失函数：
其中，Wi和Hi表示所选卷积层尺寸大小，F代表各卷积层的映射函数，IR代表所输入的真实图像，IR代表由生成器生成的图像。
然后是像素损失函数，我们把预设训练集中的图像以及该图像对应的角度信息输入到轮廓特征提取生成器和五官特征提取生成器中，就可以提取到轮廓特征和五官特征，然后进行信息融合，最终得到与原始输入图像尺寸相同的人脸图像，然后可以用下述损失函数来表示生成图像与真实图像之间的像素差距：
其中，W和H代表生成图像和真实图像的尺寸，IR代表所输入的真实图像，IR代表由生成器生成的图像。
最后是对抗损失函数，在本实施例中，我们把姿态代码、原始图像、以及生成图像一起加入到鉴别器中，由鉴别器判断所生成的图像是否符合预期，对抗损失函数如下所示：
其中，IR代表所输入的真实图像，IR代表由生成器生成的图像，N为训练样本数量，为鉴别器参数，为生成器参数。
最终我们得到的模型整体的损失函数为：
L＝Lpixel+λ1Ladv+λ2Lip+λ3Ltv (4)
其中，λ1、λ2、λ3为预先设定好的超参数，Ltv为正规化项。
得到这个整体损失函数后，通过梯度下降等方法最小化各部分的参数，随着迭代的次数增加，生成器生成的图像质量逐渐提高，鉴别器的鉴别能力不断增强，最终完成了训练过程。
按照上述损失函数进行训练之后，该生成模型能够生成指定角度的人脸图像，并能很好的保持原来的人脸特征。与现有技术相比，该模型至少具有以下几点优势：第一，与传统的神经网络相比，对抗生成网络生成图像的质量更高，具有逼真的细节；第二，传统的人脸生成模型一般只能实现侧脸到正脸的转变，但该人脸生成模型能实现多角度人脸的生成，只要通过输入不同的姿态代码就可以生成不同的人脸图像，不仅在人脸识别方面具有重要用途，而且在人脸图像生成，扩充数据库方面具有重要意义。
最后，对基于上述训练完成的生成对抗网络模型生成指定角度人脸图像的过程进行介绍，如图5所示，该过程主要包括：
步骤S201：将原始人脸图像和姿态代码分别输入轮廓特征提取生成器和五官特征提取生成器。
步骤S202：轮廓特征提取生成器提取原始人脸图像的轮廓特征，并根据轮廓特征和姿态代码，生成指定角度的人脸轮廓图像。
步骤S203：五官特征提取生成器对原始人脸图像进行裁剪，得到多个图像块，分别提取各个图像块的特征，得到五官特征，最后根据五官特征和姿态代码生成指定角度的人脸五官图像。
步骤S204：人脸图像生成器根据人脸轮廓图、人脸五官图像，合成最终的指定角度的人脸图像。
以上实现步骤的实施细节在前述描述模型结构和训练过程中已经提到，此处不再赘述。
下面对本发明提供的一种基于生成对抗网络模型生成多角度人脸图像的装置实施例进行介绍，下文描述的一种基于生成对抗网络模型生成多角度人脸图像的装置与上文描述的一种基于生成对抗网络模型生成多角度人脸图像的方法可相互对应参照。
如图6所示，该装置实施例包括：
请求获取模块601：用于获取基于原始人脸图像生成指定角度的人脸图像的请求。
特征提取模块602：用于分别提取所述原始人脸图像的轮廓特征和五官特征。
图像生成模块603：用于将所述指定角度、所述轮廓特征、以及所述五官特征输入预先训练得到的生成对抗网络模型，得到目标人脸图像。
作为一种可选的实施方式，所述特征提取模块602具体包括：
裁剪单元6021：用于对所述原始人脸图像的目标区域进行裁剪，得到多个图像块；
编码单元6022：用于对各个所述图像块进行编码，得到五官特征。
本实施例的一种基于生成对抗网络模型生成多角度人脸图像的装置用于实现前述的一种基于生成对抗网络模型生成多角度人脸图像的方法，因此该装置中的具体实施方式可见前文中的一种基于生成对抗网络模型生成多角度人脸图像的方法的实施例部分，例如，请求获取模块501、特征提取模块502、图像生成模块503，分别用于实现上述一种基于生成对抗网络模型生成多角度人脸图像的方法中步骤S101，S102，S103。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的一种基于生成对抗网络模型生成多角度人脸图像的装置用于实现前述的一种基于生成对抗网络模型生成多角度人脸图像的方法，因此其作用与上述方法的作用相对应，这里不再赘述。
此外，本发明还提供了一种基于生成对抗网络模型生成多角度人脸图像的设备实施例，如图7所示，该设备实施例包括：
存储器701：用于存储计算机程序；
处理器702：用于执行所述计算机程序，以实现如上所述的一种基于生成对抗网络模型生成多角度人脸图像的方法的步骤。
在实际应用场景中，上述存储器701可以是随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM等用于存储计算机程序的存储介质，而上述处理器702是具备运算能力和控制能力的逻辑器件，具体为包括运算逻辑部件、寄存器部件和控制部件的硬件设备，例如CPU。
最后，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的一种基于生成对抗网络模型生成多角度人脸图像的方法的步骤。
本实施例的一种基于生成对抗网络模型生成多角度人脸图像的设备、计算机可读存储介质均用于实现前述的一种基于生成对抗网络模型生成多角度人脸图像的方法，因此该设备、计算机可读存储介质的具体实施方式可见前文中的一种基于生成对抗网络模型生成多角度人脸图像的方法的实施例部分，且二者的作用与前述方法实施例的作用相对应，这里不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种基于生成对抗网络模型生成多角度人脸图像的方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种基于生成对抗网络模型生成多角度人脸图像的方法，其特征在于，所述方法包括：
获取基于原始人脸图像生成指定角度的人脸图像的请求；
分别提取所述原始人脸图像的轮廓特征和五官特征；
将所述指定角度、所述轮廓特征、以及所述五官特征输入预先训练得到的生成对抗网络模型，得到目标人脸图像。
2.如权利要求1所述的方法，其特征在于，所述分别提取所述原始人脸图像的轮廓特征和五官特征，具体包括：
对所述原始人脸图像的目标区域进行裁剪，得到多个图像块；
对各个所述图像块进行编码，得到五官特征。
3.如权利要求1所述的方法，其特征在于，所述生成对抗网络模型包括轮廓图像生成器和五官图像生成器，所述将所述指定角度、所述轮廓特征、以及所述五官特征输入预先训练得到的生成对抗网络模型，得到目标人脸图像，具体包括：
将所述指定角度和所述轮廓特征输入所述轮廓图像生成器，得到轮廓图像；
将所述指定角度和所述五官特征输入所述五官图像生成器，得到五官图像；
根据所述轮廓图像和所述五官图像，生成目标人脸图像。
4.如权利要求3所述的方法，其特征在于，所述将所述指定角度和所述轮廓特征输入所述轮廓图像生成器，得到轮廓图像，具体包括：
将所述指定角度、所述轮廓特征、以及预设维度的噪声向量输入所述轮廓图像生成器，得到轮廓图像。
5.如权利要求1-4任意一项所述的方法，其特征在于，所述生成对抗网络模型的训练过程包括：
获取真实人脸图像以及生成的目标人脸图像；
根据所述目标人脸图像与所述真实人脸图像，计算模型损失值；
判断所述模型损失值是否满足预设条件；
若不满足，则调整所述生成对抗网络模型的模型参数。
6.如权利要求5所述的方法，其特征在于，所述根据所述目标人脸图像与所述真实人脸图像，计算模型损失值，具体包括：
根据所述目标人脸图像与所述真实人脸图像，分别计算身份损失值、像素损失值、以及对抗损失值；
根据所述身份损失值、所述像素损失值、所述对抗损失值、以及各个损失值的预设超参数，计算模型损失值。
7.一种基于生成对抗网络模型生成多角度人脸图像的装置，其特征在于，所述装置包括：
请求获取模块：用于获取基于原始人脸图像生成指定角度的人脸图像的请求；
特征提取模块：用于分别提取所述原始人脸图像的轮廓特征和五官特征；
图像生成模块：用于将所述指定角度、所述轮廓特征、以及所述五官特征输入预先训练得到的生成对抗网络模型，得到目标人脸图像。
8.如权利要求7所述的装置，其特征在于，所述特征提取模块具体包括：
裁剪单元：用于对所述原始人脸图像的目标区域进行裁剪，得到多个图像块；
编码单元：用于对各个所述图像块进行编码，得到五官特征。
9.一种基于生成对抗网络模型生成多角度人脸图像的设备，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如权利要求1-6任意一项所述的一种基于生成对抗网络模型生成多角度人脸图像的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的一种基于生成对抗网络模型生成多角度人脸图像的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811528488.XA CN109635745A (zh) | 2018-12-13 | 2018-12-13 | 一种基于生成对抗网络模型生成多角度人脸图像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811528488.XA CN109635745A (zh) | 2018-12-13 | 2018-12-13 | 一种基于生成对抗网络模型生成多角度人脸图像的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109635745A true CN109635745A (zh) | 2019-04-16 |
Family
ID=66073738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811528488.XA Pending CN109635745A (zh) | 2018-12-13 | 2018-12-13 | 一种基于生成对抗网络模型生成多角度人脸图像的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109635745A (zh) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188667A (zh) * | 2019-05-28 | 2019-08-30 | 复旦大学 | 一种基于三方对抗生成网络的人脸摆正方法 |
| CN110276745A (zh) * | 2019-05-22 | 2019-09-24 | 南京航空航天大学 | 一种基于生成对抗网络的病理图像检测算法 |
| CN110322002A (zh) * | 2019-04-30 | 2019-10-11 | 深圳市商汤科技有限公司 | 图像生成网络的训练及图像处理方法和装置、电子设备 |
| CN110349081A (zh) * | 2019-06-17 | 2019-10-18 | 达闼科技（北京）有限公司 | 图像的生成方法、装置、存储介质和电子设备 |
| CN110349232A (zh) * | 2019-06-17 | 2019-10-18 | 达闼科技（北京）有限公司 | 图像的生成方法、装置、存储介质和电子设备 |
| CN110427864A (zh) * | 2019-07-29 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及电子设备 |
| CN110457994A (zh) * | 2019-06-26 | 2019-11-15 | 平安科技（深圳）有限公司 | 人脸图像生成方法及装置、存储介质、计算机设备 |
| CN110781738A (zh) * | 2019-09-19 | 2020-02-11 | 平安科技（深圳）有限公司 | 生成人脸图像的方法、装置、计算机设备及存储介质 |
| CN111275057A (zh) * | 2020-02-13 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及设备 |
| CN111325817A (zh) * | 2020-02-04 | 2020-06-23 | 清华珠三角研究院 | 一种虚拟人物场景视频的生成方法、终端设备及介质 |
| CN111339867A (zh) * | 2020-02-18 | 2020-06-26 | 广东工业大学 | 一种基于生成对抗网络的行人轨迹预测方法 |
| CN111340913A (zh) * | 2020-02-24 | 2020-06-26 | 北京奇艺世纪科技有限公司 | 图片生成与模型训练方法、装置及存储介质 |
| CN111353069A (zh) * | 2020-02-04 | 2020-06-30 | 清华珠三角研究院 | 一种人物场景视频生成方法、系统、装置及存储介质 |
| CN111401283A (zh) * | 2020-03-23 | 2020-07-10 | 北京达佳互联信息技术有限公司 | 面部识别方法及装置、电子设备及存储介质 |
| CN111553235A (zh) * | 2020-04-22 | 2020-08-18 | 支付宝(杭州)信息技术有限公司 | 保护隐私的网络训练方法、身份识别方法及装置 |
| CN111612872A (zh) * | 2020-05-22 | 2020-09-01 | 中国科学院自动化研究所 | 人脸年龄变化图像对抗生成方法及系统 |
| CN111860045A (zh) * | 2019-04-26 | 2020-10-30 | 北京陌陌信息技术有限公司 | 人脸换脸方法、装置、设备及计算机存储介质 |
| CN112132912A (zh) * | 2019-06-25 | 2020-12-25 | 北京百度网讯科技有限公司 | 建立人脸生成模型以及生成人脸图像的方法、装置 |
| CN112686083A (zh) * | 2019-10-18 | 2021-04-20 | 复旦大学 | 基于组合对抗生成网络的人脸微表情深度学习识别系统 |
| CN113486688A (zh) * | 2020-05-27 | 2021-10-08 | 海信集团有限公司 | 一种人脸识别方法及智能设备 |
| CN113570689A (zh) * | 2021-07-28 | 2021-10-29 | 杭州网易云音乐科技有限公司 | 人像卡通化方法、装置、介质和计算设备 |
| CN114596615A (zh) * | 2022-03-04 | 2022-06-07 | 湖南中科助英智能科技研究院有限公司 | 基于对抗学习的人脸活体检测方法、装置、设备及介质 |
| US11410344B2 (en) | 2019-02-02 | 2022-08-09 | Shenzhen Sensetime Technology Co., Ltd. | Method for image generation, electronic device, and storage medium |
| CN116579956A (zh) * | 2023-07-13 | 2023-08-11 | 广东开放大学（广东理工职业学院） | 基于姿态校验的图像修复方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292813A (zh) * | 2017-05-17 | 2017-10-24 | 浙江大学 | 一种基于生成对抗网络的多姿态人脸生成方法 |
| CN108319932A (zh) * | 2018-03-12 | 2018-07-24 | 中山大学 | 一种基于生成式对抗网络的多图像人脸对齐的方法及装置 |
| CN108491775A (zh) * | 2018-03-12 | 2018-09-04 | 维沃移动通信有限公司 | 一种图像修正方法及移动终端 |
| CN108510061A (zh) * | 2018-03-19 | 2018-09-07 | 华南理工大学 | 基于条件生成对抗网络的多监控视频人脸合成正脸的方法 |
-
2018
- 2018-12-13 CN CN201811528488.XA patent/CN109635745A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292813A (zh) * | 2017-05-17 | 2017-10-24 | 浙江大学 | 一种基于生成对抗网络的多姿态人脸生成方法 |
| CN108319932A (zh) * | 2018-03-12 | 2018-07-24 | 中山大学 | 一种基于生成式对抗网络的多图像人脸对齐的方法及装置 |
| CN108491775A (zh) * | 2018-03-12 | 2018-09-04 | 维沃移动通信有限公司 | 一种图像修正方法及移动终端 |
| CN108510061A (zh) * | 2018-03-19 | 2018-09-07 | 华南理工大学 | 基于条件生成对抗网络的多监控视频人脸合成正脸的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张卫等: "基于生成式对抗网络的人脸识别开发", 《电子世界》 * |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11410344B2 (en) | 2019-02-02 | 2022-08-09 | Shenzhen Sensetime Technology Co., Ltd. | Method for image generation, electronic device, and storage medium |
| CN111860045A (zh) * | 2019-04-26 | 2020-10-30 | 北京陌陌信息技术有限公司 | 人脸换脸方法、装置、设备及计算机存储介质 |
| CN110322002A (zh) * | 2019-04-30 | 2019-10-11 | 深圳市商汤科技有限公司 | 图像生成网络的训练及图像处理方法和装置、电子设备 |
| CN110322002B (zh) * | 2019-04-30 | 2022-01-04 | 深圳市商汤科技有限公司 | 图像生成网络的训练及图像处理方法和装置、电子设备 |
| CN110276745A (zh) * | 2019-05-22 | 2019-09-24 | 南京航空航天大学 | 一种基于生成对抗网络的病理图像检测算法 |
| CN110188667B (zh) * | 2019-05-28 | 2020-10-30 | 复旦大学 | 一种基于三方对抗生成网络的人脸摆正方法 |
| CN110188667A (zh) * | 2019-05-28 | 2019-08-30 | 复旦大学 | 一种基于三方对抗生成网络的人脸摆正方法 |
| CN110349081A (zh) * | 2019-06-17 | 2019-10-18 | 达闼科技（北京）有限公司 | 图像的生成方法、装置、存储介质和电子设备 |
| CN110349232A (zh) * | 2019-06-17 | 2019-10-18 | 达闼科技（北京）有限公司 | 图像的生成方法、装置、存储介质和电子设备 |
| CN110349081B (zh) * | 2019-06-17 | 2023-04-07 | 达闼科技（北京）有限公司 | 图像的生成方法、装置、存储介质和电子设备 |
| CN110349232B (zh) * | 2019-06-17 | 2023-04-07 | 达闼科技（北京）有限公司 | 图像的生成方法、装置、存储介质和电子设备 |
| CN112132912A (zh) * | 2019-06-25 | 2020-12-25 | 北京百度网讯科技有限公司 | 建立人脸生成模型以及生成人脸图像的方法、装置 |
| CN112132912B (zh) * | 2019-06-25 | 2024-02-13 | 北京百度网讯科技有限公司 | 建立人脸生成模型以及生成人脸图像的方法、装置 |
| CN110457994B (zh) * | 2019-06-26 | 2024-05-10 | 平安科技（深圳）有限公司 | 人脸图像生成方法及装置、存储介质、计算机设备 |
| CN110457994A (zh) * | 2019-06-26 | 2019-11-15 | 平安科技（深圳）有限公司 | 人脸图像生成方法及装置、存储介质、计算机设备 |
| CN110427864A (zh) * | 2019-07-29 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及电子设备 |
| CN110781738A (zh) * | 2019-09-19 | 2020-02-11 | 平安科技（深圳）有限公司 | 生成人脸图像的方法、装置、计算机设备及存储介质 |
| WO2021051510A1 (zh) * | 2019-09-19 | 2021-03-25 | 平安科技（深圳）有限公司 | 生成人脸图像的方法、装置、计算机设备及存储介质 |
| CN112686083A (zh) * | 2019-10-18 | 2021-04-20 | 复旦大学 | 基于组合对抗生成网络的人脸微表情深度学习识别系统 |
| CN111325817B (zh) * | 2020-02-04 | 2023-07-18 | 清华珠三角研究院 | 一种虚拟人物场景视频的生成方法、终端设备及介质 |
| CN111353069A (zh) * | 2020-02-04 | 2020-06-30 | 清华珠三角研究院 | 一种人物场景视频生成方法、系统、装置及存储介质 |
| CN111325817A (zh) * | 2020-02-04 | 2020-06-23 | 清华珠三角研究院 | 一种虚拟人物场景视频的生成方法、终端设备及介质 |
| CN111275057B (zh) * | 2020-02-13 | 2023-06-20 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及设备 |
| CN111275057A (zh) * | 2020-02-13 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及设备 |
| CN111339867B (zh) * | 2020-02-18 | 2022-05-24 | 广东工业大学 | 一种基于生成对抗网络的行人轨迹预测方法 |
| CN111339867A (zh) * | 2020-02-18 | 2020-06-26 | 广东工业大学 | 一种基于生成对抗网络的行人轨迹预测方法 |
| CN111340913A (zh) * | 2020-02-24 | 2020-06-26 | 北京奇艺世纪科技有限公司 | 图片生成与模型训练方法、装置及存储介质 |
| CN111401283A (zh) * | 2020-03-23 | 2020-07-10 | 北京达佳互联信息技术有限公司 | 面部识别方法及装置、电子设备及存储介质 |
| CN111553235A (zh) * | 2020-04-22 | 2020-08-18 | 支付宝(杭州)信息技术有限公司 | 保护隐私的网络训练方法、身份识别方法及装置 |
| CN111553235B (zh) * | 2020-04-22 | 2023-04-07 | 支付宝(杭州)信息技术有限公司 | 保护隐私的网络训练方法、身份识别方法及装置 |
| CN111612872A (zh) * | 2020-05-22 | 2020-09-01 | 中国科学院自动化研究所 | 人脸年龄变化图像对抗生成方法及系统 |
| CN111612872B (zh) * | 2020-05-22 | 2024-04-23 | 中国科学院自动化研究所 | 人脸年龄变化图像对抗生成方法及系统 |
| CN113486688A (zh) * | 2020-05-27 | 2021-10-08 | 海信集团有限公司 | 一种人脸识别方法及智能设备 |
| CN113570689A (zh) * | 2021-07-28 | 2021-10-29 | 杭州网易云音乐科技有限公司 | 人像卡通化方法、装置、介质和计算设备 |
| CN113570689B (zh) * | 2021-07-28 | 2024-03-01 | 杭州网易云音乐科技有限公司 | 人像卡通化方法、装置、介质和计算设备 |
| CN114596615A (zh) * | 2022-03-04 | 2022-06-07 | 湖南中科助英智能科技研究院有限公司 | 基于对抗学习的人脸活体检测方法、装置、设备及介质 |
| CN116579956B (zh) * | 2023-07-13 | 2023-09-12 | 广东开放大学（广东理工职业学院） | 基于姿态校验的图像修复方法 |
| CN116579956A (zh) * | 2023-07-13 | 2023-08-11 | 广东开放大学（广东理工职业学院） | 基于姿态校验的图像修复方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109635745A (zh) | 一种基于生成对抗网络模型生成多角度人脸图像的方法 | |
| US10839575B2 (en) | User-guided image completion with image completion neural networks | |
| Zhang et al. | Semantic image inpainting with progressive generative networks | |
| Lai et al. | Secret-fragment-visible mosaic image–a new computer art and its application to information hiding | |
| US11276231B2 (en) | Semantic deep face models | |
| Goyal et al. | Fast and enhanced algorithm for exemplar based image inpainting | |
| CN109829959B (zh) | 基于人脸解析的表情编辑方法及装置 | |
| CN113272870A (zh) | 用于逼真的实时人像动画的系统和方法 | |
| KR102509666B1 (ko) | 텍스트 및 오디오 기반 실시간 얼굴 재연 | |
| WO2019050808A1 (en) | SCANNING AVATAR FROM A SINGLE IMAGE FOR REAL TIME REALIZATION | |
| WO2020263541A1 (en) | Portrait editing and synthesis | |
| CN114627006B (zh) | 一种基于深度解耦网络的渐进式图像修复方法 | |
| CN110246209B (zh) | 图像处理方法及装置 | |
| CN111950430B (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
| CN115004236A (zh) | 来自音频的照片级逼真说话面部 | |
| CN113362422B (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 | |
| CN112221145B (zh) | 游戏脸模生成方法及装置、存储介质及电子设备 | |
| CN115914505B (zh) | 基于语音驱动数字人模型的视频生成方法及系统 | |
| CN110895795A (zh) | 改进的语义图像修补模型方法 | |
| WO2023160350A1 (zh) | 一种脸部处理方法、装置、计算机设备及存储介质 | |
| CN115100334B (zh) | 一种图像描边、图像动漫化方法、设备及存储介质 | |
| Sun et al. | Masked lip-sync prediction by audio-visual contextual exploitation in transformers | |
| CN115049556A (zh) | 一种基于StyleGAN的人脸图像修复方法 | |
| CN115170388A (zh) | 人物线稿生成方法、装置、设备及介质 | |
| Liu et al. | JPEG robust invertible grayscale |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190416 |