CN110647859B - 人脸图像分解方法和装置、电子设备及存储介质 - Google Patents
人脸图像分解方法和装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110647859B CN110647859B CN201910935016.4A CN201910935016A CN110647859B CN 110647859 B CN110647859 B CN 110647859B CN 201910935016 A CN201910935016 A CN 201910935016A CN 110647859 B CN110647859 B CN 110647859B
- Authority
- CN
- China
- Prior art keywords
- image
- face image
- features
- multiple types
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000012545 processing Methods 0.000 claims abstract description 88
- 238000005286 illumination Methods 0.000 claims description 118
- 238000003062 neural network model Methods 0.000 claims description 88
- 238000012549 training Methods 0.000 claims description 70
- 238000002310 reflectometry Methods 0.000 claims description 51
- 230000001815 facial effect Effects 0.000 claims description 49
- 238000004040 coloring Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004148 unit process Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 7
- 230000007423 decrease Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 108010014172 Factor V Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开实施例公开了一种人脸图像分解方法和装置、电子设备及存储介质，其中方法包括：获取第一人脸图像；对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征；所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征；利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，在图像分解时考虑人脸图像的遮挡特征，可以提高人脸图像的分解和重构处理的准确度。
Description
技术领域
本公开涉及计算机视觉技术领域，具体涉及一种人脸图像分解方法和装置、电子设备及存储介质。
背景技术
在图像处理领域，时常需要对人脸图像进行本征图像分解，分析人脸图像形成背后的原因，例如入射光照的分布情况、人脸的几何形状和人脸表面的反射材质属性等。
一般而言，人脸本征图像分解方法中假设物体表面的反射材质为漫反射材质，而由于人脸的结构、角度等原因会影响不同区域的光照情况，从而会存在一些区域做出错误的分解，例如人脸的鼻孔处本应只有开口方向有入射光，对于该区域的分解易出现错误的几何和材质估计，人脸图像的分解和重构处理的准确度较低。
发明内容
本公开实施例提供了一种人脸图像分解方法和装置、电子设备及存储介质。
本公开实施例第一方面提供一种人脸图像分解方法，包括：
获取第一人脸图像；
对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征；所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征；
利用所述多种类型的图像特征进行重构处理，得到第二人脸图像。
在一种可选的实施方式中，在对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征之后，所述方法还包括：
获取目标入射光照系数；
所述利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，包括：
将所述第一人脸图像的入射光照系数配置为所述目标入射光照系数；
利用所述多种类型的图像特征进行重构处理，得到所述第二人脸图像，所述多种类型的图像特征中还包括所述目标入射光照系数。
上述步骤可以在第一人脸图像的基础上通过设置不同的目标入射光照系数重构不同光照效果的第二人脸图像。
在一种可选的实施方式中，所述多种类型的图像特征中还包括以下图像特征中的至少一种：所述第一人脸图像的反射率特征、所述第一人脸图像的法向量特征、所述第一人脸图像的深度特征、所述第一人脸图像的入射光照系数。
上述步骤可以获得不同的图像特征，可用于人脸图像的几何属性和材质属性分析，以及便于对人脸图像的重构处理。
在一种可选的实施方式中，所述对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征，包括：
利用神经网络模型对所述第一人脸图像进行分解处理，得到所述多种类型的图像特征；其中，在所述神经网络模型中的处理过程包括：通过编码器和第一全连接层对所述第一人脸图像进行处理，得到中间图像特征；分别利用反射率解码器、几何解码器对所述中间图像特征进行处理，得到所述第一人脸图像的反射率特征以及几何特征，所述几何特征包括法向量特征、遮挡特征以及深度特征。
通过神经网络模型可以快速地提取第一人脸图像的反射率特征以及几何特征，其中几何特征包括遮挡特征，考虑图像遮挡效果，可以使人脸图像的遮挡区域的分解效果更加。
在一种可选的实施方式中，在通过编码器和全连接层对所述第一人脸图像进行处理，得到中间图像特征之后，所述方法还包括：
通过第二全连接层对所述中间图像特征进行处理，得到所述第一人脸图像的入射光照系数。
在一种可选的实施方式中，在所述多种类型的图像特征包括所述第一人脸图像的遮挡特征、反射率特征、法向量特征以及入射光照系数的情况下，所述利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，包括：
利用所述法向量特征、所述遮挡特征以及所述入射光照系数，重新绘制人脸图像，形成着色特征；
将所述着色特征和所述反射率特征进行融合，得到所述第二人脸图像。
在图像分解时考虑人脸图像的遮挡特征，提高人脸图像的分解效果，也使对人脸图像的重构处理效果更加。
在一种可选的实施方式中，所述人脸图像分解方法在神经网络模型中执行；
所述神经网络模型为利用训练样本集中的虚拟人脸图像和由所述虚拟人脸图像分解成多种类型的第一样本图像特征作为标签数据，训练得到的；或者，
所述神经网络模型为利用训练样本集中的虚拟人脸图像、由所述虚拟人脸图像分解成的多种类型的第一样本图像特征、真实人脸图像，以及由所述真实人脸图像分解成的多种类型的第二样本图像特征作为标签数据，训练得到的。
可以通过虚拟人脸数据训练神经网络模型，操作方便，也可以通过虚拟人脸数据与真实人脸数据混合训练神经网络模型，进一步提升模型可靠性，实现对人脸图像的准确分解处理。
在一种可选的实施方式中，所述虚拟人脸图像由三维形变模型随机生成。
通过三维形变模型随机生成虚拟人脸图像用于神经网络模型的训练，可以较为全面地训练神经网络模型。
在一种可选的实施方式中，所述虚拟人脸图像分解成的多种类型的第一样本图像特征中包括所述虚拟人脸图像的入射光照系数；
所述方法还包括：
获取光照数据集，基于所述光照数据集获得所述虚拟人脸图像的入射光照系数。
可以通过现有光照数据集获得虚拟人脸图像的入射光照系数，数据全面、可靠，提升模型的准确度。
在一种可选的实施方式中，所述方法还包括：
以所述训练样本集中的虚拟人脸图像作为输入图像、以所述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，训练得到第一神经网络模型；
利用所述第一神经网络模型，预测所述真实人脸图像中的多种类型的第二样本图像特征；
将所述真实人脸图像和对应的多种类型的第二样本图像特征添加至所述训练样本集中；
以所述虚拟人脸图像为一组输入图像、以所述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，以及，以真实人脸图像为一组输入图像、以所述真实人脸图像和对应的多种类型的第二样本图像特征作为标签数据，对所述第一神经网络模型进行训练，得到最终的所述神经网络模型。
通过虚拟人脸数据，和对真实人脸图像进行分解处理获得的真实人脸数据混合进行训练，可以进一步提高神经网络模型的准确度。
本公开实施例第二方面提供了一种人脸图像分解装置，包括获取模块、分解模块和重构模块，其中：
所述获取模块，用于获取第一人脸图像；
所述分解模块，用于对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征；所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征；
所述重构模块，用于利用所述多种类型的图像特征进行重构处理，得到第二人脸图像。
可选的，所述获取模块还用于获取目标入射光照系数；所述重构模块具体用于：
将所述第一人脸图像的入射光照系数配置为所述目标入射光照系数；
利用所述多种类型的图像特征进行重构处理，得到所述第二人脸图像，所述多种类型的图像特征中还包括所述目标入射光照系数。
可选的，所述多种类型的图像特征中还包括以下图像特征中的至少一种：所述第一人脸图像的反射率特征、所述第一人脸图像的法向量特征、所述第一人脸图像的深度特征、所述第一人脸图像的入射光照系数。
可选的，所述分解模块包括第一单元，用于：
利用神经网络模型对所述第一人脸图像进行分解处理，得到所述多种类型的图像特征；其中，在所述神经网络模型中的处理过程包括：通过编码器和第一全连接层对所述第一人脸图像进行处理，得到中间图像特征；分别利用反射率解码器、几何解码器对所述中间图像特征进行处理，得到所述第一人脸图像的反射率特征以及几何特征，所述几何特征包括法向量特征、遮挡特征以及深度特征。
可选的，所述分解模块还包括第二单元，用于：
在所述第一单元通过编码器和全连接层对所述第一人脸图像进行处理，得到中间图像特征之后，通过第二全连接层对所述中间图像特征进行处理，得到所述第一人脸图像的入射光照系数。
可选的，在所述多种类型的图像特征包括所述第一人脸图像的遮挡特征、反射率特征、法向量特征以及入射光照系数的情况下，所述重构模块具体用于：
利用所述法向量特征、所述遮挡特征以及所述入射光照系数，重新绘制人脸图像，形成着色特征；
将所述着色特征和所述反射率特征进行融合，得到所述第二人脸图像。
可选的，人脸图像分解方法在神经网络模型中执行；
所述神经网络模型为利用训练样本集中的虚拟人脸图像和由所述虚拟人脸图像分解成多种类型的第一样本图像特征作为标签数据，训练得到的；或者，
所述神经网络模型为利用训练样本集中的虚拟人脸图像、由所述虚拟人脸图像分解成的多种类型的第一样本图像特征、真实人脸图像，以及由所述真实人脸图像分解成的多种类型的第二样本图像特征作为标签数据，训练得到的。
可选的，所述虚拟人脸图像由三维形变模型随机生成。
可选的，所述虚拟人脸图像分解成的多种类型的第一样本图像特征中包括所述虚拟人脸图像的入射光照系数；
所述获取模块还用于：
获取光照数据集，基于所述光照数据集获得所述虚拟人脸图像的入射光照系数。
可选的，还包括训练模块，用于以所述训练样本集中的虚拟人脸图像作为输入图像、以所述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，训练得到第一神经网络模型；
所述分解模块还用于，利用所述第一神经网络模型，预测所述真实人脸图像中的多种类型的第二样本图像特征；
所述训练模块还用于：
将所述真实人脸图像和对应的多种类型的第二样本图像特征添加至所述训练样本集中；
以所述虚拟人脸图像为一组输入图像、以所述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，以及，以真实人脸图像为一组输入图像、以所述真实人脸图像和对应的多种类型的第二样本图像特征作为标签数据，对所述第一神经网络模型进行训练，得到最终的所述神经网络模型。
本公开实施例第三方面提供一种电子设备，包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序被配置成由所述处理器执行，所述处理器用于执行如本公开实施例第一方面任一方法中所描述的部分或全部步骤。
本公开实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本公开实施例第一方面任一方法中所描述的部分或全部步骤。
本公开实施例通过获取第一人脸图像，对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征，所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征，再利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，在图像分解时考虑人脸图像的遮挡特征，提高人脸图像的分解和重构处理的准确度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1是本公开实施例公开的一种人脸图像分解方法的流程示意图；
图2是本公开实施例公开的一种人脸图像分解的神经网络模型结构示意图；
图3是本公开实施例公开的一种神经网络模型训练方法的流程示意图；
图4是本公开实施例公开的一种人脸图像的分解效果示意图；
图5是本公开实施例公开的一种人脸图像分解装置的结构示意图；
图6是本公开实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本公开的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本公开实施例所涉及到的人脸图像分解装置是可以进行人脸图像分解的装置，可以为电子设备，上述电子设备包括终端设备，具体实现中，上述终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
下面对本公开实施例进行详细介绍。
请参阅图1，图1是本公开实施例公开的一种人脸图像分解方法的流程示意图，如图1所示，该人脸图像分解方法包括如下步骤：
101、获取第一人脸图像。
本公开实施例中的人脸图像分解方法的执行主体可以是上述人脸图像分解装置，例如，上述人脸图像分解方法可以由终端设备或其它处理设备执行。其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。其它处理设备，例如可以为本地或云端服务器等。本公开对人脸图像分解装置的形式并不限定。在一些可能的实现方式中，该人脸图像分解方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
其中，上述第一人脸图像是待进行人脸图像分解的人脸图像，可以为真实人脸图像，比如通过摄像设备采集的人脸图像，也可以为虚拟人脸图像，上述虚拟人脸图像可以通过各种生成模型随机生成，比如通过三维形变模型(3D Morphable Model，3DMM)生成的虚拟人脸图像。
在获取上述第一人脸图像之后可以执行步骤102。
102、对上述第一人脸图像进行分解处理，得到上述第一人脸图像的多种类型的图像特征；上述多种类型的图像特征中包括上述第一人脸图像的遮挡特征。
具体的，一副人脸图像可以具有多种类型的图像特征。通过对上述第一人脸图像的分解处理，可以获得该第一人脸图像的多种类型的图像特征，其中包括上述第一人脸图像的遮挡特征，上述遮挡特征可以理解为在第一人脸图像中关注各个像素点的遮挡情况的特征。
在一种实施方式中，上述多种类型的图像特征中还可以包括以下图像特征中的至少一种：上述第一人脸图像的反射率特征、上述第一人脸图像的法向量特征、上述第一人脸图像的深度特征、上述第一人脸图像的入射光照系数，本公开实施例对此不作限制。上述反射率特征关注图像中各个像素点的反射率，上述法向量特征关注图像中各个像素点的法向量，上述深度特征关注图像中各个像素点的深度，上述入射光照系数关注图像中各个像素点的入射光照。
具体的，上述步骤102可包括：A1、利用神经网络模型对上述第一人脸图像进行分解处理，得到上述多种类型的图像特征。
通过预先训练的神经网络模型，可以对人脸图像进行分解处理，获得人脸图像的多种类型的图像特征，包括人脸图像的遮挡特征，用于人脸图像的重构。
在一种可选的实施方式中，上述神经网络模型为利用训练样本集中的虚拟人脸图像和由上述虚拟人脸图像分解成多种类型的第一样本图像特征作为标签数据，训练得到的；或者，
上述神经网络模型为利用训练样本集中的虚拟人脸图像、由上述虚拟人脸图像分解成的多种类型的第一样本图像特征、真实人脸图像，以及由上述真实人脸图像分解成的多种类型的第二样本图像特征作为标签数据，训练得到的。对于上述神经网络模型的具体训练方法可以参考后续图3所示实施例中的具体描述，此处不再赘述。
在一种实施方式中，在上述神经网络模型中的处理过程可以包括：
B1、通过编码器和第一全连接层对上述第一人脸图像进行处理，得到中间图像特征；
B2、分别利用反射率解码器、几何解码器对上述中间图像特征进行处理，得到上述第一人脸图像的反射率特征以及几何特征，上述几何特征包括法向量特征、遮挡特征以及深度特征。
在机器学习中，时常需要将输入数据转化成另外一种输出数据，二者之间有概率关系，直接用一个函数完成这个转化可能会存在困难，因此通常可使用编码器、解码器结构，先将输入数据x转化成一种中间数据z，再从z映射出输出数据y。本公开实施例中编码器用来分析输入图像特征，解码器用来生成输出特征。
在神经网络结构中，如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层(fully connected layers，FC)则起到将学到的“分布式特征表示”映射到样本标记空间的作用。本公开实施例中的神经网络模型的结构可以是自编码网络，输入图像经过编码器逐渐减小尺寸增加特征数，经过中间的全连层之后再经过解码器逐渐增大尺寸减少特征数直至回到输入图像一样的尺寸。
本公开实施例中通过编码器和第一全连接层对上述第一人脸图像进行处理，可以得到中间图像特征，再通过不同的解码器对上述中间图像特征进行处理，获得第一人脸图像的不同特征。具体分别可以利用反射率解码器得到上述第一人脸图像的反射率特征，利用几何解码器得到上述第一人脸图像的几何特征，包括上述法向量特征、上述遮挡特征以及上述深度特征。上述图像特征可以以特征图的形式表示，比如法向量特征对应该第一人脸图像的法向量特征图，深度特征对应该第一人脸图像的深度特征图。可选的，还可以获得灰度特征，生成灰度特征图。其中，编码器和解码器中的处理包括但不限于卷积处理等。
上述获得的反射率特征以及几何特征对应的特征图可以理解为该第一人脸图像进行分解处理后获得的分解图像，可以分析人脸图像形成背后的原因，例如入射光照的分布情况，人脸的几何形状和人脸表面的反射材质属性等，以及可以进一步重构人脸图像。本公开实施例在考虑物体间的几何遮挡关系的条件下利用神经网络学习人脸图像的本征图像分解，从而可以在遮挡效果明显的区域做出更准确的分解。
在得到上述第一人脸图像的多种类型的图像特征之后，可以执行步骤103。
103、利用上述多种类型的图像特征进行重构处理，得到第二人脸图像。
根据分解处理获得的上述多种类型的图像特征，可以对第一人脸图像进行重构，获得上述第二人脸图像。本公开中的人脸图像分解方法可以在神经网络模型中执行。
在上述多种类型的图像特征包括上述第一人脸图像的遮挡特征、反射率特征、法向量特征，以及入射光照系数的情况下，步骤103具体可以包括：
C1、利用上述法向量特征、上述遮挡特征以及上述入射光照系数，重新绘制人脸图像，形成着色特征；
C2、将上述着色特征和上述反射率特征进行融合，得到上述第二人脸图像。
上述法向量特征、上述遮挡特征以及上述入射光照系数统一经过可微分的绘制过程可以形成着色特征，再将上述着色特征和上述反射率特征相乘，融合获得重构的第二人脸图像。
其中，本公开实施例可以获取上述入射光照系数，获取方式有以下几种：
在一种实施方式中，可以通过特征提取的方式获取入射光照系数。
例如，在上述步骤B1之后，所述方法还包括：
B12、通过第二全连接层对上述中间图像特征进行处理，得到上述第一人脸图像的入射光照系数。
上述入射光照系数可以理解为以入射光的方向为自变量的函数，关注人脸图像中各个像素点的入射光照情况。
在另一种实施方式中，也可以采用参数配置的方式，将上述第一人脸图像的入射光照系数配置为上述目标入射光照系数；
具体的，可以选择性地设置用于重构人脸图像的上述目标入射光照系数，再利用配置的目标入射光照系数和上述第一人脸图像的法向量特征和遮挡特征进行重构处理，获得上述第二人脸图像，可以改变人脸图像中的光照情况。即在需要更改人脸图像的光照时，可以使用本公开实施例中的方法对人脸图像进行分解处理，然后以设置新的入射光照系数的形式更改其中的入射光照再绘制一遍图像，可以在遮挡效果明显的区域做出更准确的分解，从而使重光照效果更加真实。
本公开实施例通过获取第一人脸图像，对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征，所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征，再利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，在图像分解时考虑人脸图像的遮挡特征，提高人脸图像的分解和重构处理的准确度。
图2为本公开实施例提供的一种人脸图像分解的神经网络模型结构示意图。可以结合图1和图2进一步理解本公开实施例中的人脸图像分解方法。
示例性的，如图2所示，本公开实施例中的第一全连接层例如可以产生256维特征，第二全连接层例如可以产生27维特征。请参考图2，首先如步骤B1所述，作为输入的第一人脸图像A经过编码器和第一全连接层可以获得中间图像特征，然后如步骤B2所述，利用反射率解码器得到第一人脸图像A的反射率特征a，利用几何解码器得到第一人脸图像A的几何特征，上述几何特征包括法向量特征b、遮挡特征c以及深度特征d；如步骤B12所述，其中编码器和解码器连接部分(第二全连接层)生成第一人脸图像A的入射光照系数e；之后如步骤C1和C2所述，上述入射光照系数e和法向量特征b以及遮挡系数c统一经过可微分的绘制过程形成着色特征f，最后反射率特征a和着色特征f相乘进行融合，可以重建输入的第一人脸图像，即输出为第二人脸图像B。
基于上述神经网络模型的人脸图像分解方法在分解处理时考虑了绘制过程中的遮挡效果，因此在遮挡效果明显的区域例如鼻孔等区域可做出更准确的分解。进一步地，而在需要更改人脸图像的光照时，可先利用上述步骤对人脸图像进行分解处理，然后更改其中的入射光照系数再进行图像绘制，获得以输入的人脸图像为基础，更改光照后的重构人脸图像，可以在遮挡效果明显的区域做出更准确的分解，从而使重光照效果更加真实。
请参阅图3，图3是本公开实施例公开的一种神经网络模型训练方法的流程示意图，通过该神经网络模型训练方法可以获得如图1和图2所示实施例中的神经网络模型，并可以执行上述人脸图像分解方法。执行本公开实施例步骤的主体可以为前述的一种人脸图像分解装置。如图3所示，该方法包括如下步骤：
301、以训练样本集中的虚拟人脸图像作为输入图像、以上述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，训练得到第一神经网络模型。
具体的，可以获取现有的虚拟人脸图像的训练样本集，以训练样本集中的虚拟人脸图像作为输入图像、以上述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，训练神经网络模型，得到上述第一神经网络模型。
可选的，上述虚拟人脸图像可以通过各种生成模型随机生成，比如可以通过三维形变模型(3D Morphable Model，3DMM)随机生成上述虚拟人脸图像。上述虚拟人脸图像的随机性可包含几何的随机性，反射材质的随机性和模型朝向的随机性，具体体现在其虚拟人脸图像对应的各类型图像特征，即上述第一样本图像特征。
其中，上述多种类型的第一样本图像特征可以包括以下图像特征中的至少一种：上述虚拟人脸图像的第一样本反射率特征、第一样本法向量特征、第一样本深度特征。
在一种实施方式中，上述虚拟人脸图像和对应的多种类型的第一样本图像特征中可以包括上述虚拟人脸图像的入射光照系数；
上述方法还包括：
获取光照数据集，基于上述光照数据集获得上述虚拟人脸图像的入射光照系数。
示例性的，上述光照数据集可以为现有的真实世界的光照数据集，可以通过将上述光照数据集的光照分布投影到球谐基函数上得到球谐系数作为入射光照系数，具体的，可以基于以下方程构建绘制过程的虚拟模型：
其中n是法向，Ω+是以法向量为中心的上半球面，ω是入射光的方向，0≤ρ≤1是反射率，L(ω)是入射光照系数，v(ω)是表征遮挡特征的遮挡函数；如果ω相交于物体，则v(ω)＝0，否则v(ω)＝0。
其中设置归一化因子π和反射率ρ的值域是为了保证能量守恒定律。计算公式(1)中的积分时，可以首先将入射光照系数L(ω)、遮挡函数v(ω)和cosine函数cos(ω,n)三者都投影到球谐基函数上，然后在球谐系数上进行计算。可选的，上述虚拟人脸图像中除去人脸像素区域之外的背景像素区域可以使用预先收集的室内照片填充。
进一步地，与图1和图2所示实施例中的人脸图像分解方法类似的，可以在上述步骤301中生成的虚拟人脸数据(包括虚拟人脸图像和对应的多种类型的第一样本图像特征)上训练神经网络，神经网络的结构如图2所示。
具体的，输入的虚拟人脸图像X1经过编码器和第一全连接层可以获得中间图像特征，然后可以利用反射率解码器得到虚拟人脸图像X1的第一预测反射率特征，利用几何解码器得到虚拟人脸图像X1的第一预测几何特征，上述预测几何特征包括第一预测法向量特征、第一预测遮挡特征以及第一预测深度特征，其中编码器和解码器连接部分(第二全连接层)可以生成虚拟人脸图像X1的第一预测入射光照系数；之后上述第一预测入射光照系数和第一预测法向量特征以及第一预测遮挡系数统一经过可微分的绘制过程形成第一预测着色特征，最后第一预测反射率特征和第一预测着色特征相乘进行融合，可以重建输入图像。
示例性的，在一种实施方式中，神经网络训练的误差函数可定义为：
E＝Erecon+Eρ+λnEn+λvEv+λdEd+λLEL (2)
其中Eρ、En、Ev、Ed和EL分别为神经网络的ρ、v、n、d、L输出值与正确标签之间的误差，Erecon-ρ指的是单独以ρ为自变量的公式(1)重建的人脸图像与输入人脸图像之间的误差，除了光照L之外的误差计算都仅限于在人脸图像中标记的人脸像素区域，λ*是人为给定的误差权重。
本公开实施例中神经网络的结构例如是自编码网络，输入人脸图像经过编码器逐渐减小尺寸增加特征数，经过全连接层之后再经过解码器逐渐增大尺寸减少特征数，直至回到与输入人脸图像一样的尺寸。编码器的具体结构可以为：C64(k4)-C128(k4)-C256(k4)-C256(k4)-C256(k4)；其中CN(kS)可表示具有N维S×S尺寸的滤波器的二维卷积层，其输出特征的步长(Stride)为2，具体的，参数N表示输出特征为N维，kS中的参数S用于表示输出特征的图像尺寸(宽、高)。本公开实施例中输入人脸图像的尺寸为128，即空间分辨率为128×128，编码器输出的图像尺寸为4，即空间分辨率为4×4；其中Stride＝每像素占用的字节数(也就是像素位数/8)*Width，Width表示一行的像素个数。而解码器和编码器正好相反，经过了一系列反卷积逐渐增大尺寸直至输出尺寸为128的图像。除了最后的一个输出层，其他卷积层后可以紧跟着批量归一化(Batch Normalization)层和激活函数(ReLU)。
在训练得到第一神经网络模型之后，可以执行步骤302。
302、利用上述第一神经网络模型，预测上述真实人脸图像中的多种类型的第二样本图像特征。
此时训练得到的上述第一神经网络模型已经可以用于人脸图像的分解处理，可以对虚拟人脸图像或者真实人脸图像进行分解处理，获得人脸图像中的多种类型的图像特征。上述真实人脸图像可以包括通过各类摄像设备如照相机、移动终端等拍摄的真实的人脸图像。训练结束后将可以将获得的第一神经网络模型应用于真实人脸图像的处理，得到真实人脸图像的分解结果，这些分解结果可以作为对应的标签数据用于下一步的训练。
其中上述步骤302，与图1所示实施例中的人脸图像分解方法和上述对虚拟人脸图像的分解处理方法类似，以及预测获得的真实人脸图像中的多种类型的第二样本图像特征可以包括以下图像特征中的至少一种：上述真实人脸图像的第二样本反射率特征、第二样本法向量特征、第二样本深度特征、第二样本入射光照系数，此处不再赘述。
303、将上述真实人脸图像和对应的多种类型的第二样本图像特征添加至上述训练样本集中。
本公开实施例中可以多次执行上述步骤302，获得批量的真实人脸图像和对应的多种类型的第二样本图像特征，以作为新的训练样本。
具体的，可以将上述真实人脸图像和对应的多种类型的第二样本图像特征添加至上述训练样本集中，将步骤301中生成的虚拟人脸数据和步骤302中生成的真实人脸数据混合在一起，继续训练第一神经网络，获得更准确的神经网络模型用于人脸图像的分解处理。
304、以上述虚拟人脸图像为一组输入图像、以上述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，以及，以真实人脸图像为一组输入图像、以上述真实人脸图像和对应的多种类型的第二样本图像特征作为标签数据，对上述第一神经网络模型进行训练，得到最终的上述神经网络模型。
在将上述真实人脸图像和对应的多种类型的第二样本图像特征添加至上述训练样本集之后，可以基于包含虚拟人脸图像和真实人脸图像的训练样本集再训练第一神经网络。
具体的，可以以虚拟人脸图像为一组输入图像、以上述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，同时，以真实人脸图像为一组输入图像、以上述真实人脸图像和对应的多种类型的第二样本图像特征作为标签数据，训练上述第一神经网络模型。
其中，对于虚拟人脸数据的误差函数和步骤301中定义的相同，此处不再赘述。而真实人脸数据(包括真实人脸图像和对应的多种类型的第二样本图像特征)的误差函数定义为：
E＝Erecon-ρ,n,L+Eρ+λnEn+λvEv+λdEd+λLEL
这里的Eρ、En、Ev、Ed和EL分别是神经网络的ρ、v、n、d、L输出值与步骤302中生成的标签数据之间的误差。三变量的误差Erecon-ρ,n,L是由四变量是重建函数frender(ρ,n,v,L)计算而来的，但是此处把遮挡函数看成常数而不再通过逆向传播导数进行优化。
可选的，真实人脸图像的人脸像素区域可以采用人脸特征点检测(关键点检测)方法确定，具体可以通过检测多个人脸特征点并以此创建凸包得到。
在一个实数向量空间V中，对于给定集合X，所有包含X的凸集的交集S被称为X的凸包。X的凸包可以用X内所有点(X1，...，Xn)的凸组合来构造。通俗来讲，给定二维平面上的点集，凸包可以理解为将最外层的点连接起来构成的凸多边形，它能包含点集中所有的点，在人脸图像中可以表现为框起来的人脸像素区域。
上述人脸特征点检测方法可以是输入平面上的若干点、输出它们的凸包的任意算法，比如旋转卡壳法、Graham扫描法和Jarvis步进法等，本公开实施例对此不作限制。
通过上述方法获得的最终的神经网络模型可以应用于人脸图像的分解处理和人脸图像的重构，具体可以执行如图1和图2所示实施例中的相关描述步骤，此处不再赘述。
可以参见图4，图4为本公开实施例提供的一种人脸图像分解效果的示意图、如图4所示，示例性地给出了两张人脸图像X1和X2对应的分解结果。其中，第1-第5列分别为人脸图像对应的人脸像素区域、反射率特征、着色特征、法向量特征和遮挡特征，X1和X2的第一行和第二行分别为：使用一种现有的人脸图像分解方法和使用本公开实施例中的人脸图像分解方法获得的分解效果。本公开实施例中的各个图像(包括输入人脸图像和分解获得的人脸特征图)可以是黑白、灰度或者彩色的，此处对图像格式和风格不做限制。本公开实施例中的人脸图像分解方法通过分析人脸图像中的遮挡状况，获得遮挡特征，可以使人脸图像的分解效果更加，通过图4中的比较可以看出，本公开实施例中的人脸图像分解方法尤其在遮挡效果明显的区域如鼻孔、下巴等区域附近可做出更准确的分解。
本公开实施例在虚拟人脸数据的基础上添加了真实人脸数据进行神经网络的训练，获得更准确的神经网络模型，可以对人脸图像进行分解处理，同时由于考虑了人脸图像的遮挡效果，在遮挡效果明显的区域可做出更准确的分解，也使得人脸图像的重构效果更佳。
本公开实施例通过以训练样本集中的虚拟人脸图像作为输入图像、以上述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，训练得到第一神经网络模型，利用上述第一神经网络模型，预测上述真实人脸图像中的多种类型的第二样本图像特征，再将上述真实人脸图像和对应的多种类型的第二样本图像特征添加至上述训练样本集中，之后可以以上述虚拟人脸图像为一组输入图像、以上述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，以及，以真实人脸图像为一组输入图像、以上述真实人脸图像和对应的多种类型的第二样本图像特征作为标签数据，对上述第一神经网络模型进行训练，得到最终的上述神经网络模型，该最终的神经网络模型可以用于执行如图1所示实施例中的人脸图像的分解处理以及重构，由于在分解处理时考虑了绘制过程中的遮挡效果，因此在遮挡效果明显的区域可做出更准确的分解；而在需要更改人脸图像的光照时，可先利用神经网络模型对人脸图像进行分解处理，然后更改其中的入射光照系数再进行图像绘制，获得以输入的人脸图像为基础更改光照后的重构人脸图像，在遮挡效果明显的区域做出更准确的分解，可以使重光照效果更加真实。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述主要从方法侧执行过程的角度对本公开实施例的方案进行了介绍。可以理解的是，人脸图像分解装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
本公开实施例可以根据上述方法示例对人脸图像分解装置进行功能单元(模块)的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本公开实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
请参阅图5，图5是本公开实施例公开的一种人脸图像分解装置的结构示意图。如图5所示，该人脸图像分解装置500包括包括获取模块510、分解模块520和重构模块530，其中：
上述获取模块510，用于获取第一人脸图像；
上述分解模块520，用于对上述第一人脸图像进行分解处理，得到上述第一人脸图像的多种类型的图像特征；上述多种类型的图像特征中包括上述第一人脸图像的遮挡特征；
上述重构模块530，用于利用上述多种类型的图像特征进行重构处理，得到第二人脸图像。
可选的，上述获取模块510还用于获取目标入射光照系数；上述重构模块530具体用于：
将上述第一人脸图像的入射光照系数配置为上述目标入射光照系数；
利用上述多种类型的图像特征进行重构处理，得到上述第二人脸图像，上述多种类型的图像特征中还包括上述目标入射光照系数。
可选的，上述多种类型的图像特征中还包括以下图像特征中的至少一种：上述第一人脸图像的反射率特征、上述第一人脸图像的法向量特征、上述第一人脸图像的深度特征、上述第一人脸图像的入射光照系数。
可选的，上述分解模块520包括第一单元521，用于：
利用神经网络模型对上述第一人脸图像进行分解处理，得到上述多种类型的图像特征；其中，在上述神经网络模型中的处理过程包括：通过编码器和第一全连接层对上述第一人脸图像进行处理，得到中间图像特征；分别利用反射率解码器、几何解码器对上述中间图像特征进行处理，得到上述第一人脸图像的反射率特征以及几何特征，上述几何特征包括法向量特征、遮挡特征以及深度特征。
可选的，上述分解模块520还包括第二单元522，用于：
在上述第一单元521通过编码器和全连接层对上述第一人脸图像进行处理，得到中间图像特征之后，通过第二全连接层对上述中间图像特征进行处理，得到上述第一人脸图像的入射光照系数。
可选的，在上述多种类型的图像特征包括上述第一人脸图像的遮挡特征、反射率特征、法向量特征以及入射光照系数的情况下，上述重构模块530具体用于：
利用上述法向量特征、上述遮挡特征以及上述入射光照系数，重新绘制人脸图像，形成着色特征；
将上述着色特征和上述反射率特征进行融合，得到上述第二人脸图像。
可选的，上述人脸图像分解方法在神经网络模型中执行；
上述神经网络模型为利用训练样本集中的虚拟人脸图像和由上述虚拟人脸图像分解成多种类型的第一样本图像特征作为标签数据，训练得到的；或者，
上述神经网络模型为利用训练样本集中的虚拟人脸图像、由上述虚拟人脸图像分解成的多种类型的第一样本图像特征、真实人脸图像，以及由上述真实人脸图像分解成的多种类型的第二样本图像特征作为标签数据，训练得到的。
可选的，上述虚拟人脸图像由三维形变模型随机生成。
可选的，上述虚拟人脸图像分解成的多种类型的第一样本图像特征中包括上述虚拟人脸图像的入射光照系数；
上述获取模块510还用于：
获取光照数据集，基于上述光照数据集获得上述虚拟人脸图像的入射光照系数。
可选的，还包括训练模块540，用于以上述训练样本集中的虚拟人脸图像作为输入图像、以上述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，训练得到第一神经网络模型；
上述分解模块520还用于，利用上述第一神经网络模型，预测上述真实人脸图像中的多种类型的第二样本图像特征；
上述训练模块540还用于：
将上述真实人脸图像和对应的多种类型的第二样本图像特征添加至上述训练样本集中；
以上述虚拟人脸图像为一组输入图像、以上述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，以及，以真实人脸图像为一组输入图像、以上述真实人脸图像和对应的多种类型的第二样本图像特征作为标签数据，对上述第一神经网络模型进行训练，得到最终的上述神经网络模型。
使用本公开实施例中的人脸图像分解装置500，可以实现前述图1和/或图3实施例中的人脸图像分解方法。
实施图5所示的人脸图像分解装置500，人脸图像分解装置500可以获取第一人脸图像，对上述第一人脸图像进行分解处理，得到上述第一人脸图像的多种类型的图像特征，上述多种类型的图像特征中包括上述第一人脸图像的遮挡特征，再利用上述多种类型的图像特征进行重构处理，得到第二人脸图像，在图像分解时考虑人脸图像的遮挡特征，提高人脸图像的分解和重构处理的准确度。
请参阅图6，图6是本公开实施例公开的一种电子设备的结构示意图。如图6所示，该电子设备600包括处理器601和存储器602，其中，电子设备600还可以包括总线603，处理器601和存储器602可以通过总线603相互连接，总线603可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线603可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，电子设备600还可以包括输入输出设备604，输入输出设备604可以包括显示屏，例如液晶显示屏。存储器602用于存储计算机程序；处理器601用于调用存储在存储器602中的计算机程序执行上述图1和/或图3实施例中提到的部分或全部方法步骤。
实施图6所示的电子设备600，电子设备600可以获取第一人脸图像，对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征，所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征，再利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，在图像分解时考虑人脸图像的遮挡特征，提高人脸图像的分解和重构处理的准确度。
本公开实施例还提供一种计算机存储介质，其中，该计算机存储介质用于存储计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种人脸图像分解方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本公开所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元(模块)可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本公开实施例进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。
Claims (24)
1.一种人脸图像分解方法，其特征在于，所述方法包括：
获取第一人脸图像；
对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征；所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征；
利用所述多种类型的图像特征进行重构处理，得到第二人脸图像；
所述对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征，包括：
利用神经网络模型对所述第一人脸图像进行分解处理，得到所述多种类型的图像特征；其中，在所述神经网络模型中的处理过程包括：通过编码器和第一全连接层对所述第一人脸图像进行处理，得到中间图像特征；分别利用反射率解码器、几何解码器对所述中间图像特征进行处理，得到所述第一人脸图像的反射率特征以及几何特征，所述几何特征包括法向量特征、遮挡特征以及深度特征。
2.根据权利要求1所述的方法，其特征在于，在对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征之后，所述方法还包括：
获取目标入射光照系数；
所述利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，包括：
将所述第一人脸图像的入射光照系数配置为所述目标入射光照系数；
利用所述多种类型的图像特征进行重构处理，得到所述第二人脸图像，所述多种类型的图像特征中还包括所述目标入射光照系数。
3.根据权利要求1所述的方法，其特征在于，在通过编码器和全连接层对所述第一人脸图像进行处理，得到中间图像特征之后，所述方法还包括：
通过第二全连接层对所述中间图像特征进行处理，得到所述第一人脸图像的入射光照系数。
4.根据权利要求1的方法，其特征在于，在所述多种类型的图像特征包括所述第一人脸图像的遮挡特征、反射率特征、法向量特征以及入射光照系数的情况下，所述利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，包括：
利用所述法向量特征、所述遮挡特征以及所述入射光照系数，重新绘制人脸图像，形成着色特征；
将所述着色特征和所述反射率特征进行融合，得到所述第二人脸图像。
5.根据权利要求1至4任一所述的方法，其特征在于，所述人脸图像分解方法在神经网络模型中执行；
所述神经网络模型为利用训练样本集中的虚拟人脸图像和由所述虚拟人脸图像分解成多种类型的第一样本图像特征作为标签数据，训练得到的；或者，
所述神经网络模型为利用训练样本集中的虚拟人脸图像、由所述虚拟人脸图像分解成的多种类型的第一样本图像特征、真实人脸图像，以及由所述真实人脸图像分解成的多种类型的第二样本图像特征作为标签数据，训练得到的。
6.根据权利要求5所述的方法，其特征在于，所述虚拟人脸图像由三维形变模型随机生成。
7.根据权利要求5所述的方法，其特征在于，所述虚拟人脸图像分解成的多种类型的第一样本图像特征中包括所述虚拟人脸图像的入射光照系数；
所述方法还包括：
获取光照数据集，基于所述光照数据集获得所述虚拟人脸图像的入射光照系数。
8.根据权利要求5所述的方法，其特征在于，所述方法还包括：
以所述训练样本集中的虚拟人脸图像作为输入图像、以所述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，训练得到第一神经网络模型；
利用所述第一神经网络模型，预测所述真实人脸图像中的多种类型的第二样本图像特征；
将所述真实人脸图像和对应的多种类型的第二样本图像特征添加至所述训练样本集中；
以所述虚拟人脸图像为一组输入图像、以所述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，以及，以真实人脸图像为一组输入图像、以所述真实人脸图像和对应的多种类型的第二样本图像特征作为标签数据，对所述第一神经网络模型进行训练，得到最终的所述神经网络模型。
9.一种人脸图像分解方法，其特征在于，所述方法包括：
获取第一人脸图像；
对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征；所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征；
利用所述多种类型的图像特征进行重构处理，得到第二人脸图像；
在所述多种类型的图像特征包括所述第一人脸图像的遮挡特征、反射率特征、法向量特征以及入射光照系数的情况下，所述利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，包括：
利用所述法向量特征、所述遮挡特征以及所述入射光照系数，重新绘制人脸图像，形成着色特征；
将所述着色特征和所述反射率特征进行融合，得到所述第二人脸图像。
10.根据权利要求9所述的方法，其特征在于，在对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征之后，所述方法还包括：
获取目标入射光照系数；
所述利用所述多种类型的图像特征进行重构处理，得到第二人脸图像，包括：
将所述第一人脸图像的入射光照系数配置为所述目标入射光照系数；
利用所述多种类型的图像特征进行重构处理，得到所述第二人脸图像，所述多种类型的图像特征中还包括所述目标入射光照系数。
11.根据权利要求10所述的方法，其特征在于，所述对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征，包括：
利用神经网络模型对所述第一人脸图像进行分解处理，得到所述多种类型的图像特征；其中，在所述神经网络模型中的处理过程包括：通过编码器和第一全连接层对所述第一人脸图像进行处理，得到中间图像特征；分别利用反射率解码器、几何解码器对所述中间图像特征进行处理，得到所述第一人脸图像的反射率特征以及几何特征，所述几何特征包括法向量特征、遮挡特征以及深度特征；通过第二全连接层对所述中间图像特征进行处理，得到所述第一人脸图像的入射光照系数。
12.一种人脸图像分解装置，其特征在于，包括获取模块、分解模块和重构模块，其中：
所述获取模块，用于获取第一人脸图像；
所述分解模块，用于对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征；所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征；
所述重构模块，用于利用所述多种类型的图像特征进行重构处理，得到第二人脸图像；
所述分解模块包括第一单元，用于：
利用神经网络模型对所述第一人脸图像进行分解处理，得到所述多种类型的图像特征；其中，在所述神经网络模型中的处理过程包括：通过编码器和第一全连接层对所述第一人脸图像进行处理，得到中间图像特征；分别利用反射率解码器、几何解码器对所述中间图像特征进行处理，得到所述第一人脸图像的反射率特征以及几何特征，所述几何特征包括法向量特征、遮挡特征以及深度特征。
13.根据权利要求12所述的装置，其特征在于，所述获取模块还用于获取目标入射光照系数；所述重构模块具体用于：
将所述第一人脸图像的入射光照系数配置为所述目标入射光照系数；
利用所述多种类型的图像特征进行重构处理，得到所述第二人脸图像，所述多种类型的图像特征中还包括所述目标入射光照系数。
14.根据权利要求12所述的装置，其特征在于，所述分解模块还包括第二单元，用于：
在所述第一单元通过编码器和全连接层对所述第一人脸图像进行处理，得到中间图像特征之后，通过第二全连接层对所述中间图像特征进行处理，得到所述第一人脸图像的入射光照系数。
15.根据权利要求12所述的装置，其特征在于，在所述多种类型的图像特征包括所述第一人脸图像的遮挡特征、反射率特征、法向量特征以及入射光照系数的情况下，所述重构模块具体用于：
利用所述法向量特征、所述遮挡特征以及所述入射光照系数，重新绘制人脸图像，形成着色特征；
将所述着色特征和所述反射率特征进行融合，得到所述第二人脸图像。
16.根据权利要求12至15任一所述的装置，其特征在于，人脸图像分解方法在神经网络模型中执行；
所述神经网络模型为利用训练样本集中的虚拟人脸图像和由所述虚拟人脸图像分解成多种类型的第一样本图像特征作为标签数据，训练得到的；或者，
所述神经网络模型为利用训练样本集中的虚拟人脸图像、由所述虚拟人脸图像分解成的多种类型的第一样本图像特征、真实人脸图像，以及由所述真实人脸图像分解成的多种类型的第二样本图像特征作为标签数据，训练得到的。
17.根据权利要求16所述的装置，其特征在于，所述虚拟人脸图像由三维形变模型随机生成。
18.根据权利要求16所述的装置，其特征在于，所述虚拟人脸图像分解成的多种类型的第一样本图像特征中包括所述虚拟人脸图像的入射光照系数；
所述获取模块还用于：
获取光照数据集，基于所述光照数据集获得所述虚拟人脸图像的入射光照系数。
19.根据权利要求16所述的装置，其特征在于，还包括训练模块，用于以所述训练样本集中的虚拟人脸图像作为输入图像、以所述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，训练得到第一神经网络模型；
所述分解模块还用于，利用所述第一神经网络模型，预测所述真实人脸图像中的多种类型的第二样本图像特征；
所述训练模块还用于：
将所述真实人脸图像和对应的多种类型的第二样本图像特征添加至所述训练样本集中；
以所述虚拟人脸图像为一组输入图像、以所述虚拟人脸图像和对应的多种类型的第一样本图像特征作为标签数据，以及，以真实人脸图像为一组输入图像、以所述真实人脸图像和对应的多种类型的第二样本图像特征作为标签数据，对所述第一神经网络模型进行训练，得到最终的所述神经网络模型。
20.一种人脸图像分解装置，其特征在于，包括获取模块、分解模块和重构模块，其中：
所述获取模块，用于获取第一人脸图像；
所述分解模块，用于对所述第一人脸图像进行分解处理，得到所述第一人脸图像的多种类型的图像特征；所述多种类型的图像特征中包括所述第一人脸图像的遮挡特征；
所述重构模块，用于利用所述多种类型的图像特征进行重构处理，得到第二人脸图像；
在所述多种类型的图像特征包括所述第一人脸图像的遮挡特征、反射率特征、法向量特征以及入射光照系数的情况下，所述重构模块具体用于：
利用所述法向量特征、所述遮挡特征以及所述入射光照系数，重新绘制人脸图像，形成着色特征；
将所述着色特征和所述反射率特征进行融合，得到所述第二人脸图像。
21.根据权利要求20所述的装置，其特征在于，所述获取模块还用于获取目标入射光照系数；所述重构模块具体用于：
将所述第一人脸图像的入射光照系数配置为所述目标入射光照系数；
利用所述多种类型的图像特征进行重构处理，得到所述第二人脸图像，所述多种类型的图像特征中还包括所述目标入射光照系数。
22.根据权利要求21所述的装置，其特征在于，所述分解模块包括第一单元，用于：
利用神经网络模型对所述第一人脸图像进行分解处理，得到所述多种类型的图像特征；其中，在所述神经网络模型中的处理过程包括：通过编码器和第一全连接层对所述第一人脸图像进行处理，得到中间图像特征；分别利用反射率解码器、几何解码器对所述中间图像特征进行处理，得到所述第一人脸图像的反射率特征以及几何特征，所述几何特征包括法向量特征、遮挡特征以及深度特征；所述分解模块还包括第二单元，用于：
在所述第一单元通过编码器和全连接层对所述第一人脸图像进行处理，得到中间图像特征之后，通过第二全连接层对所述中间图像特征进行处理，得到所述第一人脸图像的入射光照系数。
23.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序被配置成由所述处理器执行，所述处理器用于执行如权利要求1-11任一项所述的方法。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910935016.4A CN110647859B (zh) | 2019-09-29 | 2019-09-29 | 人脸图像分解方法和装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910935016.4A CN110647859B (zh) | 2019-09-29 | 2019-09-29 | 人脸图像分解方法和装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110647859A CN110647859A (zh) | 2020-01-03 |
| CN110647859B true CN110647859B (zh) | 2023-01-31 |
Family
ID=68993272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910935016.4A Active CN110647859B (zh) | 2019-09-29 | 2019-09-29 | 人脸图像分解方法和装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110647859B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639545B (zh) * | 2020-05-08 | 2023-08-08 | 浙江大华技术股份有限公司 | 一种人脸识别方法、装置、设备及介质 |
| CN112053338A (zh) * | 2020-08-31 | 2020-12-08 | 浙江商汤科技开发有限公司 | 图像分解方法和相关装置、设备 |
| CN113240622B (zh) * | 2021-03-12 | 2023-01-06 | 杭州新畅元科技有限公司 | 人体场景图像本征分解与重光照方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101046847A (zh) * | 2007-04-29 | 2007-10-03 | 中山大学 | 一种基于二次多项式光照模型的人脸光照对齐方法 |
| CN105469034A (zh) * | 2015-11-17 | 2016-04-06 | 西安电子科技大学 | 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法 |
| CN108446589A (zh) * | 2018-02-07 | 2018-08-24 | 杭州电子科技大学 | 复杂环境下基于低秩分解和辅助字典的人脸识别方法 |
| CN108537133A (zh) * | 2018-03-16 | 2018-09-14 | 江苏经贸职业技术学院 | 一种基于监督学习深度自编码器的人脸重构方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8842891B2 (en) * | 2009-06-09 | 2014-09-23 | Arizona Board Of Regents On Behalf Of Arizona State University | Ultra-low dimensional representation for face recognition under varying expressions |
| CN103559683B (zh) * | 2013-09-24 | 2016-08-10 | 浙江大学 | 基于多视图流行低秩表示的受损图像修复方法 |
-
2019
- 2019-09-29 CN CN201910935016.4A patent/CN110647859B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101046847A (zh) * | 2007-04-29 | 2007-10-03 | 中山大学 | 一种基于二次多项式光照模型的人脸光照对齐方法 |
| CN105469034A (zh) * | 2015-11-17 | 2016-04-06 | 西安电子科技大学 | 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法 |
| CN108446589A (zh) * | 2018-02-07 | 2018-08-24 | 杭州电子科技大学 | 复杂环境下基于低秩分解和辅助字典的人脸识别方法 |
| CN108537133A (zh) * | 2018-03-16 | 2018-09-14 | 江苏经贸职业技术学院 | 一种基于监督学习深度自编码器的人脸重构方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110647859A (zh) | 2020-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537864B (zh) | 利用具有网络渲染层的神经网络编辑数字图像 | |
| CN110647859B (zh) | 人脸图像分解方法和装置、电子设备及存储介质 | |
| CN113838176B (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
| WO2021253788A1 (zh) | 一种人体三维模型构建方法及装置 | |
| CN111767760A (zh) | 活体检测方法和装置、电子设备及存储介质 | |
| US10121273B2 (en) | Real-time reconstruction of the human body and automated avatar synthesis | |
| CN111882666B (zh) | 三维网格模型的重建方法及其装置、设备、存储介质 | |
| CN107977665A (zh) | 一种发票中关键信息的识别方法及计算设备 | |
| CN111597884A (zh) | 面部动作单元识别方法、装置、电子设备及存储介质 | |
| CN110020600A (zh) | 生成用于训练人脸对齐模型的数据集的方法 | |
| CN111274999B (zh) | 数据处理、图像处理方法、装置及电子设备 | |
| CN112132739A (zh) | 3d重建以及人脸姿态归一化方法、装置、存储介质及设备 | |
| CN117218300B (zh) | 三维模型的构建方法、三维构建模型的训练方法及装置 | |
| CN113298931B (zh) | 一种物体模型的重建方法、装置、终端设备和存储介质 | |
| CN113936090A (zh) | 三维人体重建的方法、装置、电子设备及存储介质 | |
| CN116664422A (zh) | 图像高光处理方法、装置、电子设备及可读存储介质 | |
| CN105551001B (zh) | 一种图像重建方法、装置及设备 | |
| CN112419334A (zh) | 基于深度学习的微表面材质重建方法及系统 | |
| CN116434303A (zh) | 基于多尺度特征融合的人脸表情捕捉方法、装置及介质 | |
| CN109035380B (zh) | 基于三维重建的人脸修饰方法、装置、设备及存储介质 | |
| CN111429388B (zh) | 一种图像处理方法、装置和终端设备 | |
| CN107644455B (zh) | 人脸图像合成方法和装置 | |
| CN116912148B (zh) | 图像增强方法、装置、计算机设备及计算机可读存储介质 | |
| CN110675311A (zh) | 一种素描序约束下的素描生成的方法、装置及存储介质 | |
| CN114119923B (zh) | 三维人脸重建方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |