CN111028142B - 图像处理方法、装置和存储介质 - Google Patents
图像处理方法、装置和存储介质 Download PDFInfo
- Publication number
- CN111028142B CN111028142B CN201911164225.XA CN201911164225A CN111028142B CN 111028142 B CN111028142 B CN 111028142B CN 201911164225 A CN201911164225 A CN 201911164225A CN 111028142 B CN111028142 B CN 111028142B
- Authority
- CN
- China
- Prior art keywords
- makeup
- image
- face image
- images
- countermeasure network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000007246 mechanism Effects 0.000 claims abstract description 106
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000013508 migration Methods 0.000 claims abstract description 33
- 230000005012 migration Effects 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims description 22
- 230000001815 facial effect Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 5
- 230000008485 antagonism Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000003796 beauty Effects 0.000 description 6
- 239000002537 cosmetic Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种图像处理方法、装置和存储介质。本发明的方法包括：获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像；根据N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得预设生成对抗网络；其中，生成对抗网络的编码器和判别器中均引入了注意力机制；获取目标人脸图像以及参考人脸妆容图像；根据预设生成对抗网络，将参考人脸妆容图像中的妆容迁移到目标人脸图像中，获得妆容迁移后的人脸图像，解决了现有技术中将参考人脸妆容图像中非妆容部分也迁移到目标人脸图像的问题，提高了妆容迁移的准确度，从而使得妆容迁移后的人脸图像的妆容更自然真实，提高用户体验。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置和存储介质。
背景技术
面部图像妆容迁移，即人脸妆容迁移，是近年来在图像处理领域出现的新的应用技术，可快速实现用户对化妆方面的体验需求。人脸妆容迁移就是指定一张目标人脸图像和一张参照人脸图像，将参考人脸图像上的妆容迁移到目标人脸图像上，得到自动上妆后的目标人脸图像，即妆容迁移结果图像。但是，现有技术中在进行妆容迁移时，可能会将参照人脸图像中的一些非妆容部分迁移到目标人脸图像中，从而使得妆容迁移结果图像中的妆容不自然。
发明内容
本发明实施例提供一种图像处理方法、装置和存储介质，解决了现有技术中将参考人脸妆容图像中非妆容部分也迁移到目标人脸图像的问题，提高了妆容迁移的准确度。
第一方面，本发明实施例提供一种图像处理，包括：
获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像；
根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络；其中，所述生成对抗网络的编码器和判别器中均引入了注意力机制；
获取目标人脸图像以及参考人脸妆容图像；
根据预设生成对抗网络，将所述参考人脸妆容图像中的妆容迁移到所述目标人脸图像中，获得妆容迁移后的人脸图像。
在一些可能的实施例中，所述根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络，包括：
将每张无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像输入到所述生成对抗网络算法的编码器中，以使所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，获得融合人脸图像；
将每张融合人脸图像输入到所述生成对抗网络的生成器中，获得该张融合人脸图像对应的输出图像；
将N张输出图像和各张输出图像对应的妆容人脸图像输入到所述生成对抗网络的判别器中，获取所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到的损失值；所述损失值用于表示所述N张输出图像与对应的妆容人脸图像之间的差异；
根据所述损失值、所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，迭代训练所述生成对抗网络，以获得所述预设生成对抗网络。
在一些可能的实施例中，所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，包括：
所述编码器根据第一注意力机制对每张无妆容人脸图像进行处理；
所述编码器根据第二注意力机制对每张无妆容人脸图像对应的妆容人脸图像进行处理；
所述编码器将处理后的无妆容人脸图像以及对应的处理后的妆容人脸图像进行融合处理；
其中，在训练所述生成对抗网络前，所述第一注意力机制和所述第二注意力机制的参数相同。
在一些可能的实施例中，所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到损失值，包括：
所述判别器根据第三注意力机制对N张输出图像进行处理，并获取处理后的输出图像的图像特征；
所述判别器根据所述第三注意力机制对各张输出图像对应的妆容人脸图像进行处理，并获取处理后的妆容人脸图像的图像特征；
所述判别器根据N张处理后的输出图像的图像特征以及对应的处理后的妆容人脸图像的图像特征，获得所述损失值。
在一些可能的实施例中，所述第一注意力机制和所述第二注意力机制的内部结构相同。
在一些可能的实施例中，所述注意力机制中引入至少两层空洞卷积层。
在一些可能的实施例中，所述注意力机制中的自编码器结构采用先上采样后下采样的操作。
第二方面，本发明实施例提供一种图像处理装置，包括：
第一获取模块，用于获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像；
训练模块，根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络；其中，所述生成对抗网络的编码器和判别器中均引入了注意力机制。
第二获取模块，用于获取目标人脸图像以及参考人脸妆容图像；
妆容迁移模块，用于根据预设生成对抗网络，将所述参考人脸妆容图像中的妆容迁移到所述目标人脸图像中，获得妆容迁移后的人脸图像；其中，所述预设生成对抗网络融合有注意力机制。
在一些可能的实施例中，所述训练模块根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络时，具体用于：
将每张无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像输入到所述生成对抗网络算法的编码器中，以使所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，获得融合人脸图像；
将每张融合人脸图像输入到所述生成对抗网络的生成器中，获得该张融合人脸图像对应的输出图像；
将N张输出图像和各张输出图像对应的妆容人脸图像输入到所述生成对抗网络的判别器中，获取所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到的损失值；所述损失值用于表示所述N张输出图像与对应的妆容人脸图像之间的差异；
根据所述损失值、所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，迭代训练所述生成对抗网络，以获得所述预设生成对抗网络。
在一些可能的实施例中，所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，包括：
所述编码器根据第一注意力机制对每张无妆容人脸图像进行处理；
所述编码器根据第二注意力机制对每张无妆容人脸图像对应的妆容人脸图像进行处理；
所述编码器将处理后的无妆容人脸图像以及对应的处理后的妆容人脸图像进行融合处理；
其中，在训练所述生成对抗网络前，所述第一注意力机制和所述第二注意力机制的参数相同。
在一些可能的实施例中，所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到损失值，包括：
所述判别器根据第三注意力机制对N张输出图像进行处理，并获取处理后的输出图像的图像特征；
所述判别器根据所述第三注意力机制对各张输出图像对应的妆容人脸图像进行处理，并获取处理后的妆容人脸图像的图像特征；
所述判别器根据N张处理后的输出图像的图像特征以及对应的处理后的妆容人脸图像的图像特征，获得所述损失值。
在一些可能的实施例中，所述第一注意力机制和所述第二注意力机制的内部结构相同。
在一些可能的实施例中，所述注意力机制中引入至少两层空洞卷积层。
在一些可能的实施例中，所述注意力机制中的自编码器结构采用先上采样后下采样的操作。
第三方面，本发明实施例提供一种电子设备，该电子设备包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，以执行本发明实施例第一方面任一项所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令被处理器执行时实现发明实施例第一方面任一项所述的方法。
第五方面，本申请实施例提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备实施本申请发明实施例第一方面任一项所述的方法。
本发明实施例提供一种图像处理方法、装置和存储介质，本实施例，通过无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像训练编码器和判别器中均引入了注意力机制的生成对抗网络，获得预设生成对抗网络，然后根据预设生成对抗网络，将参考人脸妆容图像中的妆容迁移到目标人脸图像，获得妆容迁移后的人脸图像。由于预设生成对抗网络的编码器和判别器中均引入了注意力机制，并且通过大量的无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像训练，可以解决现有技术中将参考人脸妆容图像中非妆容部分也迁移到目标人脸图像的问题，提高了妆容迁移的准确度，从而使得妆容迁移后的人脸图像的妆容更自然真实，提高用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供图像处理方法的流程图；
图2为本发明另一实施例提供图像处理方法的流程图；
图3为本发明一实施例提供的注意力机制的结构示意图；
图4为本发明一实施例提供的生成对抗网络的结构示意图；
图5为本发明一实施例提供的图像处理装置的结构示意图；
图6为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
近些年来，随着大家对容貌越来越重视，人工智能(Artificial Intelligence，AI)美颜技术得到了越来越多的关注，通过美颜技术可以实现自动上妆、根据人脸推荐最佳妆容等等，其中，人脸妆容迁移是自动上妆的一种方式也是。但是，现有技术中采用AI算法进行妆容迁移时，会将非妆容部分，例如，参照人脸图像中的眼镜，迁移到目标人脸图像中，造成自动上妆后的目标人脸图像非常怪异，不自然。
本发明实施例提供一种图像处理方法、装置和存储介质，将注意力机制融入到生成对抗网络中，并对融入注意力机制的生成对抗网络进行训练，使训练后的生成对抗网络在妆容迁移时，妆容迁移的准确性高，妆容迁移效果好。其中，本发明实施例所提供的图像处理方法可应用于安装有相机、摄像机、美颜APP等图像处理软件的终端中。
图1为本发明一实施例提供图像处理方法的流程图，如图1所示，本实施例的方法可以包括：
S101、获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像。
其中，N为大于或等于2的正整数。
本实施例中，获取多张清晰的图像，对每张图像进行图像处理，例如：依据每张图像中人脸中双眼的位置，对人脸进行旋转校正，提取人脸的68个特征点的位置，计算人脸长宽，以适当尺寸切割出人脸图像，对切割获得的人脸图像进行缩放，得到图像尺寸为256x256的人脸图像。
将得到的人脸图像按照是否带妆进行划分，得到多张无妆容人脸图像和妆容人脸图像。
需要说明的是，无妆容人脸图像与妆容人脸图像之间可以一一对应，另外多张妆容人脸图像的其中一张妆容人脸图像也可以对应两张或两张以上的无妆容人脸图像，即可以将一张妆容人脸图像中的妆容迁移到两张或两张以上的无妆容人脸图像。
S102、根据N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得预设生成对抗网络。
其中，生成对抗网络的编码器和判别器中均引入了注意力机制。
本实施例中，生成对抗网络融合有注意力机制，将无妆容人脸图像以及每张无妆容人脸图像对应的妆容人脸图像输入到生成对抗网络中，根据生成对抗网络的输出对生成对抗网络进行训练。然后，再次将无妆容人脸图像以及每张无妆容人脸图像对应的妆容人脸图像输入到经过训练的生成对抗网络中，根据生成对抗网络的输出再次对生成对抗网络进行训练。重复上述操作，直至生成对抗网络的输出符合预设条件，例如，迭代次数达到预设次数，获得训练后的生成对抗网络，即预设生成对抗网络。其中，由于生成对抗网络的编码器和判别器中均引入了注意力机制，在训练过程中，注意力机制也得到训练，从而在根据预设生成对抗网络进行妆容迁移时，提高迁移的准确性。
S103、获取目标人脸图像以及参考人脸妆容图像。
本实施例中，当需要对人脸图像进行自动上妆时，用户将目标人脸图像(即待上妆的人脸图像)上传到美颜APP中，并在美颜APP提供的多个带妆人脸图像中选取自己喜欢的带妆人脸图像(即参考人脸妆容图像)或者将参考人脸妆容图像上传到美颜APP中。
其中，需要说明的是，目标人脸图像可以是不带妆容的人脸图像，也可以是带妆容的人脸图像。并且，目标人脸图像和参考人脸妆容图像可以分别会同一用户的人脸图像，也可以是不同用户的人脸图像。
S104、根据预设生成对抗网络，将所述参考人脸妆容图像中的妆容迁移到所述目标人脸图像中，获得妆容迁移后的人脸图像。
其中，所述预设生成对抗网络融合有注意力机制。
本实施例中，根据预设生成对抗网络，将参考人脸妆容图像中的妆容迁移到目标人脸图像中，获得妆容迁移后的人脸图像，并在屏幕上显示妆容迁移后的人脸图像。其中，预设生成对抗网络是对融合有注意力机制的生成对抗网络训练后得到的。
在一些实施例中，对融合有注意力机制的生成对抗网络进行训练，获得预设生成对抗网络的一种可能的实现方式为：
本实施例，通过无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像训练编码器和判别器中均引入了注意力机制的生成对抗网络，获得预设生成对抗网络，然后根据预设生成对抗网络，将参考人脸妆容图像中的妆容迁移到目标人脸图像，获得妆容迁移后的人脸图像。由于预设生成对抗网络的编码器和判别器中均引入了注意力机制，并且通过大量的无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像训练，可以解决现有技术中将参考人脸妆容图像中非妆容部分也迁移到目标人脸图像的问题，提高了妆容迁移的准确度，从而使得妆容迁移后的人脸图像的妆容更自然真实，提高用户体验。
图2为本发明另一实施例提供图像处理方法的流程图，如图2所示，本实施例的方法可以包括：
S201、获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像。
本实施例中，S201的具体实现方式可参考S101，此处不再赘述。
S202、将每张无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像输入到生成对抗网络算法的编码器中，以使编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，获得融合人脸图像。
其中，所述编码器中引入了注意力机制。
本实施例中，生成对抗网络算法的编码器中引入了注意力机制，将每张无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像输入到生成对抗网络算法的编码器中，通过注意力机制提取每张无妆容人脸图像以及每张无妆容人脸图像对应的妆容人脸图像的图像特征，并将每张无妆容人脸图像的图像特征以及与该无妆容人脸图像对应的妆容人脸图像的图像特征进行融合，获得融合人脸图像。
图3为本发明一实施例提供的注意力机制的结构示意图。如图3所示，注意力机制的网络中，包括两条分支。一条分支用来提取输入图像的图像特征，另一分支用来生成针对输入的注意力权重。从而在注意力机制的网络中的融合层中将图像特征中的每个特征与该特征的权重进行乘积操作，获得输入图像的图像特征。其中，在一些实施例中，注意力机制中引入至少两层空洞卷积层，图3中示出的是两层空洞卷积层的情况，通过两层空洞卷积层，加大了感受野，让每个卷积输出都包含较大范围的信息，从而可以更好的保留妆容内部关系的空间信息，使妆容迁移后的图像更加逼真自然。
在一些实施例中，如图3所示，注意力机制中的自编码器结构采用先上采样后下采样的操作，通过上采样，增加输入中对应感受野，这样能提取到输入图像的全局信息，从而使得经过注意力机制的网络中的融合层得到的人脸图像与实际输入的人脸图像更接近，因此，对于妆容人脸图像，注意力机制的网络中的融合层得到的人脸图像中的妆容部分与实际妆容人脸图像中的妆容部分更接近，从而在进妆容迁移时，妆容部分更好的迁移到无妆容人脸图像中，使得妆容迁移后获得的无妆容人脸图像中的妆容更自然真实。
如图3所示，经过自编码器结构以及两层卷积层后，得到的图像特征中每个特征的注意力权重并不是位于0-1之间，例如可以通过S型生长曲线(即Sigmoid函数)将每个特征的注意力权重映射到0-1中。其中，Sigmoid函数采用混合注意力模式，不采用任何额外约束，公式为：
其中，z表示图像特征中每个特征的注意力权重。
S203、将每张融合人脸图像输入到生成对抗网络的生成器中，获得该张融合人脸图像对应的输出图像。
本实施例中，生成对抗网络的生成器对每张融合人脸图像进行处理，获得每张融合人脸图像对应的输出图像。其中，该每张融合人脸图像对应的输出图像即为妆容迁移后获得的无妆容人脸图像。
S204、将N张输出图像和各张输出图像对应的妆容人脸图像输入到生成对抗网络的判别器中，获取判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到的损失值。
其中，损失值用于表示N张输出图像与对应的妆容人脸图像之间的差异；所述判别器中引入了注意力机制。
本实施例中，生成对抗网络的判别器中引入注意力机制，将每张输出图像和每张输出图像对应的妆容人脸图像输入到生成对抗网络的判别器中，通过注意力机制可以提取每张输出图像和每张输出图像对应的妆容人脸图像的图像特征，使得判别器在计算损失值时，注重每张输出图像和每张输出图像对应的妆容人脸图像中的妆容部分，从而使得获得的损失值更能体现出妆容的差异。
S205、根据损失值、N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，迭代训练生成对抗网络，以获得预设生成对抗网络。
本实施例中，根据损失值对生成对抗网络中的网络参数进行训练，然后将每张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像输入到训练后的生成对抗网络中，再次获得损失值，根据损失值再次对训练后的生成对抗网络中的网络参数进行训练，重复上述步骤，直至满足停止训练条件，例如，损失值在预设范围内，获得预设生成对抗网络。
S206、获取目标人脸图像以及参考人脸妆容图像。
S207、根据预设生成对抗网络，将参考人脸妆容图像中的妆容迁移到目标人脸图像中，获得妆容迁移后的人脸图像。
本实施例中，S206和S207的实现方式可分别参考S103和S104，此处不再赘述。
本实施例，通过在生成对抗网络的编码其中引入注意力机制，通过注意力机制可以有针对性的提取每张无妆容人脸图像以及每张无妆容人脸图像对应的妆容人脸图像的图像特征，从而在妆容迁移时，避免将非妆容部分迁移到目标人脸图像中。并且，在判别器中引入注意力机制，使得判别器在计算损失值时，注重每张输出图像和每张输出图像对应的妆容人脸图像中的妆容部分，从而使得获得的损失值更能体现出妆容的差异，从而使得根据损失值训练后的生成对抗网络，妆容迁移的准确性更高。
图4为本发明一实施例提供的生成对抗网络的结构示意图。根据图4所示的生成对抗网络，在一些实施例中，S202中，编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合的一种可能的实现方式为：
S2021、编码器根据第一注意力机制对每张无妆容人脸图像进行处理。
S2022、编码器根据第二注意力机制对每张无妆容人脸图像对应的妆容人脸图像进行处理。
其中，在训练生成对抗网络前，第一注意力机制和第二注意力机制的参数相同。
本实施例中，如图4所示，生成对抗网络的编码器结构包括两条注意力机制分支，即第一注意力机制和第二注意力机制。其中，在一些实施例中，第一注意力机制和第二注意力机制的内部结构相同，即第一注意力机制和第二注意力机制均包括4个连续的注意力网络，并且，第一注意力机制中的注意力网络与第二注意力机制中对应位置的注意力网络的网络结构相同。将每张无妆容人脸图像输入到第一注意力机制，第一注意力机制中的每个注意力网络对每张无妆容人脸图像进行特征处理，例如，输入到注意力网络110的无妆容人脸图像为256*256的人脸图像，经过注意力网络110后，得到128*128的人脸图像，将128*128的人脸图像输入到注意力网络120，得到64*64的人脸图像，最后，通过注意力网络140得到256*256的无妆容人脸图像。第二注意力机制中的每个注意力网络对输入的与每张无妆容人脸图像对应的妆容人脸图像进行同样的处理，得到256*256的妆容人脸图像。
其中，第二注意力机制中的注意力网络输出的人脸图像的大小与第一注意力机制中对应位置的注意力网络输出的人脸图像的大小相同。
需要说明的是，第一注意力机制中每个注意力网络的网络参数的初始化方法与第二注意力机制中对应位置的注意力网络的网络参数的初始化方法相同，使得没有训练的生成对抗网络的编码器中第一注意力机制中每个注意力网络的网络参数与第二注意力机制中对应位置的注意力网络的网络参数相同。而根据损失值训练后，编码器中每个注意力网络的网络参数发生变化，即编码器中第一注意力机制中每个注意力网络变化后的网络参数与第二注意力机制中对应位置的注意力网络变化后的网络参数不一定相同，使得每个注意力网络可以更精确的提取输入的人脸图像的图像特征。
S2023、编码器将处理后的无妆容人脸图像以及对应的处理后的妆容人脸图像进行融合处理。
本实施例中，将第一注意力机制中注意力网络140输出的无妆容人脸图像与第二注意力机制中注意力网络240输出的妆容人脸图像进行融合，例如，将两个人脸图像中对应位置的像素值相加。
继续结合图4，在一些实施例中，S204中，判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到损失值的一种可能的实现方式为：
S2041、判别器根据第三注意力机制对N张输出图像进行处理，并获取处理后的输出图像的图像特征。
S2042、判别器根据第三注意力机制对各张输出图像对应的妆容人脸图像进行处理，并获取处理后的妆容人脸图像的图像特征。
本实施例中，如图4所示，判别器的第三注意力机制包括4个连续的注意力网络，将生成器输出的输出图像以及与每张输出图像对应的妆容人脸图像输入到判别器中，通过4个连续的注意力网络，提取每张输出图像和每张妆容人脸图像中的图像特征。其中，由于判别器的第三注意力机制包括4个连续的注意力网络，使得提取的每张输出图像和每张妆容人脸图像中的图像特征中的妆容部分更精确，即尽可能的使提取的每张输出图像和每张妆容人脸图像中的图像特征中不包括非妆容部分。并且，也使判别器在计算损失值时，更注重每张输出图像以及对应的妆容人脸图像之间的妆容的差异，根据损失值训练生成网络时，使预设生成网络的妆容迁移更准确。
S2043、判别器根据N张处理后的输出图像的图像特征以及对应的处理后的妆容人脸图像的图像特征，获得损失值。
本实施例中，在判别器中，与第三注意力机制连接有两层全连接层，通过两层全连接层对第三注意力机制输出的处理后的输出图像的图像特征以及处理后的妆容人脸图像的图像特征进行处理后，计算损失值。其中，损失值计算公式如公式2所示：
mGinmDaxeX[logD(X)]+eY[log(1-D(G(E(Y))))]公式2其中，X表示输入的妆容人脸图像集合，Y表示输入的无妆容人脸图像集合，E表示编码器结构对应的网络参数，G表示生成器结构对应的网络参数，D表示判别器结构对应的网络参数，E(i)表示将图像i输入到编码器中得到的图像，G(i)表示将图像i输入到生成器中得到的图像，D(i)表示将图像i输入到判别器中得到的图像。其中，i表示任一图像。
图5为本发明一实施例提供的图像处理装置的结构示意图，如图5所示，本实施例的装置可以包括：第一获取模块51、训练模块52、第一获取模块53和妆容迁移模块54。
第一获取模块51，用于获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像；
训练模块52，根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络；其中，所述生成对抗网络的编码器和判别器中均引入了注意力机制。
第二获取模块53，用于获取目标人脸图像以及参考人脸妆容图像；
妆容迁移模块54，用于根据预设生成对抗网络，将所述参考人脸妆容图像中的妆容迁移到所述目标人脸图像中，获得妆容迁移后的人脸图像。
在一些可能的实施例中，所述训练模块52根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络时，具体用于：
将每张无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像输入到所述生成对抗网络算法的编码器中，以使所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，获得融合人脸图像；
将每张融合人脸图像输入到所述生成对抗网络的生成器中，获得该张融合人脸图像对应的输出图像；
将N张输出图像和各张输出图像对应的妆容人脸图像输入到所述生成对抗网络的判别器中，获取所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到的损失值；所述损失值用于表示所述N张输出图像与对应的妆容人脸图像之间的差异；
根据所述损失值、所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，迭代训练所述生成对抗网络，以获得所述预设生成对抗网络。
在一些可能的实施例中，所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，包括：
所述编码器根据第一注意力机制对每张无妆容人脸图像进行处理；
所述编码器根据第二注意力机制对每张无妆容人脸图像对应的妆容人脸图像进行处理；
所述编码器将处理后的无妆容人脸图像以及对应的处理后的妆容人脸图像进行融合处理；
其中，在训练所述生成对抗网络前，所述第一注意力机制和所述第二注意力机制的参数相同。
在一些可能的实施例中，所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到损失值，包括：
所述判别器根据第三注意力机制对N张输出图像进行处理，并获取处理后的输出图像的图像特征；
所述判别器根据所述第三注意力机制对各张输出图像对应的妆容人脸图像进行处理，并获取处理后的妆容人脸图像的图像特征；
所述判别器根据N张处理后的输出图像的图像特征以及对应的处理后的妆容人脸图像的图像特征，获得所述损失值。
在一些可能的实施例中，所述第一注意力机制和所述第二注意力机制的内部结构相同。
在一些可能的实施例中，所述注意力机制中引入至少两层空洞卷积层。
在一些可能的实施例中，所述注意力机制中的自编码器结构采用先上采样后下采样的操作。
本实施例的装置，可以用于执行任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图6为本发明一实施例提供的电子设备的结构示意图，如图6所示，本实施例的电子设备可以包括：至少一个处理器61和存储器62。图6示出的是以一个处理器为例的电子设备，其中，
存储器62，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器62可能包含高速随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器61，用于执行所述存储器62存储的计算机执行指令，以实现上述实施例所示的图像处理方法。
其中，处理器61可能是一个中央处理器(Central Processing Unit，CPU)，或者是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选的，在具体实现上，如果存储器62和处理器61独立实现，则存储器62和处理器61可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器62和处理器61集成在一块芯片上实现，则存储器62和处理器61可以通过内部接口完成相同间的通信。
本实施例以上所述的电子设备，可以用于执行上述各方法实施例中示出的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种图像处理方法，其特征在于，包括：
获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像；其中，N为大于或等于2的正整数；
根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得预设生成对抗网络；其中，所述生成对抗网络的编码器和判别器中均引入了注意力机制；所述生成对抗网络的编码器包括第一注意力机制和第二注意力机制；所述注意力机制中引入至少两层空洞卷积层；所述注意力机制中的自编码器结构采用先上采样后下采样的操作；
获取目标人脸图像以及参考人脸妆容图像；
根据预设生成对抗网络，将所述参考人脸妆容图像中的妆容迁移到所述目标人脸图像中，获得妆容迁移后的人脸图像；
所述根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络，包括：
将每张无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像输入到所述生成对抗网络算法的编码器中，以使所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，获得融合人脸图像；其中，所述编码器中引入了注意力机制；
将每张融合人脸图像输入到所述生成对抗网络的生成器中，获得该张融合人脸图像对应的输出图像；其中，融合人脸图像对应的输出图像为妆容迁移后获得的无妆容人脸图像；
将N张输出图像和各张输出图像对应的妆容人脸图像输入到所述生成对抗网络的判别器中，获取所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到的损失值；所述损失值用于表示所述N张输出图像与对应的妆容人脸图像之间的差异；其中，所述判别器中引入了注意力机制；
根据所述损失值、所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，迭代训练所述生成对抗网络，以获得所述预设生成对抗网络。
2.根据权利要求1所述的方法，其特征在于，所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，包括：
所述编码器根据第一注意力机制对每张无妆容人脸图像进行处理；
所述编码器根据第二注意力机制对每张无妆容人脸图像对应的妆容人脸图像进行处理；
所述编码器将处理后的无妆容人脸图像以及对应的处理后的妆容人脸图像进行融合处理；
其中，在训练所述生成对抗网络前，所述第一注意力机制和所述第二注意力机制的参数相同。
3.根据权利要求1所述的方法，其特征在于，所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到损失值，包括：
所述判别器根据第三注意力机制对N张输出图像进行处理，并获取处理后的输出图像的图像特征；
所述判别器根据所述第三注意力机制对各张输出图像对应的妆容人脸图像进行处理，并获取处理后的妆容人脸图像的图像特征；
所述判别器根据N张处理后的输出图像的图像特征以及对应的处理后的妆容人脸图像的图像特征，获得所述损失值。
4.根据权利要求1所述的方法，其特征在于，第一注意力机制和第二注意力机制的内部结构相同。
5.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像；
训练模块，用于根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得预设生成对抗网络；其中，所述生成对抗网络的编码器和判别器中均引入了注意力机制；所述生成对抗网络的编码器包括第一注意力机制和第二注意力机制；所述注意力机制中引入至少两层空洞卷积层；所述注意力机制中的自编码器结构采用先上采样后下采样的操作；
第二获取模块，用于获取目标人脸图像以及参考人脸妆容图像；
妆容迁移模块，用于根据预设生成对抗网络，将所述参考人脸妆容图像中的妆容迁移到所述目标人脸图像中，获得妆容迁移后的人脸图像；其中，所述预设生成对抗网络融合有注意力机制；
所述训练模块根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络时，具体用于：
将每张无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像输入到所述生成对抗网络算法的编码器中，以使所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，获得融合人脸图像；
将每张融合人脸图像输入到所述生成对抗网络的生成器中，获得该张融合人脸图像对应的输出图像；其中，融合人脸图像对应的输出图像为妆容迁移后获得的无妆容人脸图像；
将N张输出图像和各张输出图像对应的妆容人脸图像输入到所述生成对抗网络的判别器中，获取所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到的损失值；所述损失值用于表示所述N张输出图像与对应的妆容人脸图像之间的差异；
根据所述损失值、所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，迭代训练所述生成对抗网络，以获得所述预设生成对抗网络。
6.一种电子设备，其特征在于，包括：存储器和至少一个处理器，存储器用于存储程序指令，处理器用于调用存储器中的程序指令执行如权利要求1-4任一项所述的图像处理方法。
7.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序；所述计算机程序被执行时，实现如权利要求1-4任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911164225.XA CN111028142B (zh) | 2019-11-25 | 2019-11-25 | 图像处理方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911164225.XA CN111028142B (zh) | 2019-11-25 | 2019-11-25 | 图像处理方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111028142A CN111028142A (zh) | 2020-04-17 |
| CN111028142B true CN111028142B (zh) | 2024-02-13 |
Family
ID=70206508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911164225.XA Active CN111028142B (zh) | 2019-11-25 | 2019-11-25 | 图像处理方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111028142B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783647B (zh) * | 2020-06-30 | 2023-11-03 | 北京百度网讯科技有限公司 | 人脸融合模型的训练方法、人脸融合方法、装置及设备 |
| CN111815533B (zh) * | 2020-07-14 | 2024-01-19 | 厦门美图之家科技有限公司 | 妆容处理方法、装置、电子设备和可读存储介质 |
| CN111815534B (zh) * | 2020-07-14 | 2023-12-19 | 厦门美图之家科技有限公司 | 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质 |
| CN111950430A (zh) * | 2020-08-07 | 2020-11-17 | 武汉理工大学 | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 |
| CN111950432B (zh) * | 2020-08-07 | 2024-03-08 | 武汉理工大学 | 一种基于区域风格一致性的妆容风格迁移方法及系统 |
| CN113362422B (zh) * | 2021-06-08 | 2022-07-05 | 武汉理工大学 | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 |
| CN113706428B (zh) * | 2021-07-02 | 2024-01-05 | 杭州海康威视数字技术股份有限公司 | 一种图像生成方法及装置 |
| CN117764687A (zh) * | 2024-01-22 | 2024-03-26 | 广州福旦科技有限公司 | 基于人工智能和图像处理的化妆品推荐方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090465A (zh) * | 2017-12-29 | 2018-05-29 | 国信优易数据有限公司 | 一种妆容效果处理模型训练方法及妆容效果处理方法 |
| CN109712203A (zh) * | 2018-12-29 | 2019-05-03 | 福建帝视信息科技有限公司 | 一种基于自注意力生成对抗网络的图像着色方法 |
| CN109859288A (zh) * | 2018-12-25 | 2019-06-07 | 北京飞搜科技有限公司 | 基于生成对抗网络的图像上色方法及装置 |
| CN109858392A (zh) * | 2019-01-11 | 2019-06-07 | 复旦大学 | 一种用于化妆前后人脸图像自动识别方法 |
| WO2019128508A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110222588A (zh) * | 2019-05-15 | 2019-09-10 | 合肥进毅智能技术有限公司 | 一种人脸素描图像衰老合成方法、装置及存储介质 |
| CN110443752A (zh) * | 2019-07-25 | 2019-11-12 | 维沃移动通信有限公司 | 一种图像处理方法和移动终端 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10825219B2 (en) * | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
-
2019
- 2019-11-25 CN CN201911164225.XA patent/CN111028142B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019128508A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108090465A (zh) * | 2017-12-29 | 2018-05-29 | 国信优易数据有限公司 | 一种妆容效果处理模型训练方法及妆容效果处理方法 |
| CN109859288A (zh) * | 2018-12-25 | 2019-06-07 | 北京飞搜科技有限公司 | 基于生成对抗网络的图像上色方法及装置 |
| CN109712203A (zh) * | 2018-12-29 | 2019-05-03 | 福建帝视信息科技有限公司 | 一种基于自注意力生成对抗网络的图像着色方法 |
| CN109858392A (zh) * | 2019-01-11 | 2019-06-07 | 复旦大学 | 一种用于化妆前后人脸图像自动识别方法 |
| CN110222588A (zh) * | 2019-05-15 | 2019-09-10 | 合肥进毅智能技术有限公司 | 一种人脸素描图像衰老合成方法、装置及存储介质 |
| CN110443752A (zh) * | 2019-07-25 | 2019-11-12 | 维沃移动通信有限公司 | 一种图像处理方法和移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111028142A (zh) | 2020-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028142B (zh) | 图像处理方法、装置和存储介质 | |
| TWI753327B (zh) | 圖像處理方法、處理器、電子設備與電腦可讀存儲介質 | |
| JP7198332B2 (ja) | 画像正則化及びリターゲティングシステム | |
| CN108681743B (zh) | 图像对象识别方法和装置、存储介质 | |
| CN113327278B (zh) | 三维人脸重建方法、装置、设备以及存储介质 | |
| CN113822437B (zh) | 深度分层的变分自动编码器 | |
| CN108734653B (zh) | 图像风格转换方法及装置 | |
| CN111814566A (zh) | 图像编辑方法、装置、电子设备及存储介质 | |
| CN110246209B (zh) | 图像处理方法及装置 | |
| EP4046127A1 (en) | Image-to-image translation using unpaired data for supervised learning | |
| US20220156987A1 (en) | Adaptive convolutions in neural networks | |
| CN110874575A (zh) | 一种脸部图像处理方法及相关设备 | |
| CN116188912A (zh) | 主题图像的图像合成模型的训练方法、装置、介质及设备 | |
| CN110728319A (zh) | 一种图像生成方法、装置以及计算机存储介质 | |
| CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN106407932A (zh) | 基于分数阶微积分与广义逆神经网络的手写数字识别方法 | |
| CN113538221A (zh) | 三维人脸的处理方法、训练方法、生成方法、装置及设备 | |
| CN113762022A (zh) | 人脸图像的融合方法和装置 | |
| CN116363561A (zh) | 一种时序动作定位方法、装置、设备及存储介质 | |
| CN113592074B (zh) | 一种训练方法、生成方法及装置、电子设备 | |
| CN113239835B (zh) | 模型感知的手势迁移方法 | |
| CN115439179A (zh) | 训练试衣模型的方法、虚拟试衣方法及相关装置 | |
| EP4002280A1 (en) | Method and apparatus for generating image | |
| CN113592971A (zh) | 一种虚拟人体图像生成方法、系统、设备及介质 | |
| CN111815504A (zh) | 一种图像的生成方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |