CN112767287A - 一种模型训练、图像处理方法、装置、设备及介质 - Google Patents

一种模型训练、图像处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN112767287A
CN112767287A CN202110261868.7A CN202110261868A CN112767287A CN 112767287 A CN112767287 A CN 112767287A CN 202110261868 A CN202110261868 A CN 202110261868A CN 112767287 A CN112767287 A CN 112767287A
Authority
CN
China
Prior art keywords
image
makeup
original image
feature map
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110261868.7A
Other languages
English (en)
Inventor
赵祥
李玉乐
项伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Bigo Technology Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Pte Ltd filed Critical Bigo Technology Pte Ltd
Priority to CN202110261868.7A priority Critical patent/CN112767287A/zh
Publication of CN112767287A publication Critical patent/CN112767287A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种模型训练、图像处理方法、装置、设备及介质，由于本发明实施例中，获取样本集中的任一样本图像对，对该唇妆注入模型的生成器的参数进行调整，最终得到训练完成的唇妆注入模型，基于原图像与预先保存的图像进行特征匹配，确定与该原图像匹配的目标图像后，基于预先训练完成的唇妆注入模型最终确定上妆完成的图像，可以提升生成的上妆后的图像的妆容质感，提高用户体验。

Description

一种模型训练、图像处理方法、装置、设备及介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种模型训练、图像处理方法、装置、设备及介质。
背景技术
伴随着计算机视觉技术的快速发展，嘴唇上妆广泛应用于内容生产以及娱乐视频中，主要过程就是基于原图像和目标图像，将目标图像中的唇妆信息迁移到原图像中，由此生成上妆后的图像。
但是由于每个人的肤色存在差异，因此很难保证基于每个人的肤色，提供并推荐给每个人最合适的妆容，也就是说很难保证妆容的美感以及生成的上妆后的图像的自然。
在现有技术中，嘴唇上妆只能够提供几组固定的妆容，且可选择性很少，导致基于固定的妆容生成的上妆后的图像的妆容质感差，影响用户体验。
发明内容
本发明提供了一种模型训练、图像处理方法、装置、设备及介质，用以解决现有技术中基于固定妆容生成的上妆后的图像的妆容质感差，影响用户体验的问题。
第一方面，本发明实施例提供了一种模型训练方法，所述方法包括：
获取样本集中的任一样本图像对，其中，所述样本图像对包括：样本原图像以及样本目标图像；
将所述样本原图像以及所述样本目标图像输入到唇妆注入模型的生成器中，获得上妆完成的预测图像；
将所述样本原图像以及所述上妆完成的预测图像输入到预先训练完成的对比特征提取网络中，确定第一损失值；
将所述上妆完成的预测图像输入到预先训练完成的判别器中，确定第二损失值；
将所述上妆完成的预测图像以及所述样本目标图像输入到预先训练完成的判别器，确定第三损失值；
根据所述第一损失值、所述第二损失值以及所述第三损失值和值，对所述唇妆注入模型的生成器的参数进行调整。
第二方面，本发明实施例提供了一种图像处理方法，所述方法包括：
将原图像和预先保存的图像进行特征匹配，确定所述预先保存的图像中与所述原图像匹配的目标图像；
通过预先训练完成的唇妆注入模型，根据输入的所述目标图像和所述原图像，确定上妆完成的图像。
第三方面，本发明实施例提供了一种模型训练装置，所述装置包括：
获取模块，用于获取样本集中的任一样本图像对，其中，所述样本图像对包括：样本原图像以及样本目标图像；将所述样本原图像以及所述样本目标图像输入到唇妆注入模型的生成器中，获得上妆完成的预测图像；
第一确定模块，用于将所述样本原图像以及所述上妆完成的预测图像输入到预先训练完成的对比特征提取网络中，确定第一损失值；将所述上妆完成的预测图像输入到预先训练完成的判别器中，确定第二损失值；将所述上妆完成的预测图像以及所述样本目标图像输入到预先训练完成的判别器，确定第三损失值；
调整模块，用于根据所述第一损失值、所述第二损失值以及所述第三损失值和值，对所述唇妆注入模型的生成器的参数进行调整。
第四方面，本发明实施例提供了一种图像处理装置，所述装置包括：
匹配模块，用于将原图像和预先保存的图像进行特征匹配，确定所述预先保存的图像中与所述原图像匹配的目标图像；
第二确定模块，用于通过预先训练完成的唇妆注入模型，根据输入的所述目标图像和所述原图像，确定上妆完成的图像。
第五方面，本发明实施例提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时执行上述任一所述模型训练方法的步骤或执行上述任一所述图像处理方法的步骤。
第六方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时执行上述任一所述模型训练方法的步骤或执行上述任一所述图像处理方法的步骤。
在本发明实施例中，获取样本集中的任一样本图像对，其中，该样本图像对包括：样本原图像以及样本目标图像；将该样本原图像以及该样本目标图像输入到唇妆注入模型的生成器中，获得上妆完成的预测图像；将该样本原图像以及该上妆完成的预测图像输入到预先训练完成的对比特征提取网络中，确定第一损失值；将该上妆完成的预测图像输入到预先训练完成的判别器中，确定第二损失值；将该上妆完成的预测图像以及该样本目标图像输入到预先训练完成的判别器，确定第三损失值；根据该第一损失值、该第二损失值以及该第三损失值和值，对该唇妆注入模型的生成器的参数进行调整。由于本发明实施例中，获取样本集中的任一样本图像对，对该唇妆注入模型的生成器的参数进行调整，最终得到训练完成的唇妆注入模型，基于原图像与预先保存的图像进行特征匹配，确定与该原图像匹配的目标图像后，基于预先训练完成的唇妆注入模型最终确定上妆完成的图像，可以提升生成的上妆后的图像的妆容质感，提高用户体验。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种模型训练的过程示意图；
图2为本发明实施例提供的一种图像处理的过程示意图；
图3为本发明实施例提供的一种基于自适应实施归一化的残差模块进行特征融合的详细过程示意图；
图4为本发明实施例提供的一种针对唇部上妆的过程示意图；
图5为本发明实施例提供的一种基于唇妆注入模型获取上妆完成的图像的过程示意图；
图6为本发明实施例提供的一种模型训练装置结构示意图；
图7为本发明实施例提供的一种图像处理装置结构示意图；
图8为本发明实施例提供的一种电子设备。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员所获取的所有其他实施例，都属于本发明保护的范围。
为了提升生成的上妆后的图像的妆容质感，提高用户体验，本发明实施例提供了一种图像处理方法、装置、电子设备及存储介质。
实施例1：
图1为本发明实施例提供的一种模型训练的过程示意图，该过程包括以下步骤：
S101：获取样本集中的任一样本图像对，其中，所述样本图像对包括：样本原图像以及样本目标图像。
在本发明实施例中，在将原图像和目标图像输入到唇妆注入模型，获得上妆完成的图像之前，预先对该唇妆注入模型进行训练，为了便于区分，将训练过程的原图像称为样本原图像，将训练过程中根据样本原图像与预先保存的图像进行特征匹配后获得的目标图像称为样本目标图像，将训练过程中基于样本原图像和样本目标图像输入到唇妆注入模型获得的上妆完成图像称为上妆完成的预测图像。
在针对唇妆注入模型进行训练时，预先确定进行训练的样本集，在本发明实施例中，该样本集中包含很多样本图像对，该样本图像对包括：样本图像以及基于该样本图像与预先保存的图像进行特征匹配后确定的样本目标图像。
S102：将所述样本原图像以及所述样本目标图像输入到唇妆注入模型的生成器中，获得上妆完成的预测图像。
在本发明实施例中，为了生成上妆完成的预测图像，该唇妆注入模型中包含生成器，将该样本图像对，也就是样本原图像以及该样本目标图像输入到唇妆注入模型的生成器中，获得上妆完成的预测图像。
S103：将所述样本原图像以及所述上妆完成的预测图像输入到预先训练完成的对比特征提取网络中，确定第一损失值。
为了不断的优化训练中的唇妆注入模型，需要针对该唇妆注入模型中的损失函数，对该生成器的参数进行更新，在本发明实施例中，为了使得生成的上妆完成的预测图像保持原图像的特征，在本发明实施例中，可以根据样本原图像以及上妆完成的预测图像，确定第一损失值，其中，该第一损失值为特征损失值，具体的，将该样本原图像和上妆完成的预测图像输入到预先训练完成的对比特征提取网络中，该对比特征提取网络可以为超分辨测试序列网络(Visual Geometry Group Network，VGG)，具体的，根据vgg_loss＝vgg(gen_img)-vgg(src_img)||，确定该第一损失值；
其中，该vgg_loss为第一损失值，该vgg(gen_img)表示上妆完成的预测样本图像输入到该预先训练完成的对比特征提取网络后获取的特征值，该vgg(scr_img)表示样本原图像输入到该预先训练完成的对比特征提取网络后获取的特征值。
S104：将所述上妆完成的预测图像输入到预先训练完成的判别器中，确定第二损失值。
为了让生成的上妆完成的图像更自然，在本发明实施例中，可以根据上妆完成的预测样本图像以及预先训练完成的判别器，确定第二损失值，也就是将上妆完成的预测样本图像输入到预先训练完成的判别器中，确定第二损失值，其中，该第二损失值为对抗损失值，其中，该判别器可以为判别器网络(discriminator，dis)，具体的，根据gan_loss＝E[log(1-dis(gen_img))]，确定该第二损失值；
其中，该gan_loss为第二损失值，dis(gen_img)为将上妆完成的预测样本图像输入到预先训练完成的判别器中获得的特征值。
也就是说，在确定第二损失值的过程中，确定该将上妆完成的预测样本图像输入到预先训练完成的判别器中获得的特征值，再确定预设的数值与该特征值之间的差值，将该差值确定为第一数值，其中，该预设的数值为1，将该第一数值进行对数运算获得第二数值，将该第二数值取期望值，获得第二损失值。
S105：将所述上妆完成的预测图像以及所述样本目标图像输入到预先训练完成的判别器，确定第三损失值。
为了使生成的上妆完成的图像的风格与目标图像的风格更接近，唇妆更有质感，在本发明实施例中，将该上妆完成的预测图像以及该样本目标图像输入到基于预先训练完成的判别器中，确定第三损失值，其中，该第三损失值为特征匹配损失值。其中，该判别器为多尺度判别器，且该判别器也可以为dis。
具体的，根据
Figure BDA0002970367280000061
确定该第三损失值；
其中，ganFeat_loss为第三损失值，dis(gen_img)为上妆完成的预测图像经过该判别器后获取的特征值，dis(scr_img)为样本目标图像经过判别器获取的特征值。
S106：根据所述第一损失值、所述第二损失值以及所述第三损失值和值，对所述唇妆注入模型的生成器的参数进行调整。
在本发明实施例中，在获得第一损失值、第二损失值以及第三损失值后，也就是在获得特征损失值、对抗损失值以及特征匹配损失值后，根据该第一损失值、第二损失值以及第三损失值，对唇妆注入模型的生成器的参数进行调整，具体的，根据total_loss＝vgg_loss+gan_loss+ganFeat_loss，确定损失函数；
其中，total_loss为损失函数，vgg_loss为第一损失值，gan_loss为第二损失值，ganFeat_loss为第三损失值。
在根据第一损失值、第二损失值以及第三损失值确定损失函数后，确定该损失函数的自变量，其中，该损失函数的自变量也就是该唇妆注入模型的生成器的参数。为了调整该唇妆注入模型的生成器的参数，从而实现对于该唇妆注入模型的训练，在本发明实施例中，对该损失函数的自变量进行求导，确定该损失函数取最小值时对应的自变量的数值，并将该数值确定为该生成器对应的调整的参数并进行调整，其中，该损失函数的值越小，该唇妆注入模型的唇妆上妆效果越好，损失函数的值越大，唇妆注入模型的唇妆上妆效果越差。
实施例2：
为了获得训练唇妆注入模型中的判别器，在上述实施例的基础上，在本发明实施例中，所述训练所述判别器的过程包括：
将上妆完成的预测图像以及样本原图像输入到判别器中，确定第四损失值；
根据所述第四损失值对所述判别器的参数进行调整。
在本发明实施例中，在对该唇妆注入模型中的判别器进行训练时，将该上妆完成的预测图像以及样本原图像输入到判别器中，获得第四损失值，其中，该第四损失值为对抗损失值，该对抗损失值也就是该判别器对应的损失函数。
具体的，根据dis_loss＝E[logdis(gen_img)]+E[log(1-dis(scr_img))]，确定该第四损失值；
其中，该dis_loss为第四损失值，dis(gen_img)为将上妆完成的预测图像输入到预先训练完成的判别器中获得的特征值，dis(scr_img)为将样本原图像输入到预先训练完成的判别器中获得的特征值。
也就是说，在确定第四损失值的过程中，确定该将上妆完成的预测图像输入到预先训练完成的判别器中获得的第一特征值，再对该第一特征进行对数运算获得第三数值，将该第三数值取期望值，确定第四数值，确定将样本原图像输入到预先训练完成的判别器中获得的第二特征值，确定预设的数值与该第二特征值之间的差值，将该差值确定为第五数值，其中，该预设的数值为1，将该第五数值进行对数运算获得第六数值，将该第六数值取期望值，获得第七数值，确定该第七数值与该第四数值的和值，将该和值确定为第四损失值。
为了调整该唇妆注入模型的判别器的参数，在本发明实施例中，对该损失函数的自变量进行求导，确定该第四损失值取最小值时对应的自变量的数值，并将该数值确定为该判别器对应的调整的参数并进行调整，其中，该第四损失值的值越小，该唇妆注入模型的唇妆上妆效果越好，第四损失值的值越大，唇妆注入模型的唇妆上妆效果越差。
实施例3：
图2为本发明实施例提供的一种图像处理的过程示意图，该过程包括以下步骤：
S201：将原图像和预先保存的图像进行特征匹配，确定所述预先保存的图像中与所述原图像匹配的目标图像。
本发明实施例提供的图像处理方法应用于电子设备，其中该电子设备可以是手机、平板电脑、PC等智能终端设备，也可以是服务器。
由于每个用户的肤色存在差异，因此导致每个人适合的唇妆不同，为了挑选适合的妆容，在本发明实施例中，电子设备中预先保存有多张图像，用于与待唇部上妆的原图像进行特征匹配。其中，该预先保存的图像可以为预先保存的唇部化妆后的模特图像，且每张图像中模特的肤色和/或唇部妆容不相同。在将原图像与预先保存的图像进行特征匹配后，根据该预先保存的图像中与该原图像的匹配结果，确定该预先保存的图像中与该原图像匹配的目标图像。
S202：将所述目标图像和所述原图像输入到预先训练完成的唇妆注入模型中，确定上妆完成的图像。
在本发明实施例中，为了准确的确定上妆完成的图像，预先训练有唇妆注入模型，在获得目标图像后，将该目标图像以及原图像输入到预先训练完成的唇妆注入模型中，确定上妆完成的图像。
由于本发明实施例中，基于原图像与预先保存的图像进行特征匹配，确定与该原图像匹配的目标图像后，基于预先训练完成的唇妆注入模型最终确定上妆完成的图像，可以提升生成的上妆后的图像的妆容质感，提高用户体验。
实施例4：
为了提升上妆完成的图像的妆容质感，提升用户体验，在上述实施例的基础上，在本发明实施例中，所述通过预先训练完成的唇妆注入模型，根据输入的所述目标图像和所述原图像，确定上妆完成的图像包括：
通过预先训练完成的唇妆注入模型中实现妆容特征提取的第一子模型，获取所述目标图像和所述原图像对应的目标妆容特征图；
通过预先训练完成的唇妆注入模型中实现形状属性特征提取的第二子模型，获取所述原图像的形状属性特征图；
将所述形状属性特征图以及所述目标图像和所述原图像对应的目标妆容特征图输入到预先训练完成的唇妆注入模型中实现唇妆注入的第三子模型中，确定上妆完成的图像。
在本发明实施例中，为了提取目标图像中妆容特征，该预先训练完成的唇妆注入模型中存在能够实现妆容特征提取的第一子模型，为了提取原图像的形状属性特征，该预先训练完成的唇妆注入模型中存在能够实现形状属性特征提取的第二子模型，为了实现唇妆注入，该预先训练完成的唇妆注入模型中存在能够实现唇妆注入的第三子模型。
由于在基于原图像和目标图像获得上妆后的图像时，只是针对原图像的中人脸的唇部进行上妆，因此需要保证原图像中除唇部外的其他特征不变，其中，该除唇部外的其他特征可以为牙齿特征、皮肤特征等，因此是需要分别获取目标图像的妆容特征以及原图像的妆容特征。为了获取目标妆容特征图，提高确定妆容特征提取的准确性，在本发明实施例中，通过预先训练完成的唇妆注入模型中实现妆容特征提取的第一子模型，对目标图像和原图像进行处理，也就是将目标图像和原图像输入到预先训练完成的唇妆注入模型中实现妆容特征提取的第一子模型中，获得目标图像和该原图像对应的目标妆容特征图。
在本发明实施例中，通过预先训练完成的唇妆注入模型中实现形状属性特征提取的第二子模型对原图像进行处理，也就是将原图像输入到该预先训练完成的唇妆注入模型中实现形状属性特征提取的第二子模型中，获取原图像的形状属性特征图，其中，该形状属性特征图包括：上下嘴唇形状属性特征图、牙齿形状属性特征图以及包含皮肤部分的人脸形状属性特征图等。
在本发明实施例中，为了准确的确定上妆完成后的图像，在获得目标妆容特征图以及形状属性特征图后，将该目标妆容特征图以及形状属性特征图输入到预先训练完成的唇妆注入模型中实现唇妆注入的第三子模型，确定上妆完成的图像。
由于预先训练完成了唇妆注入模型，该唇妆注入模型中包含实现妆容特征提取的第一子模型、实现形状属性特征提取的第二子模型以及实现唇妆注入的第三子模型，因此基于该目标图像、原图像以及预先训练完成的唇妆注入模型可以获得上妆完成的图像，提升上妆完成的图像的妆容质感，帮助用户确定适合自身的妆容，提高用户的体验。
实施例5：
为了获得的目标妆容特征图，保留目标图像的唇部特征以及原图像中的除唇部特征以外的特征，进而保证生成的上妆后的图像的妆容质感，在上述各实施例的基础上，在本发明实施例中，所述通过预先训练完成的唇妆注入模型中实现妆容特征提取的第一子模型，获取所述目标图像和所述原图像对应的目标妆容特征图之前，所述方法还包括：
基于预先训练完成的唇妆注入模型中进行图像分割的第四子模型，获取所述目标图像中的每个子目标图像及所述原图像中的每个子原图像，获取所述子目标图像中包含上下嘴唇的第一子目标图像以及所述子原图像中除嘴唇外的每个第二子原图像。
由于在基于原图像和目标图像获得上妆后的图像时，只是针对原图像中人脸的唇部进行上妆，因此需要获取目标图像的唇部特征以及原图像中除唇部外的其他特征。在本发明实施例中，为了实现针对目标图像获取目标图像的唇部特征，针对原图像获得原图像中除了唇部外的其他特征，因此在预先训练完成的唇妆注入模型存在能够实现进行图像分割的第四子模型，在通过预先训练完成的唇妆注入模型中实现妆容特征提取的第一子模型，获取目标图像和原图像对应的目标妆容特征图之前，基于该第四子模型，获取目标图像中的每个子目标图像和原图像的每个子原图像，其中，该目标图像中的每个子图像包括：包含上嘴唇的子目标图像、包含下嘴唇的子目标图像、包含皮肤的子目标图像以及包含牙齿的子目标图像；该原图像的每个子原图像包括：包含上嘴唇的子原图像、包含下嘴唇的子原图像、包含皮肤的子原图像以及包含牙齿的子原图像。
在获得目标图像中的每个子目标图像和原图像的每个子原图像后，目标图像中的每个子目标图像中包括的包括上嘴唇的子目标图像、包括下嘴唇的子目标图像确定为第一子目标图像，将原图像的每个子原图像中除了包含嘴唇以外的每个子原图像确定为每个第二子原图像，也就是将包含皮肤的子原图像以及包含牙齿的子原图像确定为每个第二子原图像。
为了确定目标图像和原图像对应的目标妆容特征图，在上述各实施例的基础上，在本发明实施例中，所述通过预先训练完成的唇妆注入模型中实现妆容特征提取的第一子模型，获取所述目标图像和所述原图像对应的目标妆容特征图包括：
基于预先训练完成的唇妆注入模型中实现妆容特征提取的第一子模型的卷积层、所述第一子目标图像以及所述每个第二子原图像，获得所述第一子目标图像及所述每个第二子原图像对应的第一特征图；
基于所述第一子模型的聚合输出层，将每个第一特征图融合为第二特征图，将所述第二特征图确定为所述目标图像和所述原图像对应的目标妆容特征图。
为了获取目标妆容特征图，将该第一子目标图像和第二子原图像输入到预先训练完成的唇妆注入模型中实现妆容特征提取的第一子模型中，该第一子模型中包括对子目标图像和子原图像进行卷积的卷积层，对特征图进行融合输出的聚合输出层。
具体的，将该第一子目标图像和第二子原图像输入到预先训练完成的唇妆注入模型中后，在该第一子模型的卷积层中，对每个第一子目标图像以及每个第二子原图像进行卷积操作，获得每个子图像对应的第一特征图，其中，该第一特征图可以表示为FHWD,其中，H为该第一特征图的高，w为第一特征图的宽，D为输出通道的个数，也就是第一子目标图像和第二子原图像的总数量，该第一子目标图像中包含：包含上嘴唇的第一子目标图像和包含下嘴唇的第一子目标图像，即该第一子目标图像的数量为2，该第二子原图像中包含：包含皮肤的第二子原图像和包含牙齿的第二子原图像，则该第二子原图像的数量也为2，因此，D＝4。
为了使目标妆容特征图更加准确，基于预先训练完成的唇妆注入模型的第一子模型中的聚合输出层，将每个第一特征图进行特征聚合且聚合为第二特征图，并将该第二特征图确定为该目标图像和该原图像对应的目标妆容特征图，可以根据该目标妆容特征图，确定该目标图像对应的目标妆容特征。
由于预先训练完成的唇妆注入模型中实现妆容特征提取的第一子模型中包含卷积层以及聚合输出层，因此基于目标图像、原图像以及预先训练完成的唇妆注入模型，确定目标妆容特征图，该目标妆容特征图既能保留目标图像的唇部特征，又能保留原图像中的除唇部特征以外的特征，进而保证生成的上妆完成的图像的妆容质感，提高用户的体验。
实施例6：
为了获取原图像的形状属性特征图，在上述各实施例的基础上，在本发明实施例中，所述通过预先训练完成的唇妆注入模型中实现形状属性特征提取的第二子模型，获取所述原图像的形状属性特征图包括：
基于预先训练完成的唇妆注入模型中实现形状属性特征提取的第二子模型以及所述每个子原图像，获得每个第三特征图，将所述每个第三特征图确定为所述原图像的形状属性特征图。
为了获取原图像中各部分的形状属性特征图，其中形状属性特征包括上嘴唇形状的属性特征、下嘴唇形状的属性特征、包含皮肤的人脸的形状属性特征以及牙齿形状的属性特征。通过预先训练完成的唇妆注入模型中实现形状属性特征提取的第二子模型，将每个子原图像输入到该第二子模型中，该第二子模型对每个子原图像通过卷积处理，并进行下采样，再进行上采样，获得每个子原图像的第三特征图，将该每个第三特征图确定为该原图像的形状属性特征图。可以根据该原图像的形状属性特征图，确定该原图像的形状属性特征，其中，该原图像的形状属性特征可以为原图像的上嘴唇形状属性特征、下嘴唇形状属性特征、包含皮肤的人脸形状属性特征以及牙齿形状属性特征。
实施例7：
为了确定上妆完成的图像，提升生成的上妆后的图像的妆容质感，在上述各实施例的基础上，在本发明实施例中，所述通过预先训练完成的唇妆注入模型中实现唇妆注入的第三子模型，根据所述形状属性特征图以及所述目标图像和所述原图像对应的目标妆容特征图，确定上妆完成的图像包括：
基于预先训练完成的唇妆注入模型中实现唇妆注入的第三子模型的第一卷积层，对每个所述形状属性特征图进行上采样，获得每个第四特征图；
基于所述第三子模型的第一残差层、所述每个第四特征图以及所述目标妆容特征图，获得第五特征图；
基于所述第三子模型的激活函数层、所述第五特征图以及预设的激活函数，获得第六特征图；
基于所述第三子模型的第二卷积层、所述第六特征图，确定第七特征图；
基于所述第三子模型的第二残差层、所述第七特征图，确定第八特征图；
基于所述第三子模型的第三残差层、所述目标妆容特征图以及所述第八特征图，确定上妆完成的图像。
为了保证生成的上妆完成的图像既能保持原图像的形状，又能具有目标图像的唇妆信息，因此需要将目标图像的目标妆容特征注入到原图像的形状属性特征中，也就是基于预先训练完成的唇妆注入模型中实现唇妆注入的第三子模型，根据该目标图像和原图像对应的目标妆容特征图以及形状属性特征图，确定上妆完成的图像。
在本发明实施例中，该预先训练完成的唇妆注入模型中实现唇妆注入的第三子模型包括对特征图进行卷积的卷积层、对特征图进行激活的激活函数层、对特征图进行特征融合的残差层。
具体的，将该形状属性特征图输入到该第三子模型中的第一卷积层中，对该形状属性特征图进行上采样操作，获得每个第四特征图，将该第四特征图输入到该第三子模型的第一残差层中，根据每个第四特征图以及该目标妆容特征图，获得第五特征图，其中，该第一残差层中的残差块可以为自适应实施归一化残差模块。
其中，该自适应实施例归一化残差模块可以将原图像描绘成均值和方差的形式，通过改变该原图像的均值和方差实现风格的注入，也就是将目标图像的目标妆容特征注入到原图像的形状属性特征中，具体的，该自适应残差模块中对应的公式为：
Figure BDA0002970367280000141
其中，该μ_y1为需要注入的目标妆容特征图对应的均值,
Figure BDA0002970367280000142
Figure BDA0002970367280000143
该
Figure BDA0002970367280000144
为目标妆容特征图进行卷积操作后获得的数值，
Figure BDA0002970367280000145
为形状属性特征图进行卷积操作后获得的数值，αμ为预先设置的参数。
其中，σ_y1为需要注入的目标妆容特征图对应的方差,
Figure BDA0002970367280000151
该
Figure BDA0002970367280000152
为目标妆容特征图进行卷积操作后获得的数值，
Figure BDA0002970367280000153
为形状属性特征图进行卷积操作后获得的数值，ασ为预先设置的参数。
图3为本发明实施例提供的一种基于自适应实施归一化的残差模块进行特征融合的详细过程示意图，现针对图3进行分析。
Y为目标图像和原图像，Aij为基于预先训练完成的唇妆注入模型的第一子模型获得的目标妆容特征图，也就是基于预先训练完成的唇妆注入模型的第一子模型，该将目标图像与原图像进行图像分割后获得的包含上下嘴唇的第一子目标图像以及子原图像中除嘴唇外的每个第二子原图像，将该第一子目标图像和第二子原图像进行特征聚合后得到的目标妆容特征图。
基于预先训练完成的唇妆注入模型的第二子模型，获得原图像的形状属性特征图，将该形状属性特征图进行上采样后获得上采样后的特征图，也就是第四特征图，将原图像和目标图像对应的目标妆容属性特征图以及该第四特征图输入到预先训练完成的唇妆注入模型的第三子模型的残差层中，实现妆容特征注入(Style Map)，在该残差层中，将目标妆容特征图进行卷积操作后获得βs并获得，βs将形状属性特征图进行卷积操作获得ao和γo，将βs乘以aσ获得βsaσ，将γs乘以aμ获得γsaμ，将ao乘以1-aσ获得ao(1-aσ)，将γo乘以1-aμ获得γo(1-aμ)，确定βsaσ与ao(1-aσ)的和值，也就是βsaσ+ao(1-aσ)，确定γsaμ与γo(1-aμ)的和值，也就是γsaμ+γo(1-aμ)，从而确定需要注入的目标妆容特征图对应的均值和方差，其中，该需要注入的目标妆容特征图对应的均值为βsaσ+ao(1-aσ)，该需要注入的目标妆容特征图对应的方差为γsaμ+γo(1-aμ)，确定形状属性特征值的均值u(x)和方差σ(x)，其中，该u(x)为其中，x为形状属性特征值，则确定
Figure BDA0002970367280000154
(Batch Norm),最终获得
Figure BDA0002970367280000155
在获得第五特征图后，将该第五特征图输入到该第三子模型的激活函数层中，根据该第五特征图以及预设的激活函数，获得第六特征图，其中，该激活函数可以为线性整流函数(Rectified Linear Unit,ReLU)。
将该第六特征图输入到该第三子模型的第二卷积层中，对该第六特征图进行卷积操作，获得第七特征图，将该第七特征图输入到该第三子模型的第二残差层中，根据该第七特征图，确定第八特征图。其中，该第二残差层与该第一残差层结构相同，因此该第二残差层中的残差块也为自适应实施归一化残差模块。
具体的，该第二残差层中自适应残差模块对应的公式为：
Figure BDA0002970367280000161
Figure BDA0002970367280000162
其中，该μ_y2为需要注入的目标妆容特征图对应的均值,
Figure BDA0002970367280000163
Figure BDA0002970367280000164
该
Figure BDA0002970367280000165
为目标妆容特征图进行卷积操作后获得的数值，
Figure BDA0002970367280000166
为第七特征图进行卷积操作后获得的数值，αμ为预先设置的参数，其中，σ_y2需要注入的目标妆容特征图对应的方差,
Figure BDA0002970367280000167
Figure BDA0002970367280000168
该
Figure BDA0002970367280000169
为目标妆容特征图进行卷积后操作获得的数值，
Figure BDA00029703672800001610
为第七特征图进行卷积操作后获得的数值，ασ为预先设置的参数。
在获得第八特征图后，基于该第三子模型的第三残差层，根据该目标妆容特征图以及该第八特征图，确定上妆完成的图像。
图4为本发明实施例提供的一种针对唇部上妆的过程示意图，图5为本发明实施例提供的一种基于唇妆注入模型获取上妆完成的图像的过程示意图，现针对图4和图5进行说明。
将原图像与预先保存的图像进行特征匹配(Feature maching)，获得目标图像，该目标图像为预先保存的图像与原图像匹配的图像，将目标图像输入到预先训练完成的唇妆注入模型的第一子模型中，该第一子模型中包含卷积层(conv-Layers)、转置卷积层(Tconv-Layers)以及聚合层(rejion-vise-average pooling)，根据该原图像和目标图像，并基于该第一子模型，获得该原图像和目标图像对应的目标妆容特征图，包括上嘴唇目标妆容特征图A11、下嘴唇目标妆容特征图A21、牙齿目标妆容特征图A31以及皮肤目标妆容特征图A41，并基于预先训练完成的唇妆注入模型的第二子模型获取该原图像的形状属性特征图，该形状属性特征图包括上嘴唇形状属性特征B11、下嘴唇形状属性特征B21、牙齿形状属性特征B31以及皮肤形状属性特征B41。
在获得A11、A21、A31、A41、B11、B21、B31以及B41后，将A11与B11、A21与B21、A31与B31、A41与B41分别输入到预先训练完成的唇妆注入模型的第三子模型中，输出上妆完成的图像，其中，该唇妆注入模型中包含上采样层(Upsample)、残差层(ResBlk)以及卷积层(Conv)。
具体的，将目标妆容属性特征图与形状属性特征图输入到预先训练完成的唇妆注入模型的第三子模型，确定上妆完成的图像的过程中，在获得源用户唇形特征图后，也就是获得原图像的形状属性特征图后，也就是第三特征图后，将该形状属性特征图进行卷积操作(Conv)，获得第四特征图，根据该第四特征图以及目标图像唇妆特征图，也就是目标妆容特征图，将该确定需要注入的目标妆容特征图对应的方差σ_y1与需要注入的目标妆容特征图对应的均值μ_y1，并将该第四特征图以及目标妆容特征图输入到残差层中，获得第五特征图，将该第五特征图输入到激活函数层中，根据该第五特征图以及预设的激活函数，获得第六特征图，并将该第六特征图进行卷积处理，确定第七特征图，并根据该目标妆容特征图与该第七特征图，确定方差σ_y2与均值μ_y2，其中，该σ_y2与μ_y2的确定方法和σ_y1与μ_y1的确定方法相同，在此不做赘述，并将该第七特征图以及目标妆容特征图输入到第二残差层中，获得第八特征图，将该第八特征图和形状属性特征图输入到第三残差层中，确定上妆完成的图像。
实施例8：
为了确定预先保存的图像中与原图像匹配的目标图像，进而确定合适的妆容，在上述实施例的基础上，在本发明实施例中，所述将原图像和预先保存的图像进行特征匹配，确定所述图像中与所述原图像匹配的目标图像包括：
针对预先保存的每个图像，根据所述原图像的肤色直方图中的各像素值对应的像素点的数量与该图像的肤色直方图中的各像素值对应的像素点的数量，确定各像素值对应的像素点的数量的第一差值；确定原图像的Lab通道的L通道像素均值与该图像的Lab通道的L通道像素均值的第二差值；根据所述第二差值和所述各像素值对应的像素点的数量的第一差值，确定该图像是否为与所述原图像匹配的目标图像。
在本发明实施例中，针对预先保存的每个图像，确定该图像的肤色直方图和原图像的肤色直方图，其中，肤色直方图中记录了各像素值的像素点的数量，其中，像素值的取值范围为[0,255]，该肤色直方图中横轴为各像素值，纵轴为各像素值对应的像素点的数量。基于原图像的肤色直方图中的各像素值对应的像素点的数量与该图像的肤色直方图中的各像素值对应的像素点的数量，可以确定各像素值对应的像素点的数量的第一差值。例如，若原图像的肤色直方图中的像素值为0的像素点的数量为20，图像的肤色直方图中的像素值为0的像素点的数量为10，则像素值为0对应的像素点的数量的第一差值为10。
其中，针对预先保存的每个图像，确定原图像的肤色直方图中的各像素值对应的像素点的数量，与该图像的肤色直方图中的各像素值对应的像素点的数量为现有技术，在此不做赘述。
在本发明实施例中，可以确定原图像的Lab通道的L通道像素均值与该图像的Lab通道的L通道像素均值的第二差值，为了确定预先保存的图像中与原图像匹配的目标图像，可以根据该第二差值和各像素值对应的像素点的数量的第一差值，确定与原图像匹配的目标图像。
其中，确定原图像的Lab通道的L通道像素均值与该图像的Lab通道的L通道像素均值为现有技术，在此不做赘述。
为了确定预先保存的图像中与原图像匹配的目标图像，在上述各实施例的基础上，在本发明实施例中，所述根据所述第二差值和所述各像素值对应的像素点的数量的第一差值，确定该图像是否为与所述原图像匹配的目标图像包括：
根据所述第二差值和所述各像素值对应的像素点的数量的第一差值，确定所述原图像与该图像的第二和值；
若所述第二和值为预先保存的每个图像对应的最小值，则将该图像确定为与所述原图像匹配的目标图像。
在本发明实施例中，为了确定预先保存的图像中与原图像匹配的目标图像，针对预先保存的任一图像，在确定第二差值与各像素值对应的像素点的数量的第一差值后，根据该第二差值与各像素值对应的像素点的数量的第一差值，确定该原图像与该图像的第二和值，具体的，根据
Figure BDA0002970367280000191
Figure BDA0002970367280000192
确定该第二和值；
其中，dst‘为第二和值，i为像素值，histscri-histdsti为第一差值，histscri为原图像的肤色直方图中像素值为i的像素点的数量，histdsti为该图像的肤色直方图中像素值为i的像素点的数量，Lscr-Ldst为第二差值，Lscr为原图像的Lab通道的L通道像素均值，Ldst为该图像的Lab通道的L通道像素均值，α、β为预先设置的参数。
为了确定预先保存的图像中与原图像匹配的目标图像，在确定原图像与每个图像的第二和值后，将图像根据第二和值的大小，按照从小到大的顺序排序，将排序为第一的图像作为与原图像匹配的目标图像。也就是针对预先保存的每个图像，若该图像对应的第二和值为预先保存的每个图像对应的最小值，则将该图像确定为与该原图像匹配的目标图像。也就是说该第二和值越小，该图像与原图像的匹配度越高，该第二和值大，该图像与原图像的匹配度越低。
实施例9：
图6为本发明实施例提供的一种模型训练装置结构示意图，该装置包括：
获取模块601，用于获取样本集中的任一样本图像对，其中，所述样本图像对包括：样本原图像以及样本目标图像；将所述样本原图像以及所述样本目标图像输入到唇妆注入模型的生成器中，获得上妆完成的预测图像；
第一确定模块602，用于将所述样本原图像以及所述上妆完成的预测图像输入到预先训练完成的对比特征提取网络中，确定第一损失值；将所述上妆完成的预测图像输入到预先训练完成的判别器中，确定第二损失值；将所述上妆完成的预测图像以及所述样本目标图像输入到预先训练完成的判别器，确定第三损失值；
调整模块603，用于根据所述第一损失值、所述第二损失值以及所述第三损失值和值，对所述唇妆注入模型的生成器的参数进行调整。
本发明实施例提供的一种装置可用于执行上述任意实施例提供的模型训练方法，具备相应的功能和有益效果。
实施例10：
图7为本发明实施例提供的一种图像处理装置结构示意图，该装置包括：
匹配模块701，用于将原图像和预先保存的图像进行特征匹配，确定所述预先保存的图像中与所述原图像匹配的目标图像；
第二确定模块702，用于通过预先训练完成的唇妆注入模型，根据输入的所述目标图像和所述原图像，确定上妆完成的图像。
本发明实施例提供的一种装置可用于执行上述任意实施例提供的图像处理方法，具备相应的功能和有益效果。
实施例11：
在上述各实施例的基础上，本发明实施例还提供了一种电子设备，如图8所示，包括：处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信；
所述存储器803中存储有计算机程序，当所述程序被所述处理器801执行时，使得所述处理器801执行如下步骤：首先获取样本集中的任一样本图像对，其中，该样本图像对包括：样本原图像以及样本目标图像，将该样本原图像以及该样本目标图像输入到唇妆注入模型的生成器中，获得上妆完成的预测图像，然后将该样本原图像以及该上妆完成的预测图像输入到预先训练完成的对比特征提取网络中，确定第一损失值，将该上妆完成的预测图像输入到预先训练完成的判别器中，确定第二损失值；将该上妆完成的预测图像以及该样本目标图像输入到预先训练完成的判别器，确定第三损失值；根据该第一损失值、第二损失值以及第三损失值和值，对该唇妆注入模型的生成器的参数进行调整。
或者使得所述处理器801执行如下步骤：首先将原图像和预先保存的图像进行特征匹配，确定所述预先保存的图像中与所述原图像匹配的目标图像，然后通过预先训练完成的唇妆注入模型，根据输入的所述目标图像和所述原图像，确定上妆完成的图像。
本发明实施例提供的一种电子设备可用于执行上述任意实施例提供的模型训练方法或者图像处理方法，具备相应的功能和有益效果。
实施例12：
在上述各实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：首先获取样本集中的任一样本图像对，其中，该样本图像对包括：样本原图像以及样本目标图像，将该样本原图像以及该样本目标图像输入到唇妆注入模型的生成器中，获得上妆完成的预测图像，然后将该样本原图像以及该上妆完成的预测图像输入到预先训练完成的对比特征提取网络中，确定第一损失值，将该上妆完成的预测图像输入到预先训练完成的判别器中，确定第二损失值；将该上妆完成的预测图像以及该样本目标图像输入到预先训练完成的判别器，确定第三损失值；根据该第一损失值、第二损失值以及第三损失值和值，对该唇妆注入模型的生成器的参数进行调整。
或者使得所述电子设备执行时实现如下步骤：首先将原图像和预先保存的图像进行特征匹配，确定所述预先保存的图像中与所述原图像匹配的目标图像。然后通过预先训练完成的唇妆注入模型，根据输入的所述目标图像和所述原图像，确定上妆完成的图像。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种模型训练方法，其特征在于，所述方法包括：
获取样本集中的任一样本图像对，其中，所述样本图像对包括：样本原图像以及样本目标图像；
将所述样本原图像以及所述样本目标图像输入到唇妆注入模型的生成器中，获得上妆完成的预测图像；
将所述样本原图像以及所述上妆完成的预测图像输入到预先训练完成的对比特征提取网络中，确定第一损失值；
将所述上妆完成的预测图像输入到预先训练完成的判别器中，确定第二损失值；
将所述上妆完成的预测图像以及所述样本目标图像输入到预先训练完成的判别器，确定第三损失值；
根据所述第一损失值、所述第二损失值以及所述第三损失值和值，对所述唇妆注入模型的生成器的参数进行调整。
2.根据权利要求1所述的方法，其特征在于，所述训练所述判别器的过程包括：
将上妆完成的预测图像以及样本原图像输入到判别器中，确定第四损失值；
根据所述第四损失值对所述判别器的参数进行调整。
3.一种基于权利要求1-2任一项所述的模型训练方法的图像处理方法，其特征在于，所述方法包括：
将原图像和预先保存的图像进行特征匹配，确定所述预先保存的图像中与所述原图像匹配的目标图像；
将所述目标图像和所述原图像输入到预先训练完成的唇妆注入模型中，确定上妆完成的图像。
4.根据权利要求3所述的方法，其特征在于，所述通过预先训练完成的唇妆注入模型，根据输入的所述目标图像和所述原图像，确定上妆完成的图像包括：
通过预先训练完成的唇妆注入模型中实现妆容特征提取的第一子模型，获取所述目标图像和所述原图像对应的目标妆容特征图；
通过预先训练完成的唇妆注入模型中实现形状属性特征提取的第二子模型，获取所述原图像的形状属性特征图；
将所述形状属性特征图、所述目标图像和所述原图像对应的目标妆容特征图输入到预先训练完成的唇妆注入模型的实现唇妆注入的第三子模型中，确定上妆完成的图像。
5.根据权利要求4所述的方法，其特征在于，所述通过预先训练完成的唇妆注入模型中实现妆容特征提取的第一子模型，获取所述目标图像和所述原图像对应的目标妆容特征图之前，所述方法还包括：
基于预先训练完成的唇妆注入模型中进行图像分割的第四子模型，获取所述目标图像中的每个子目标图像及所述原图像中的每个子原图像，获取所述子目标图像中包含上下嘴唇的第一子目标图像以及所述子原图像中除嘴唇外的每个第二子原图像。
6.根据权利要求5所述的方法，其特征在于，所述通过预先训练完成的唇妆注入模型中实现妆容特征提取的第一子模型，获取所述目标图像和所述原图像对应的目标妆容特征图包括：
基于预先训练完成的唇妆注入模型中实现妆容特征提取的第一子模型的卷积层、所述第一子目标图像及所述每个第二子原图像，获得所述第一子目标图像及所述每个第二子原图像对应的第一特征图；
基于所述第一子模型的聚合输出层，将每个第一特征图融合为第二特征图，将所述第二特征图确定为所述目标图像和所述原图像对应的目标妆容特征图。
7.根据权利要求5所述的方法，其特征在于，所述通过预先训练完成的唇妆注入模型中实现形状属性特征提取的第二子模型，获取所述原图像的形状属性特征图包括：
基于预先训练完成的唇妆注入模型中实现形状属性特征提取的第二子模型以及所述每个子原图像，获得每个第三特征图，将所述每个第三特征图确定为所述原图像的形状属性特征图。
8.根据权利要求7所述的方法，其特征在于，所述通过预先训练完成的唇妆注入模型中实现唇妆注入的第三子模型，根据所述形状属性特征图以及所述目标图像和所述原图像对应的目标妆容特征图，确定上妆完成的图像包括：
基于预先训练完成的唇妆注入模型中实现唇妆注入的第三子模型的第一卷积层，对每个所述形状属性特征图进行上采样，获得每个第四特征图；
基于所述第三子模型的第一残差层、所述每个第四特征图以及所述目标妆容特征图，获得第五特征图；
基于所述第三子模型的激活函数层、所述第五特征图以及预设的激活函数，获得第六特征图；
基于所述第三子模型的第二卷积层以及所述第六特征图，确定第七特征图；
基于所述第三子模型的第二残差层、所述第七特征图，确定第八特征图；
基于所述第三子模型的第三残差层、所述目标妆容特征图以及所述第八特征图，确定上妆完成的图像。
9.根据权利要求3所述的方法，其特征在于，所述将原图像和预先保存的图像进行特征匹配，确定所述预先保存的图像中与所述原图像匹配的目标图像包括：
针对预先保存的每个图像，根据所述原图像的肤色直方图中的各像素值对应的像素点的数量与该图像的肤色直方图中的各像素值对应的像素点的数量，确定各像素值对应的像素点的数量的第一差值；确定原图像的Lab通道的L通道像素均值与该图像的Lab通道的L通道像素均值的第二差值；根据所述第二差值和所述各像素值对应的像素点的数量的第一差值，确定该图像是否为与所述原图像匹配的目标图像。
10.根据权利要求3所述的方法，其特征在于，所述根据所述第二差值和所述各像素值对应的像素点的数量的第一差值，确定该图像是否为与所述原图像匹配的目标图像包括：
根据所述第二差值和所述各像素值对应的像素点的数量的第一差值，确定所述原图像与该图像的第二和值；
若所述第二和值为预先保存的每个图像对应的最小值，则将该图像确定为与所述原图像匹配的目标图像。
11.一种模型训练装置，其特征在于，所述装置包括：
获取模块，用于获取样本集中的任一样本图像对，其中，所述样本图像对包括：样本原图像以及样本目标图像；将所述样本原图像以及所述样本目标图像输入到唇妆注入模型的生成器中，获得上妆完成的预测图像；
第一确定模块，用于将所述样本原图像以及所述上妆完成的预测图像输入到预先训练完成的对比特征提取网络中，确定第一损失值；将所述上妆完成的预测图像输入到预先训练完成的判别器中，确定第二损失值；将所述上妆完成的预测图像以及所述样本目标图像输入到预先训练完成的判别器，确定第三损失值；
调整模块，用于根据所述第一损失值、所述第二损失值以及所述第三损失值和值，对所述唇妆注入模型的生成器的参数进行调整。
12.一种图像处理装置，其特征在于，所述装置包括：
匹配模块，用于将原图像和预先保存的图像进行特征匹配，确定所述预先保存的图像中与所述原图像匹配的目标图像；
第二确定模块，用于将所述目标图像和所述原图像输入到预先训练完成的唇妆注入模型，确定上妆完成的图像。
13.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序；
当所述程序被所述处理器执行时，使得所述处理器执行权利要求1-10中任一所述方法的步骤。
14.一种计算机可读存储介质，其特征在于，其存储有可由电子设备执行的计算机程序；
当所述程序在所述电子设备上运行时，使得所述电子设备执行权利要求1-10中任一所述方法的步骤。
CN202110261868.7A 2021-03-10 2021-03-10 一种模型训练、图像处理方法、装置、设备及介质 Pending CN112767287A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110261868.7A CN112767287A (zh) 2021-03-10 2021-03-10 一种模型训练、图像处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110261868.7A CN112767287A (zh) 2021-03-10 2021-03-10 一种模型训练、图像处理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN112767287A true CN112767287A (zh) 2021-05-07

Family

ID=75690932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110261868.7A Pending CN112767287A (zh) 2021-03-10 2021-03-10 一种模型训练、图像处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112767287A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886881A (zh) * 2019-01-10 2019-06-14 中国科学院自动化研究所 人脸妆容去除方法
CN111325657A (zh) * 2020-02-18 2020-06-23 北京奇艺世纪科技有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111612687A (zh) * 2020-04-22 2020-09-01 杭州电子科技大学 一种人脸图像自动上妆方法
CN111626926A (zh) * 2020-04-06 2020-09-04 温州大学 一种基于gan的纹理图像智能合成方法
CN111784565A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111815534A (zh) * 2020-07-14 2020-10-23 厦门美图之家科技有限公司 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886881A (zh) * 2019-01-10 2019-06-14 中国科学院自动化研究所 人脸妆容去除方法
CN111325657A (zh) * 2020-02-18 2020-06-23 北京奇艺世纪科技有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111626926A (zh) * 2020-04-06 2020-09-04 温州大学 一种基于gan的纹理图像智能合成方法
CN111612687A (zh) * 2020-04-22 2020-09-01 杭州电子科技大学 一种人脸图像自动上妆方法
CN111784565A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111815534A (zh) * 2020-07-14 2020-10-23 厦门美图之家科技有限公司 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
US20210248355A1 (en) Face key point detection method and apparatus, storage medium, and electronic device
CN108596024B (zh) 一种基于人脸结构信息的肖像生成方法
Gao et al. Naturalness preserved nonuniform illumination estimation for image enhancement based on retinex
CN109829930B (zh) 人脸图像处理方法、装置、计算机设备及可读存储介质
CN106022221B (zh) 一种图像处理方法及处理系统
CN109389562B (zh) 图像修复方法及装置
US20220261968A1 (en) Image optimization method and apparatus, computer storage medium, and electronic device
CN108765425B (zh) 图像分割方法、装置、计算机设备和存储介质
EP4293567A1 (en) Three-dimensional face reconstruction method and apparatus, device, and storage medium
CN111383232B (zh) 抠图方法、装置、终端设备及计算机可读存储介质
US10863206B2 (en) Content-weighted deep residual learning for video in-loop filtering
KR102420039B1 (ko) 전자 장치 및 이의 제어 방법
CN112365514A (zh) 基于改进PSPNet的语义分割方法
CN111127309B (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN111369478B (zh) 人脸图像增强方法、装置、计算机设备和存储介质
KR20210145781A (ko) 고운 결로 피부 텍스처를 향상시키는 안면 유연화 시스템 및 방법
CN116363261A (zh) 图像编辑模型的训练方法、图像编辑方法和装置
CN113179421A (zh) 视频封面选择方法、装置、计算机设备和存储介质
CN109615620B (zh) 图像压缩度识别方法、装置、设备及计算机可读存储介质
CN111862040A (zh) 人像图片质量评价方法、装置、设备及存储介质
CN114049290A (zh) 图像处理方法、装置、设备及存储介质
CN114862729A (zh) 图像处理方法、装置、计算机设备和存储介质
CN110689478B (zh) 图像风格化处理方法、装置、电子设备及可读介质
CN111369559A (zh) 妆容评估方法、装置、化妆镜和存储介质
CN116798041A (zh) 图像识别方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination