CN113362422A - 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 - Google Patents
一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 Download PDFInfo
- Publication number
- CN113362422A CN113362422A CN202110637758.6A CN202110637758A CN113362422A CN 113362422 A CN113362422 A CN 113362422A CN 202110637758 A CN202110637758 A CN 202110637758A CN 113362422 A CN113362422 A CN 113362422A
- Authority
- CN
- China
- Prior art keywords
- makeup
- image
- shadow
- model
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012546 transfer Methods 0.000 title claims abstract description 25
- 238000013508 migration Methods 0.000 claims abstract description 45
- 230000005012 migration Effects 0.000 claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000000694 effects Effects 0.000 claims abstract description 16
- 230000002776 aggregation Effects 0.000 claims abstract description 14
- 238000004220 aggregation Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 7
- 239000002537 cosmetic Substances 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000013140 knowledge distillation Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法，通过专业相机进行源图像和参考妆容图像采集，得到自然条件不同阴影扰动的图像对。使用双通道层次聚合网络多尺度提取图像中的阴影信息和人脸身份妆容信息，将得到的人脸身份妆容多尺度特征向量通过空间金字塔池化拼接后输出，得到无阴影影响的图像。使用解耦表示的方法将得到的图像解耦到内容空间和属性空间；将源图像的内容向量和参考图像的属性向量进行特征融合，得到妆容迁移结果。在模型训练完成后，将模型迁移到用户移动端上，用户输入自己的源图像和移动端摄像头拍摄的参考妆容图像，可以得到拍摄的妆容迁移到自己面部的效果。
Description
技术领域
本发明属于深度学习与图像妆容迁移技术领域，具体涉及一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法，使得在有阴影扰动的场景下可以进行妆容迁移。
背景技术
化妆是一种无处不在的改善面部的方式，精致的妆容可以增强面部吸引力，给自己积极的心理暗示，增加日常生活中的自信。专业的化妆品有如遮盖脸部缺陷的遮瑕霜以及粉底、眼线、眼影和口红等。化妆品种类繁多，品牌、颜色、使用方法不一，如果没有专业建议，很难找到一种适合自己的化妆风格。如今，越来越多的人开始关心化妆，但如何选择一个满意和真实的妆容是一个耗时和具有挑战性的任务。虚拟化妆应用是一个方便的工具，帮助用户尝试照片中的化妆风格，如美图秀秀等。然而，这些工具都需要用户手动交互，并且只提供一定数量的固定化妆风格，且只能在一定的场景下使用，当日常使用环境中有其他干扰，如光照、阴影、遮挡、姿态变化时，效果表现不佳。
妆容迁移方法是一项可以将任意妆容迁移到自身的技术，该技术当前只用提供一张自己的源图片，和一张参考妆容图片，便可以查看该妆容迁移到自身面部的效果，大大节省了时间和精力。但是，在现实生活中，会出现各种干扰影响妆容迁移的效果，特别是阴影干扰，会严重影响面部妆容的色彩分布，导致最后的结果并不理想。
发明内容
本发明的目的是为了解决上述背景技术存在的不足，从而提出一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法。用专业相机采集数据集内图像，经数据处理后输入到模型中，训练出对阴影鲁棒的妆容迁移模型，将模型迁移到移动端中，使得用户可以方便查看妆容呈现在自己面部的效果，为用户节省试妆时间，大幅提升用户的生活质量，同时可以提高化妆品的销量。
本发明的系统所采用的技术方案是：一种阴影鲁棒的基于解耦表示的妆容迁移系统，包括以下模块：
图像采集模块，用于采集源图像和参考妆容图像以及对应的加入阴影扰动的图像，保留对应的掩膜；其中源图像和参考妆容图像是非配对图像；
图像处理模块，用于对采集的图像对及对应的掩膜进行数据处理；
阴影去除模型和妆容迁移模型构建模块，用于阴影去除模型和妆容迁移模型构建；
阴影去除模型和妆容迁移模型训练模块，用于训练阴影去除模型和妆容迁移模型，获得训练好的阴影去除模型和妆容迁移模型。
本发明的方法所采用的技术方案是：一种阴影鲁棒的基于解耦表示的妆容迁移方法，包括以下步骤：
步骤1：将训练好的阴影去除模型和妆容迁移模模型迁移到用户移动端上；
步骤2：用户使用移动端摄像头采集自己的源图像和需求的妆容样式，输入到训练好的阴影去除模型和妆容迁移模模型中，得到妆容样式呈现在用户脸上的效果。
本发明利用了解耦表示方法实现了自然场景下的妆容迁移，针对该方法在实际场景中的应用需求，即在自然场景特别是有阴影干扰的环境下实现妆容迁移，运用了双通道层次聚合网络来进行阴影的控制，同时采用解耦将源图像和目标图像的身份和妆容信息投射到不同特征域内，将所需的特征向量进行特征融合，得到妆容迁移后的特征向量，从而做到在阴影干扰妆容颜色分布的情况下也能进行实时妆容迁移，将眼影、腮红、唇彩等妆容呈现在源图像的面部，并保持人物身份不被改变。
附图说明
图1为本发明实施例的阴影去除模型的结构图；
图2为本发明实施例的妆容迁移模型结构图；
图3为本发明实施例的方法的流程图；
图4为本发明实施例的数据集生成流程图；
图5为本发明实施例在有无阴影干扰下控制效果的对比示意图；
图6为本发明实施例的实验结果对比示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明针对在自然场景特别是阴影扰动下的场景设计了阴影鲁棒的基于解耦表示的妆容迁移方法，其中包含设计的相应的网络结构，并采取了一些相关技巧使得该方法在实际场景中发挥更好的效果，下面结合附图和实例对本发明做进一步的说明。
请见图1和图2，本发明首先构建了阴影去除模型和妆容迁移模型；
妆容迁移模型如图1所示，主要包括编码器(Encoder)、生成器(Generator)和判别器(Discriminator)。编码器用于将输入图片编码为特征向量，解耦表示将特征向量分别投射到内容空间和属性空间，通过特征融合后，生成器生成迁移后的上妆图像和妆容去除图像，判别器根据生成的图像和真值(GroundTruth)之间的妆容损失判断生成图像的真假，从而引导生成的图像更加真实。
阴影去除模型如图2所示，主要包括预训练的VGG16模型、双通道层次聚合网络(HierarchicalAggregation)和空间池化金字塔网络(SPP)。预训练的VGG16用来将图片编码为多尺度的特征向量，双通道层次聚合网络包括多个聚合节点，每个节点聚合不同尺度的特征信息，其中包含阴影区域信息和妆容分布色彩信息，空间池化金字塔用于将多个聚合节点得到的信息连接在一起，输出分离出的阴影区域和无阴影影响的参考妆容图像。
请见图3，本实施例提供的一种阴影鲁棒的基于解耦表示的妆容迁移方法，包括以下步骤：
步骤1：通过专业相机采集到源图像和参考妆容图像以及对应的加入阴影扰动的图像，保留对应的掩膜。其中源图像和参考妆容图像是非配对图像，即不是同一个人妆前妆后的图像。
步骤2：对采集的图像对及对应的掩膜进行数据处理，数据处理如图4所示，数据处理指的是对无效图像对进行筛选去除掉，以及对有效图像对进行数据扩充，数据扩充的方法有图像缩放、图像随机裁剪、阴影掩膜的颜色变化等等，获得满足预设条件的图像，来提高模型的泛化能力，然后上传到服务端；
数据采集完成后，放入服务端训练模型；
步骤3：在服务器端训练阴影去除模型和妆容迁移模型；
包括以下几个子步骤：
步骤3.1：输入源图像和参考妆容图像，大小为361像素*361像素，随机裁剪为256像素*256像素，使用双通道层次聚合网络多尺度提取图像中的阴影信息和人脸身份妆容信息，妆容迁移模型结构图如图2所示，输入的是参考妆容图像，经过多次循环编码，得到多尺度的参考妆容特征向量；
步骤3.2：将得到的人脸身份妆容多尺度特征向量通过空间金字塔池化(图3中的SPP模块)拼接后输出，空间金字塔池化不仅使得任意大小的输入成为可能，而且还能有效的融合多尺度的特征；
步骤3.3：在有真值的监督学习下，预测出无阴影的源图像和目标妆容图像，将生成的图像通过和真值做生成对抗损失，引导生成的图像变得真实；
步骤3.4：使用解耦表示的方法，将步骤3.3中的源图像和目标妆容图像通过编码器得到图像的特征向量，分别解耦到内容空间和属性空间，得到源图像和目标妆容图像的身份向量和妆容向量；
步骤3.5：将源图像的内容向量和参考图像的属性向量进行特征融合，通过生成器生成妆容迁移结果；
本实施例在训练过程中，采用Adam优化器来优化模型，学习率设置为0.001，指数衰减率设置为0.5和0.999；
本实施例在训练过程中，采用妆容损失来约束妆容信息，保证妆容的真实，如图2所示，妆容损失表示为：
其中，
指的是迁移后的上妆图像，xi指的是源图像，
指的是生成的不受阴影影响的参考妆容图像，
指的是根据xi和
通过特征点匹配得到的迁移妆容的真值。
本实施例在训练过程中，采用阴影损失来约束阴影信息，保证阴影去除过程中不影响其他信息，如图2所示，阴影损失表示为：
其中，
指的是生成的不受阴影影响的参考妆容图像，
指的是不受阴影影响的参考妆容图像真值，φk指的是预训练VGG16编码后的第k层的特征图，K的范围为1到5。
本实施例在训练过程中，采用重建损失来保证人物身份信息，重建损失包括自我重建损失和交叉重建损失两个部分，如图2所示，重建损失表示为：
Lrec＝Lself+λscaleLcross
其中，重建损失包括自我重建损失Lself和交叉重建损失Lcross，自我重建损失中，xi和
指的是源图像和生成的不受阴影影响的参考妆容图像，
和
指的是经过解耦表示后不经过特征融合，而是通过自身的内容和属性向量生成的源图像和不受阴影影响的参考妆容图像；交叉重建损失中，
和
指的是经过两次编码器和生成器得到的源图像、不受阴影影响的参考妆容图像和参考妆容图像。
本实施例在训练过程中，生成对抗损失保证生成结果的真实，如图2所示，生成对抗损失表示为：
其中，D指的是判别器，xi和
分别指的是源图像和参考妆容的卸妆图像，yjfree和
分别指的是无阴影影响的参考妆容图像和源图像的上妆图像，yj和
分别指的是参考妆容图像和重建后生成的参考妆容图像。
步骤4：将训练好的模型迁移到用户移动端上，在迁移的过程中，在保证模型效果的基础上，也要进行轻量化操作，保证在移动端上可用；
步骤5：用户在移动端上使用该妆容迁移模型，用户使用移动端摄像头采集自己的源图像和需求的妆容样式，输入到训练好的模型中，得到妆容样式呈现在用户脸上的效果。
本实施例的轻量化操作，指的是采用知识蒸馏的方式，训练好的模型作为教师网络，移动端的网络作为学生网络，用教师网络的输入输出来训练学生网络，减少参数，从而达到压缩模型的目的。
请见图5，为本发明实施例在有无阴影干扰下控制效果的对比示意图，图5中Yj为参考妆容图像，
和Yjmask为生成的无阴影影响的真实参考妆容和对应的掩膜mask；左侧三列为无阴影干扰下输入的参考妆容图像，生成的真实参考妆容以及对应的掩膜。可以看出无阴影干扰的情况下，阴影去除模型可以较好的保留原参考妆容图像中的妆容颜色分布，而不会引入其他的干扰信息。右侧三列为加入阴影干扰下输入的参考妆容图像，生成的真实参考妆容以及对应的掩膜。当有阴影干扰的情况下，阴影去除模型可以较好的提取阴影下的参考妆容图像中真实的妆容颜色分布，为妆容迁移提供真实的妆容信息。
请见图6，为本发明实施例的实验结果对比示意图，左边第一列为源图像，第一行为参考妆容图像，中间相交的九张图片为对应的参考妆容图像的妆容迁移到源图像上展现出的效果。
本发明提供的一种阴影鲁棒的基于解耦表示的妆容迁移方法，使得在自然场景特别是有阴影干扰的情况下，妆容迁移的效果更佳。通过专业相机进行源图像和参考妆容图像采集，得到自然条件不同阴影扰动的图像对。使用双通道层次聚合网络多尺度提取图像中的阴影信息和人脸身份妆容信息，将得到的人脸身份妆容多尺度特征向量通过空间金字塔池化拼接后输出，得到无阴影影响的图像。使用解耦表示的方法将得到的图像解耦到内容空间和属性空间：内容空间包含人物身份信息，即妆容无关信息，如面部结构、皮肤纹理等；属性空间包含妆容信息，如妆容色彩、妆容分布等。将源图像的内容向量和参考图像的属性向量进行特征融合，得到妆容迁移结果。在模型训练完成后，将模型迁移到用户移动端上，用户输入自己的源图像和移动端摄像头拍摄的参考妆容图像，可以得到拍摄的妆容迁移到自己面部的效果。本发明可以在妆容迁移过程中，做的更加的细致，模拟用户经过很长时间的精心化妆呈现出来的效果。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (10)
1.一种阴影鲁棒的基于解耦表示的妆容迁移系统，其特征在于，包括以下模块：
图像采集模块，用于采集源图像和参考妆容图像以及对应的加入阴影扰动的图像，保留对应的掩膜；其中源图像和参考妆容图像是非配对图像；
图像处理模块，用于对采集的图像对及对应的掩膜进行数据处理；
阴影去除模型和妆容迁移模型构建模块，用于阴影去除模型和妆容迁移模型构建；
阴影去除模型和妆容迁移模型训练模块，用于训练阴影去除模型和妆容迁移模型，获得训练好的阴影去除模型和妆容迁移模型。
2.根据权利要求1所述的阴影鲁棒的基于解耦表示的妆容迁移系统，其特征在于：所述用于对采集的图像对及对应的掩膜进行数据处理，是对无效图像对进行筛选去除掉，以及对有效图像对进行数据扩充，获得满足预设条件的图像。
3.根据权利要求1所述的阴影鲁棒的基于解耦表示的妆容迁移系统，其特征在于：
所述阴影去除模型，包括预训练的VGG16模型、双通道层次聚合网络和空间池化金字塔网络；预训练的VGG16用来将图片编码为多尺度的特征向量，双通道层次聚合网络包括多个聚合节点，每个节点聚合不同尺度的特征信息，其中包含阴影区域信息和妆容分布色彩信息，空间池化金字塔用于将多个聚合节点得到的信息连接在一起，输出分离出的阴影区域和无阴影影响的参考妆容图像；
所述妆容迁移模型，包括编码器、生成器和判别器；编码器用于将输入图片编码为特征向量，解耦表示将特征向量分别投射到内容空间和属性空间，通过特征融合后，生成器生成迁移后的上妆图像和妆容去除图像，判别器根据生成的图像和真值之间的妆容损失判断生成图像的真假，从而引导生成的图像更加真实。
4.根据权利要求1所述的阴影鲁棒的基于解耦表示的妆容迁移系统，其特征在于：所述阴影去除模型和妆容迁移模型训练模块包括以下子模块：
子模块1，用于输入源图像和参考妆容图像，使用双通道层次聚合网络多尺度提取图像中的阴影信息和人脸身份妆容信息；
子模块2，用于将得到的人脸身份妆容多尺度特征向量通过空间金字塔池化拼接后输出；
子模块3，用于得到无阴影影响的源图像和目标妆容图像；
子模块4，用于使用解耦表示的方法，将子模块3中的源图像和目标妆容图像解耦到内容空间和属性空间；
子模块5，用于将源图像的内容向量和参考图像的属性向量进行特征融合，得到妆容迁移结果。
5.根据权利要求4所述的阴影鲁棒的基于解耦表示的妆容迁移系统，其特征在于：所述阴影去除模型和妆容迁移模型训练模块还包括子模块6，用于在训练过程中，采用Adam优化器来优化模型。
6.根据权利要求1-5任意一项所述的阴影鲁棒的基于解耦表示的妆容迁移系统，其特征在于：所述阴影去除模型和妆容迁移模型训练模块还包括子模块7，用于在训练过程中，采用妆容损失来约束妆容信息，保证妆容的真实；
妆容损失表示为：
其中，
指的是迁移后的上妆图像，xi指的是源图像，
指的是生成的不受阴影影响的参考妆容图像，
指的是根据xi和
通过特征点匹配得到的迁移妆容的真值。
7.根据权利要求1-5任意一项所述的阴影鲁棒的基于解耦表示的妆容迁移系统，其特征在于：所述阴影去除模型和妆容迁移模型训练模块还包括子模块8，用于在训练过程中，采用阴影损失来约束阴影信息，保证阴影去除过程中不影响其他信息；
阴影损失表示为：
其中，
指的是生成的不受阴影影响的参考妆容图像，
指的是不受阴影影响的参考妆容图像真值，φk指的是预训练VGG16编码后的第k层的特征图，K的范围为1到5。
8.根据权利要求1-5任意一项所述的阴影鲁棒的基于解耦表示的妆容迁移系统，其特征在于：所述阴影去除模型和妆容迁移模型训练模块还包括子模块9，用于在训练过程中，采用重建损失来保证人物身份信息，生成对抗损失保证生成结果的真实；
重建损失表示为：
Lrec＝Lself+λscaleLcross；
其中，重建损失包括自我重建损失Lself和交叉重建损失Lcross；自我重建损失中，xi和
指的是源图像和生成的不受阴影影响的参考妆容图像，
和
指的是经过解耦表示后不经过特征融合，而是通过自身的内容和属性向量生成的源图像和不受阴影影响的参考妆容图像；交叉重建损失中，
和
指的是经过两次编码器和生成器得到的源图像、不受阴影影响的参考妆容图像和参考妆容图像。
9.一种阴影鲁棒的基于解耦表示的妆容迁移方法，其特征在于，包括以下步骤：
步骤1：将训练好的阴影去除模型和妆容迁移模模型迁移到用户移动端上；
步骤2：用户使用移动端摄像头采集自己的源图像和需求的妆容样式，输入到训练好的阴影去除模型和妆容迁移模模型中，得到妆容样式呈现在用户脸上的效果。
10.根据权利要求9所述的阴影鲁棒的基于解耦表示的妆容迁移方法，其特征在于：步骤1中，在迁移的过程中，进行轻量化操作，保证阴影去除模型和妆容迁移模模型在移动端上可用；
所述轻量化操作，指的是采用知识蒸馏的方式，将训练好的阴影去除模型和妆容迁移模模型作为教师网络，移动端的网络作为学生网络，用教师网络的输入输出来训练学生网络，减少参数，从而达到压缩模型的目的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110637758.6A CN113362422B (zh) | 2021-06-08 | 2021-06-08 | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110637758.6A CN113362422B (zh) | 2021-06-08 | 2021-06-08 | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113362422A true CN113362422A (zh) | 2021-09-07 |
| CN113362422B CN113362422B (zh) | 2022-07-05 |
Family
ID=77533247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110637758.6A Active CN113362422B (zh) | 2021-06-08 | 2021-06-08 | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113362422B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708270A (zh) * | 2021-12-15 | 2022-07-05 | 华东师范大学 | 基于知识聚合与解耦蒸馏的语义分割模型压缩系统及压缩方法 |
| CN114998970A (zh) * | 2022-06-28 | 2022-09-02 | 西北大学 | 一种基于多尺度密集特征融合的妆容迁移方法 |
| WO2023040813A1 (zh) * | 2021-09-16 | 2023-03-23 | 北京字跳网络技术有限公司 | 人脸图像处理方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160042557A1 (en) * | 2014-08-08 | 2016-02-11 | Asustek Computer Inc. | Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system |
| US20190014884A1 (en) * | 2017-07-13 | 2019-01-17 | Shiseido Americas Corporation | Systems and Methods for Virtual Facial Makeup Removal and Simulation, Fast Facial Detection and Landmark Tracking, Reduction in Input Video Lag and Shaking, and a Method for Recommending Makeup |
| CN109949216A (zh) * | 2019-04-19 | 2019-06-28 | 中共中央办公厅电子科技学院(北京电子科技学院) | 一种基于面部解析和光照迁移的复杂妆容迁移方法 |
| CN111028142A (zh) * | 2019-11-25 | 2020-04-17 | 泰康保险集团股份有限公司 | 图像处理方法、装置和存储介质 |
| CN111815534A (zh) * | 2020-07-14 | 2020-10-23 | 厦门美图之家科技有限公司 | 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质 |
| CN111950430A (zh) * | 2020-08-07 | 2020-11-17 | 武汉理工大学 | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 |
-
2021
- 2021-06-08 CN CN202110637758.6A patent/CN113362422B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160042557A1 (en) * | 2014-08-08 | 2016-02-11 | Asustek Computer Inc. | Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system |
| US20190014884A1 (en) * | 2017-07-13 | 2019-01-17 | Shiseido Americas Corporation | Systems and Methods for Virtual Facial Makeup Removal and Simulation, Fast Facial Detection and Landmark Tracking, Reduction in Input Video Lag and Shaking, and a Method for Recommending Makeup |
| CN109949216A (zh) * | 2019-04-19 | 2019-06-28 | 中共中央办公厅电子科技学院(北京电子科技学院) | 一种基于面部解析和光照迁移的复杂妆容迁移方法 |
| CN111028142A (zh) * | 2019-11-25 | 2020-04-17 | 泰康保险集团股份有限公司 | 图像处理方法、装置和存储介质 |
| CN111815534A (zh) * | 2020-07-14 | 2020-10-23 | 厦门美图之家科技有限公司 | 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质 |
| CN111950430A (zh) * | 2020-08-07 | 2020-11-17 | 武汉理工大学 | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李艳楠等: "人脸妆容虚拟迁移软件的设计与实现", 《北京电子科技学院学报》, 31 December 2017 (2017-12-31), pages 45 - 50 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023040813A1 (zh) * | 2021-09-16 | 2023-03-23 | 北京字跳网络技术有限公司 | 人脸图像处理方法、装置、设备及介质 |
| CN114708270A (zh) * | 2021-12-15 | 2022-07-05 | 华东师范大学 | 基于知识聚合与解耦蒸馏的语义分割模型压缩系统及压缩方法 |
| CN114708270B (zh) * | 2021-12-15 | 2023-08-08 | 华东师范大学 | 基于知识聚合与解耦蒸馏的压缩方法在语义分割中的应用 |
| CN114998970A (zh) * | 2022-06-28 | 2022-09-02 | 西北大学 | 一种基于多尺度密集特征融合的妆容迁移方法 |
| CN114998970B (zh) * | 2022-06-28 | 2024-03-12 | 西北大学 | 一种基于多尺度密集特征融合的妆容迁移方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113362422B (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113362422B (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 | |
| CN112766160B (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| CN113269872A (zh) | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 | |
| US20220028031A1 (en) | Image processing method and apparatus, device, and storage medium | |
| CN111696028A (zh) | 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质 | |
| Liu et al. | Photo stylistic brush: Robust style transfer via superpixel-based bipartite graph | |
| Zhang et al. | Style transfer via image component analysis | |
| CN110796593A (zh) | 基于人工智能的图像处理方法、装置、介质及电子设备 | |
| Lin et al. | Meingame: Create a game character face from a single portrait | |
| CN111401216A (zh) | 图像处理、模型训练方法、装置、计算机设备和存储介质 | |
| Singh et al. | Neural style transfer: A critical review | |
| CN113807265B (zh) | 一种多样化的人脸图像合成方法及系统 | |
| Chen et al. | Face swapping: realistic image synthesis based on facial landmarks alignment | |
| KR102353556B1 (ko) | 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치 | |
| CN111950430A (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
| CN115170559A (zh) | 基于多层级哈希编码的个性化人头神经辐射场基底表示与重建方法 | |
| CN107066979A (zh) | 一种基于深度信息和多维度卷积神经网络的人体动作识别方法 | |
| CN114120389A (zh) | 网络训练及视频帧处理的方法、装置、设备及存储介质 | |
| KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 | |
| Guo | Digital anti-aging in face images | |
| CN116777738A (zh) | 基于服装区域对齐和风格保持调制的真实性虚拟试穿方法 | |
| Andersson et al. | Generative Adversarial Networks for photo to Hayao Miyazaki style cartoons | |
| CN115914505A (zh) | 基于语音驱动数字人模型的视频生成方法及系统 | |
| CN115760552A (zh) | 基于图像妆容迁移网络的人脸图像妆容迁移方法及系统 | |
| CN115936796A (zh) | 一种虚拟换妆方法、系统、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |