CN113538213A - 妆容迁移的数据处理方法、系统和存储介质 - Google Patents
妆容迁移的数据处理方法、系统和存储介质 Download PDFInfo
- Publication number
- CN113538213A CN113538213A CN202110644861.3A CN202110644861A CN113538213A CN 113538213 A CN113538213 A CN 113538213A CN 202110644861 A CN202110644861 A CN 202110644861A CN 113538213 A CN113538213 A CN 113538213A
- Authority
- CN
- China
- Prior art keywords
- matrix
- image
- makeup
- deviation
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005012 migration Effects 0.000 title claims abstract description 33
- 238000013508 migration Methods 0.000 title claims abstract description 33
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 172
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims description 28
- 230000001131 transforming effect Effects 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 17
- 239000002537 cosmetic Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000032538 Depersonalisation Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种妆容迁移的数据处理方法、系统和存储介质，可应用于深度学习技术领域。本发明方法通过先将参考图像转换为第一特征图像和将源图像转换为第二特征图像，接着确定第一特征图像与第二特征图像的关注矩阵，然后将参考图像的妆点分解为妆点矩阵、第一系数矩阵和第一偏差矩阵，并通过关注矩阵对第一系数矩阵进行变换，得到第二系数矩阵，以及对第一偏差矩阵进行变换，得到第二偏差矩阵，最后根据妆点矩阵、第二系数矩阵和第二偏差矩阵将参考图像的妆容迁移到源图像，并在移后的源图像上设置对称约束，以解决人脸不对称对妆容的影响，从而使得妆容迁移后左右眼妆一致。
Description
技术领域
本发明涉及深度学习技术领域，尤其是一种妆容迁移的数据处理方法、系统和存储介质。
背景技术
化妆是一种艺术形式，它能提升个人的魅力和颜值。如今，不管是工作还是出门约会，化妆都是人们社交日常必不可少的部分，自动化妆和妆容美化的应用范围也越来越广泛，逐渐深入到了每个拍照，直播，甚至购物等软件中。妆容迁移技术可以在你没有化妆的情况下，将一张人像的妆容迁移到你的照片上，让你知道每种妆容上脸的外观，就可以高效的找出适合自己的妆容。目前的妆容迁移方式，难以确保眼妆迁移后左右眼保持一致。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种妆容迁移的数据处理方法、系统和存储介质，能够保证迁移后的左右眼妆一致。
第一方面，本发明实施例提供了一种妆容迁移的数据处理方法，包括以下步骤：
获取有妆容图像作为参考图像，获取无妆容图像作为源图像；
将所述参考图像转换为第一特征图像，将所述源图像转换为第二特征图像；
确定所述第一特征图像与所述第二特征图像的关注矩阵；
将所述参考图像的妆点分解为妆点矩阵、第一系数矩阵和第一偏差矩阵；
采用所述关注矩阵对所述第一系数矩阵进行变换，得到第二系数矩阵，采用所述关注矩阵对所述第一偏差矩阵进行变换，得到第二偏差矩阵；
根据所述妆点矩阵、所述第二系数矩阵和所述第二偏差矩阵将所述参考图像的妆容迁移到所述源图像；
对妆容迁移后的源图像设置对称约束。
本实施例提供的一种妆容迁移的数据处理方法，具有如下有益效果：
本实施例通过先将参考图像转换为第一特征图像和将源图像转换为第二特征图像，接着确定第一特征图像与第二特征图像的关注矩阵，然后将参考图像的妆点分解为妆点矩阵、第一系数矩阵和第一偏差矩阵，并通过关注矩阵对第一系数矩阵进行变换，得到第二系数矩阵，以及对第一偏差矩阵进行变换，得到第二偏差矩阵，最后根据妆点矩阵、第二系数矩阵和第二偏差矩阵将参考图像的妆容迁移到源图像，并在移后的源图像上设置对称约束，以解决人脸不对称对妆容的影响，从而使得妆容迁移后左右眼妆一致。
可选地，所述确定所述第一特征图像与所述第二特征图像的关注矩阵，包括：
计算所述第一特征图像和所述第二特征图像的几何信息；
获取所述参考图像的第一人脸分割结果和所述源图像的第二人脸分割结果；
根据所述几何信息、所述第一特征向量、所述第二特征向量、所述第一人脸分割结果和所述第二人脸分割结果计算关注矩阵。
可选地，所述计算所述第一特征图像和所述第二特征图像的几何信息这一步骤的计算公式如下：
pi＝[f(xi)-f(l1),…,f(xi)-f(l68),g(xi)-g(l1),…,g(xi)-g(l68)]
其中，pi表示几何信息，f(xi)表示第一特征图像上第i个像素点的坐标，g(xi)表示第二特征图像上第i个像素点的坐标，li表示第i个人脸关键点。
可选地，所述根据所述几何信息、所述第一特征向量、所述第二特征向量、所述第一人脸分割结果和所述第二人脸分割结果计算关注矩阵这一步骤的计算公式如下：
其中，
表示源图像x的第i个像素的第二人脸分割结果，
表示参考图像y的第j个像素的第一人脸分割结果，当第二人脸分割结果和第一人脸分割结果属于同一个语义区域时，
等于1，反之，
等于0；pi表示几何信息；vi特征图像的特征向量。
可选地，所述采用所述关注矩阵对所述第一系数矩阵进行变换，得到第二系数矩阵，采用所述关注矩阵对所述第一偏差矩阵进行变换，得到第二偏差矩阵，包括：
采用所述关注矩阵对所述第一系数矩阵进行变换后，沿通道维度扩充，得到第二系数矩；
采用所述关注矩阵对所述第一偏差矩阵进行变换后，沿通道维度扩充，得到第二偏差矩阵。
可选地，所述根据所述妆点矩阵、所述第二系数矩阵和所述第二偏差矩阵将所述参考图像的妆容迁移到所述源图像，其具体为：
采用编解码网络根据所述妆点矩阵、所述第二系数矩阵和所述第二偏差矩阵将所述参考图像的妆容迁移到所述源图像。
可选地，在所述编解码网络工作时，还包括以下步骤：
分别计算对抗损失、循环一致性损失、身份感知损失、妆容损失和对称损失；
根据预设权重、所述对抗损失、所述循环一致性损失、所述身份感知损失、所述妆容损失和所述对称损失计算总损失。
第二方面，本发明实施例提供了一种妆容迁移的数据处理系统，包括：
获取模块，用于获取有妆容图像作为参考图像，获取无妆容图像作为源图像；
转换模块，用于将所述参考图像转换为第一特征图像，将所述源图像转换为第二特征图像；
确定模块，用于确定所述第一特征图像与所述第二特征图像的关注矩阵；
分解模块，用于将所述参考图像的妆点分解为妆点矩阵、第一系数矩阵和第一偏差矩阵；
变换模块，用于采用所述关注矩阵对所述第一系数矩阵进行变换，得到第二系数矩阵，采用所述关注矩阵对所述第一偏差矩阵进行变换，得到第二偏差矩阵；
迁移模块，用于根据所述妆点矩阵、所述第二系数矩阵和所述第二偏差矩阵将所述参考图像的妆容迁移到所述源图像。
第三方面，本发明实施例提供了一种妆容迁移的数据处理系统，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行第一方面实施例提供的妆容迁移的数据处理方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行第一方面实施例提供的妆容迁移的数据处理方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明做进一步的说明，其中：
图1为本发明实施例的一种妆容迁移的数据处理方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
参照图1，本发明实施例提供了一种妆容迁移的数据处理方法，本实施例可应用于各个美颜软件对应的控制器或者服务器。
在实施过程中，本实施例包括以下步骤：
S11、获取有妆容图像作为参考图像，获取无妆容图像作为源图像。
S12、将参考图像转换为第一特征图像，将源图像转换为第二特征图像。
S13、确定第一特征图像与第二特征图像的关注矩阵。
S14、将参考图像的妆点分解为妆点矩阵、第一系数矩阵和第一偏差矩阵。
S15、采用关注矩阵对第一系数矩阵进行变换，得到第二系数矩阵；采用关注矩阵对第一偏差矩阵进行变换，得到第二偏差矩阵；
S16、根据妆点矩阵、第二系数矩阵和第二偏差矩阵将参考图像的妆容迁移到所述源图像；
S17、对妆容迁移后的源图像设置对称约束。
具体地，本实施例是基于PSGAN算法进行改进。其中，其应用的网络模型包括MDNet(Makeup Distillation Network)、AMM(Attentive Makeup Morphing)和DRNet(De-makeup&Re-makeup Network)这三个模块。
MDNet是一个编码-瓶颈体系结构，其没有解码器部分，使用两个1×1卷积变换将参考图像中的妆点分解为两个妆点矩阵，系数矩阵和偏差矩阵，其具有相同的空间维度和视觉特征，编码了内在的面部特征到化妆相关特征之间的关系；有妆图经过MDNet得到第一特征图像对应的特征向量Vy，无妆图经过MDNet得到第二特征图像对应的特征向量Vx，但是由于无妆图和有妆图有很大的表情和姿态差异，所以系数矩阵和偏差矩阵不能直接应用到Vx上来得到迁移结果。
AMM则是通过计算关注矩阵A生成与无妆图对应的化妆矩阵，利用人脸解析图和人脸地标建立源图像和参考图像的像素级对应，解决人脸不对准问题。其中，确定第一特征图像与所述第二特征图像的关注矩阵，通过以下步骤实现；
计算第一特征图像和第二特征图像的几何信息；
获取参考图像的第一人脸分割结果和源图像的第二人脸分割结果；
根据几何信息、第一特征向量、第二特征向量、第一人脸分割结果和第二人脸分割结果计算关注矩阵。
具体地，关注矩阵A在计算时，考虑两方面的信息，一方面是MDNet提取的特征V，即第一特征图像和第二特征图像的特征，其大小是C*H*W；另一方面是几何信息P，其作用是保证无妆容图像x和有妆容图像y的妆容像素点位置对应，具体是计算每一个特征图像的元素与68个人脸关键点的位置差，其大小是136*H*W。其中，几何信息通过如下公式计算：
pi＝[f(xi)-f(l1),…,f(xi)-f(l68),g(xi)-g(l1),…,g(xi)-g(l68)]
其中，pi表示几何信息，f(xi)表示第一特征图像上第i个像素点的坐标，g(xi)表示第二特征图像上第i个像素点的坐标，li表示第i个人脸关键点。
在得到几何信息后通过如下公式计算关注矩阵：
其中，
表示源图像x的第i个像素的第二人脸分割结果，
表示参考图像y的第j个像素的第一人脸分割结果，当第二人脸分割结果和第一人脸分割结果属于同一个语义区域时，
等于1，反之，
等于0；pi表示几何信息；vi特征图像的特征向量。
接着根据关注矩阵A通过以下公式对第一系数矩阵进行变换：
γ’i＝∑jAi,jγi
γi表示变换前的系数矩阵，即第一系数矩阵。
以及根据关注矩阵A通过以下公式对第一偏差矩阵进行变换：
β’i＝∑jAi,jβi
βi表示变换前的偏差矩阵，即第一偏差矩阵。
然后根据变换后的系数矩阵γ’i和偏差矩阵β’i沿着通道维度扩充后，分别得到第二系数矩阵Γ’和第二偏差矩阵B’，其大小都是C*H*W。
在本实施例中，采用编解码网络根据妆点矩阵、第二系数矩阵和第二偏差矩阵将参考图像的妆容迁移到源图像。其中，编解码网络属于DRNet内，编码器部分与MDNet是相同的结构，但是他们两者不共享参数。具体地，本实施例是通过将提取出来的特征与第二系数矩阵Γ’和第二偏差矩阵B’进行仿射变换得到矩阵V’x，其计算公式如下：
V’x＝Γ’Vx+B’
Vx表示第二特征图像对应的特征向量。
将矩阵V’x作为DRNet中解码器部分的输入，以完成妆容迁移过程。
在本实施例中，在进行妆容迁移过程时，还会计算以下损失：
对抗损失，本算法利用两个判别器Dx和Dy对于无妆图X和参考图像Y，判别器试图区分生成的图像和参考图像，从而帮助生成器生成真实的迁移后的图像，所以基本的GAN损失包括判别器的对抗损失和生成器的对抗损失，其中，判别器的对抗损失如下：
D表示判别器，G表示生成器，E表示特征编码网络。
生成器的对抗损失如下：
循环一致性损失计算过程，通过无妆容图像和有妆容图像的损失对重构图像进行约束，其计算方式如下：
身份感知损失的计算公式如下，其中，为了保持个人身份，本实施例使用ImageNet上预先训练的vgg16模型来比较无妆容图像的集货仓和隐藏层中生成的图像，用Fl()表示VGG-16模型的第L层输出，用有妆容图像和无妆容图像的特征向量拼接后的另一个拼接图像L2来定义身份感知损失：
妆容损失通过如下公式计算，其具体是将直方图匹配的面部区域分别表示x和y，然后匹配的结果表示HM(x，y)：
HW表示直方图。
根据上述计算的各个损失，通过如下公式计算判别器总的损失：
通过如下公式计算生成器总的损失：
λ为各个损失的权重。
在上述处理过程中，当参考图是侧脸的时候，基于PSGAN算法的迁移结果是两眼的妆容不同，这是因为参考图两眼的妆容本身就缺失了，因此，本实施例通过设置堆成损失，是迁移后的图像加对称约束，以有效的解决迁移后图像的左右眼妆容的差异，从而提高大姿态情况下妆容迁移的性能。
具体地，本实施例在图像像素空间定义对称损失。对称损失的贡献是双重的，通过鼓励对称的结构生成真实的图像，通过提供额外的反向传播梯度来缓解极端姿势的自遮挡，加速PSGAN的收敛。然而，由于光照变化或纹理的内在差异，像素值在大多数情况下并不是严格对称的。但是，局部区域内的像素差异是一致的，不同光照条件下，一个点沿各个方向的梯度基本保留。其对称损失定义如下公式：
W和H分别表示图像的宽度和高度，x和y分别表示宽的位置和高的位置，I表示像素值。
因此，设置对称损失后的判别器总的损失如下：
生成器总的损失如下：
λ为各个损失的权重。
将本实施例应用于实际处理过程时发现，目前的方式，在当参考图像为侧脸时，结果左右眼妆容差异很大，且背景图与原图发生了变化。而本实施例不仅能迁移完整的妆容，而且背景与原图差别不大。
本发明实施例提供了一种妆容迁移的数据处理系统，包括：
获取模块，用于获取有妆容图像作为参考图像，获取无妆容图像作为源图像；
转换模块，用于将参考图像转换为第一特征图像，将源图像转换为第二特征图像；
确定模块，用于确定第一特征图像与第二特征图像的关注矩阵；
分解模块，用于将参考图像的妆点分解为妆点矩阵、第一系数矩阵和第一偏差矩阵；
变换模块，用于采用关注矩阵对第一系数矩阵进行变换，得到第二系数矩阵，采用关注矩阵对所述第一偏差矩阵进行变换，得到第二偏差矩阵；
迁移模块，用于根据妆点矩阵、第二系数矩阵和第二偏差矩阵将所述参考图像的妆容迁移到所述源图像。
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种妆容迁移的数据处理系统，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行图1所示的妆容迁移的数据处理方法。
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于执行图1所示的妆容迁移的数据处理方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
Claims (10)
1.一种妆容迁移的数据处理方法，其特征在于，包括以下步骤：
获取有妆容图像作为参考图像，获取无妆容图像作为源图像；
将所述参考图像转换为第一特征图像，将所述源图像转换为第二特征图像；
确定所述第一特征图像与所述第二特征图像的关注矩阵；
将所述参考图像的妆点分解为妆点矩阵、第一系数矩阵和第一偏差矩阵；
采用所述关注矩阵对所述第一系数矩阵进行变换，得到第二系数矩阵，采用所述关注矩阵对所述第一偏差矩阵进行变换，得到第二偏差矩阵；
根据所述妆点矩阵、所述第二系数矩阵和所述第二偏差矩阵将所述参考图像的妆容迁移到所述源图像；
对妆容迁移后的源图像设置对称约束。
2.根据权利要求1所述的一种妆容迁移的数据处理方法，其特征在于，所述确定所述第一特征图像与所述第二特征图像的关注矩阵，包括：
计算所述第一特征图像和所述第二特征图像的几何信息；
获取所述参考图像的第一人脸分割结果和所述源图像的第二人脸分割结果；
根据所述几何信息、所述第一特征向量、所述第二特征向量、所述第一人脸分割结果和所述第二人脸分割结果计算关注矩阵。
3.根据权利要求2所述的一种妆容迁移的数据处理方法，其特征在于，所述计算所述第一特征图像和所述第二特征图像的几何信息这一步骤的计算公式如下：
pi＝[f(xi)-f(l1),…,f(xi)-f(l68),g(xi)-g(l1),…,g(xi)-g(l68)]
其中，pi表示几何信息，f(xi)表示第一特征图像上第i个像素点的坐标，g(xi)表示第二特征图像上第i个像素点的坐标，li表示第i个人脸关键点。
4.根据权利要求3所述的一种妆容迁移的数据处理方法，其特征在于，所述根据所述几何信息、所述第一特征向量、所述第二特征向量、所述第一人脸分割结果和所述第二人脸分割结果计算关注矩阵这一步骤的计算公式如下：
其中，
表示源图像x的第i个像素的第二人脸分割结果，
表示参考图像y的第j个像素的第一人脸分割结果，当第二人脸分割结果和第一人脸分割结果属于同一个语义区域时，
等于1，反之，
等于0；pi表示几何信息；vi特征图像的特征向量。
5.根据权利要求1所述的一种妆容迁移的数据处理方法，其特征在于，所述采用所述关注矩阵对所述第一系数矩阵进行变换，得到第二系数矩阵，采用所述关注矩阵对所述第一偏差矩阵进行变换，得到第二偏差矩阵，包括：
采用所述关注矩阵对所述第一系数矩阵进行变换后，沿通道维度扩充，得到第二系数矩；
采用所述关注矩阵对所述第一偏差矩阵进行变换后，沿通道维度扩充，得到第二偏差矩阵。
6.根据权利要求1所述的一种妆容迁移的数据处理方法，其特征在于，所述根据所述妆点矩阵、所述第二系数矩阵和所述第二偏差矩阵将所述参考图像的妆容迁移到所述源图像，其具体为：
采用编解码网络根据所述妆点矩阵、所述第二系数矩阵和所述第二偏差矩阵将所述参考图像的妆容迁移到所述源图像。
7.根据权利要求6所述的一种妆容迁移的数据处理方法，其特征在于，在所述编解码网络工作时，还包括以下步骤：
分别计算对抗损失、循环一致性损失、身份感知损失、妆容损失和对称损失；
根据预设权重、所述对抗损失、所述循环一致性损失、所述身份感知损失、所述妆容损失和所述对称损失计算总损失。
8.一种妆容迁移的数据处理系统，其特征在于，包括：
获取模块，用于获取有妆容图像作为参考图像，获取无妆容图像作为源图像；
转换模块，用于将所述参考图像转换为第一特征图像，将所述源图像转换为第二特征图像；
确定模块，用于确定所述第一特征图像与所述第二特征图像的关注矩阵；
分解模块，用于将所述参考图像的妆点分解为妆点矩阵、第一系数矩阵和第一偏差矩阵；
变换模块，用于采用所述关注矩阵对所述第一系数矩阵进行变换，得到第二系数矩阵，采用所述关注矩阵对所述第一偏差矩阵进行变换，得到第二偏差矩阵；
迁移模块，用于根据所述妆点矩阵、所述第二系数矩阵和所述第二偏差矩阵将所述参考图像的妆容迁移到所述源图像。
9.一种妆容迁移的数据处理系统，其特征在于，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行如权利要求1-7任一项所述的妆容迁移的数据处理方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述的妆容迁移的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110644861.3A CN113538213A (zh) | 2021-06-09 | 2021-06-09 | 妆容迁移的数据处理方法、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110644861.3A CN113538213A (zh) | 2021-06-09 | 2021-06-09 | 妆容迁移的数据处理方法、系统和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113538213A true CN113538213A (zh) | 2021-10-22 |
Family
ID=78095772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110644861.3A Pending CN113538213A (zh) | 2021-06-09 | 2021-06-09 | 妆容迁移的数据处理方法、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538213A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418837A (zh) * | 2022-04-02 | 2022-04-29 | 荣耀终端有限公司 | 一种妆容迁移方法及电子设备 |
| CN115345773A (zh) * | 2022-08-15 | 2022-11-15 | 哈尔滨工业大学（深圳） | 基于生成对抗网络的妆容迁移方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108932693A (zh) * | 2018-06-15 | 2018-12-04 | 中国科学院自动化研究所 | 基于人脸几何信息的人脸编辑补全方法及装置 |
| CN110853119A (zh) * | 2019-09-15 | 2020-02-28 | 北京航空航天大学 | 一种鲁棒的基于参考图片的妆容迁移方法 |
-
2021
- 2021-06-09 CN CN202110644861.3A patent/CN113538213A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108932693A (zh) * | 2018-06-15 | 2018-12-04 | 中国科学院自动化研究所 | 基于人脸几何信息的人脸编辑补全方法及装置 |
| CN110853119A (zh) * | 2019-09-15 | 2020-02-28 | 北京航空航天大学 | 一种鲁棒的基于参考图片的妆容迁移方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418837A (zh) * | 2022-04-02 | 2022-04-29 | 荣耀终端有限公司 | 一种妆容迁移方法及电子设备 |
| CN114418837B (zh) * | 2022-04-02 | 2023-06-13 | 荣耀终端有限公司 | 一种妆容迁移方法及电子设备 |
| CN115345773A (zh) * | 2022-08-15 | 2022-11-15 | 哈尔滨工业大学（深圳） | 基于生成对抗网络的妆容迁移方法 |
| CN115345773B (zh) * | 2022-08-15 | 2023-02-17 | 哈尔滨工业大学（深圳） | 基于生成对抗网络的妆容迁移方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Color to gray: Visual cue preservation | |
| CN111401216B (zh) | 图像处理、模型训练方法、装置、计算机设备和存储介质 | |
| Huang et al. | Deep learning for image colorization: Current and future prospects | |
| CN111681177B (zh) | 视频处理方法及装置、计算机可读存储介质、电子设备 | |
| CN111739027B (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
| CN113538213A (zh) | 妆容迁移的数据处理方法、系统和存储介质 | |
| Xiao et al. | Single image dehazing based on learning of haze layers | |
| US20100259683A1 (en) | Method, Apparatus, and Computer Program Product for Vector Video Retargeting | |
| CN108596992B (zh) | 一种快速实时的唇彩化妆方法 | |
| CN112668638A (zh) | 一种图像美学质量评估和语义识别联合分类方法及系统 | |
| CN116740261A (zh) | 图像重建方法和装置、图像重建模型的训练方法和装置 | |
| Kawulok et al. | Discriminative textural features for image and video colorization | |
| Liu et al. | Toward visual quality enhancement of dehazing effect with improved Cycle-GAN | |
| Wang et al. | Perception-guided multi-channel visual feature fusion for image retargeting | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN113591838B (zh) | 目标检测方法、装置、电子设备和存储介质 | |
| CN116051593A (zh) | 服装图像提取方法及其装置、设备、介质、产品 | |
| CN113538214B (zh) | 一种妆容迁移的控制方法、系统和存储介质 | |
| CN115909430A (zh) | 一种图像处理方法、装置、存储介质及计算机程序产品 | |
| Bukar et al. | On facial age progression based on modified active appearance models with face texture | |
| Schneider et al. | Photo-Realistic Exemplar-Based Face Ageing | |
| CN115937011B (zh) | 一种基于时滞特征回归的关键帧位姿优化视觉slam方法、存储介质及设备 | |
| Yang et al. | Realistic texture synthesis for point-based fruitage phenotype | |
| Reyes-Saldana et al. | Deep Variational Method with Attention for High-Definition Face Generation | |
| Chen | Comparison on Image to Image Translation Algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |