CN113313660A - 妆容迁移方法、装置、设备和计算机可读存储介质 - Google Patents

妆容迁移方法、装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113313660A
CN113313660A CN202110530429.1A CN202110530429A CN113313660A CN 113313660 A CN113313660 A CN 113313660A CN 202110530429 A CN202110530429 A CN 202110530429A CN 113313660 A CN113313660 A CN 113313660A
Authority
CN
China
Prior art keywords
makeup
image
organ
area
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110530429.1A
Other languages
English (en)
Inventor
吴文岩
郑程耀
甘世康
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110530429.1A priority Critical patent/CN113313660A/zh
Publication of CN113313660A publication Critical patent/CN113313660A/zh
Priority to PCT/CN2021/126184 priority patent/WO2022237081A1/zh
Priority to TW110144373A priority patent/TW202244841A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本公开实施例所提供了一种妆容迁移方法、装置、设备和计算机可读存储介质，所述方法包括：获取包含原始人脸的原始人脸图像和包含目标妆容的妆容人脸图像；基于原始人脸图像中的第一器官区域，对妆容人脸图像中的第二器官区域进行图像变形处理，得到第二变形器官区域；第一器官区域和第二器官区域对应同一类型的器官；基于第二变形器官区域，对原始人脸图像中的第一器官区域进行颜色迁移和纹理迁移，得到妆容迁移后的原始人脸图像。通过本公开提高了妆容迁移的自然度和细节度。

Description

妆容迁移方法、装置、设备和计算机可读存储介质
技术领域
本公开涉及图像处理技术，尤其涉及一种妆容迁移方法、装置、设备和计 算机可读存储介质。
背景技术
目前，用户通过美妆应用可以将妆容参考图像中模特的妆容迁移到目标对 象的人脸上，从而实现对目标对象的人脸的自动妆容处理；然而，在妆容迁移 过程中，通常是将模特的妆容颜色迁移到用户的人脸上，实现颜色迁移，而目 标对象的人脸的嘴唇纹理、眉毛纹理等妆容区域的纹理与模特存在差异，从而 影响了用户人脸的口红，眉毛等妆容区域的状容迁移细节度和自然度。
发明内容
本公开实施例提供一种妆容迁移方法、装置、设备和计算机可读存储介质， 提高了妆容迁移的细节度和自然度。
本公开的技术方案是这样实现的：
本公开实施例提供一种妆容迁移方法，包括：
获取包含原始人脸的原始人脸图像和包含目标妆容的妆容人脸图像；基于 所述原始人脸图像中的第一器官区域，对所述妆容人脸图像中的第二器官区域 进行图像变形处理，得到第二变形器官区域；所述第一器官区域和所述第二器 官区域对应同一类型的器官；基于所述第二变形器官区域，对所述原始人脸图 像中的第一器官区域进行颜色迁移和纹理迁移，得到妆容迁移后的原始人脸图 像。
这样，通过对妆容人脸图像的第二器官区域进行图像变形处理，将第二器 官区域的形状变形为原始人脸图像中相同器官类型的第一器官区域，得到第二 变形器官区域，基于第二变形器官区域，再对第一器官区域进行颜色迁移和纹 理迁移，提高了妆容迁移的细节度和自然度，从而提高了妆容效果图像的效果。
上述方法中，所述获取包含原始人脸的原始人脸图像和包含目标妆容的妆 容人脸图像，包括：从包含目标对象的用户图像中提取所述原始人脸图像，以 及从包含所述目标妆容的妆容参考图像中提取所述妆容人脸图像。
这样，终端可以将任意妆容参考图像的妆容迁移到任意用户图像中，提高 了妆容迁移的灵活性。
上述方法中，所述从包含目标对象的用户图像中提取所述原始人脸图像， 包括：对所述用户图像进行人脸关键点检测，得到所述用户图像的第一人脸关 键点；基于所述第一人脸关键点，对所述用户图像进行人脸对齐，得到所述原 始人脸图像。
这样，终端可以通过人脸关键点进行人脸对齐，基于人脸对齐后的图像进 行妆容迁移，提高了妆容迁移的精度，从而提高了妆容迁移的效果。
上述方法中，所述从包含所述目标妆容的妆容参考图像中提取所述妆容人 脸图像，包括：对所述妆容参考图像进行人脸关键点检测，得到所述妆容参考 图像的第二人脸关键点；基于所述第二人脸关键点，对所述妆容参考图像进行 人脸对齐，得到所述妆容人脸图像。
上述方法中，所述基于所述第一人脸关键点对所述用户图像进行人脸对齐， 得到所述原始人脸图像，包括：基于所述第一人脸关键点的第一原始位置信息 和目标对齐人脸关键点的目标位置信息，获取第一变换矩阵；所述第一变换矩 阵表征所述第一原始位置信息和所述目标位置信息之间的位置关系；基于所述 第一变换矩阵，调整所述第一原始位置信息，得到用户对齐图像；从所述用户 对齐图像中提取所述原始人脸图像。
这样，终端可以通过第一人脸关键点确定第一变换矩阵，根据第一变换矩 阵调整第一人脸关键点的位置信息，从而实现对用户图像的人脸对齐。
上述方法中，所述基于所述第二人脸关键点，对所述妆容图像进行人脸对 齐，得到所述妆容人脸图像，包括：基于所述第二人脸关键点的第二原始位置 信息和目标对齐人脸关键点的目标位置信息，获取第二变换矩阵；所述第二变 换矩阵表征所述第二原始位置信息和所述目标位置信息之间的位置关系；基于 所述第二变换矩阵，调整所述第二原始位置信息，得到妆容对齐图像；从所述 妆容对齐图像中提取所述妆容人脸图像。
这样，终端可以通过第二人脸关键点确定第二变换矩阵，根据第二变换矩 阵调整第二人脸关键点的位置信息，从而实现对妆容图像的人脸对齐。
上述方法中，所述基于所述原始人脸图像中的第一器官区域，对所述妆容 人脸图像中的第二器官区域进行图像变形处理，得到第二变形器官区域，包括： 对所述原始人脸图像进行器官分割，得到所述第一器官区域，以及对所述妆容 人脸图像进行器官分割，得到所述第二器官区域；对所述第二器官区域进行图 像变形处理，将所述第二器官区域的形状信息调整为对应的第一器官区域的形 状信息，得到所述第二变形器官区域。
这样，终端可以将妆容人脸图像中的第二器官区域的形状信息调整至与原 始人脸图像中对应的第一器官区域的形状信息相同，如此，对相同形状的器官 区域进行妆容迁移，能够提高妆容迁移的细节度。
上述方法中，所述对所述第二器官区域进行图像变形处理，将所述第二器 官区域的形状信息调整为对应的第一器官区域的形状信息，得到所述第二器变 形官区域，包括：基于所述第二器官区域中的第二对齐人脸关键点，确定第二 三角形网格，以及，基于所述第一器官区域中的第一对齐人脸关键点，确定对 应的第一三角形网格；通过仿射变换，将所述第二三角形网格中的每个第二三 角形的形状信息调整为对应的第一三角形的形状信息，得到所述第二变形器官 区域。
这样，终端可以通过三角形网络进行仿射变换，从而将第二器官区域的形 状信息调整为对应的第一器官区域的形状信息，得到第二器变形官区域。如此， 对相同形状的器官区域进行妆容迁移，能够提高妆容迁移的细节度。
上述方法中，所述基于所述第二变形器官区域，对所述原始人脸图像中的 第一器官区域进行颜色迁移和纹理迁移，得到妆容迁移后的原始人脸图像，包 括：基于所述第二变形器官区域，对对应的第一器官区域进行颜色迁移，得到 第一颜色迁移区域；将所述第二变形器官区域的纹理迁移至所述对应的第一颜 色迁移区域中，得到所述迁移后的原始人脸图像。
这样，终端可以基于第一器官区域和第二变形器官区域，先进行颜色迁移， 再进行纹理迁移，从而实现妆容迁移的效果。
上述方法中，所述基于所述第二变形器官区域，对对应的第一器官区域进 行颜色迁移，得到第一颜色迁移区域，包括：采用所述第一器官区域中每个像 素的每个通道的像素值，减去所述第一器官区域中对应通道的像素均值，再加 上所述第二变形器官区域的对应通道的像素均值，得到每个像素的每个通道的 迁移像素值；基于所述每个像素的每个通道的迁移像素值，得到所述第一颜色 迁移区域。
这样，终端可以基于第一器官区域和第二变形器官区域的每个像素的每个 通道，进行颜色迁移，从而得到第一颜色迁移区域，实现在第一颜色迁移区域 的像素基础上的纹理改变，提高了妆容迁移的自然度。
上述方法中，所述基于所述第二变形器官区域，对所述原始人脸图像中的 第一器官区域进行颜色迁移和纹理迁移，得到妆容迁移后的原始人脸图像之后， 所述方法还包括：基于所述迁移后的原始人脸图像和所述用户图像，得到妆容 效果图像。
上述方法中，所述基于所述迁移后的原始人脸图像和所述用户图像，得到 妆容效果图像，包括：获取所述第一变换矩阵的逆矩阵，作为第一变换逆矩阵； 基于所述第一变换逆矩阵，对所述迁移后的原始人脸图像进行逆调整，得到逆 调整后的原始人脸图像；利用所述逆调整后的原始人脸图像替换所述用户图像 中的原始人脸图像，得到所述妆容效果图像。
这样，终端可以通过第一变换矩阵的逆矩阵，对迁移后的原始人脸图像进 行人脸对齐的逆处理，将迁移后的原始人脸图像进行人脸角度、尺寸进行还原， 得到带妆的用户图像中的人脸，在提高了妆容迁移的自然度和细节度的同时， 还增加了妆容迁移的灵活性。
上述方法中，所述利用所述逆调整后的原始人脸图像替换所述用户图像中 的原始人脸图像，得到所述妆容效果图像之后，所述方法还包括：识别所述妆 容效果图像的第一躯干皮肤区域和所述妆容参考图像的第二躯干皮肤区域；基 于所述第二躯干皮肤区域，对所述第一躯干皮肤区域进行颜色迁移，得到自然 妆容效果图像，并在所述妆容迁移界面上显示所述自然妆容效果图像。
这样，终端可以将用户图像中除人脸外其他区域的皮肤进行颜色迁移，使 用户图像中妆容迁移后的人脸和其他区域的皮肤自然协调，提高了用户图像的 妆容迁移效果，从而提高了妆容迁移的自然度。
上述方法中，所述基于所述原始人脸图像中的第一器官区域，对所述妆容 人脸图像中的第二器官区域进行图像变形处理，得到第二变形器官区域，包括： 若所述第一器官区域的面积大于预设目标面积，则基于所述第一器官区域，对 对应的第二器官区域进行图像变形处理，得到所述第二变形器官区域。
这样，终端可以通过预设目标面积判定第一器官区域是否被遮挡，在被遮 挡的情况下，不对第一器官区域进行妆容迁移，节省了资源消耗，提高妆容迁 移的效率。
本公开实施例提供一种妆容迁移装置，包括：
获取模块，用于获取包含原始人脸的原始人脸图像和包含目标妆容的妆容 人脸图像；
变形模块，用于基于所述原始人脸图像中的第一器官区域，对所述妆容人 脸图像中的第二器官区域进行图像变形处理，得到第二变形器官区域；所述第 一器官区域和所述第二器官区域对应同一类型的器官；
迁移模块，用于基于所述第二变形器官区域，对所述原始人脸图像中的第 一器官区域进行颜色迁移和纹理迁移，得到妆容迁移后的原始人脸图像。
上述装置中，所述获取模块，还用于从包含目标对象的用户图像中提取所 述原始人脸图像，以及从包含所述目标妆容的妆容参考图像中提取所述妆容人 脸图像。
上述装置中，所述获取模块，还用于对所述用户图像进行人脸关键点检测， 得到所述用户图像的第一人脸关键点；基于所述第一人脸关键点，对所述用户 图像进行人脸对齐，得到所述原始人脸图像。
上述装置中，所述获取模块，还用于对所述妆容参考图像进行人脸关键点 检测，得到所述妆容参考图像的第二人脸关键点；基于所述第二人脸关键点， 对所述妆容参考图像进行人脸对齐，得到所述妆容人脸图像。
上述装置中，所述获取模块，还用于基于所述第一人脸关键点的第一原始 位置信息和目标对齐人脸关键点的目标位置信息，获取第一变换矩阵；所述第 一变换矩阵表征所述第一原始位置信息和所述目标位置信息之间的位置关系； 基于所述第一变换矩阵，调整所述第一原始位置信息，得到用户对齐图像；从 所述用户对齐图像中提取所述原始人脸图像。
上述装置中，所述获取模块，还用于基于所述第二人脸关键点的第二原始 位置信息和目标对齐人脸关键点的目标位置信息，获取第二变换矩阵；所述第 二变换矩阵表征所述第二原始位置信息和所述目标位置信息之间的位置关系； 基于所述第二变换矩阵，调整所述第二原始位置信息，得到妆容对齐图像；从 所述妆容对齐图像中提取所述妆容人脸图像。
上述装置中，所述变形模块，还用于对所述原始人脸图像进行器官分割， 得到所述第一器官区域，以及对所述妆容人脸图像进行器官分割，得到所述第 二器官区域；对所述第二器官区域进行图像变形处理，将所述第二器官区域的 形状信息调整为对应的第一器官区域的形状信息，得到所述第二变形器官区域。
上述装置中，所述变形模块，还用于基于所述第二器官区域中的第二对齐 人脸关键点，确定第二三角形网格，以及，基于所述第一器官区域中的第一对 齐人脸关键点，确定对应的第一三角形网格；通过仿射变换，将所述第二三角 形网格中的每个第二三角形的形状信息调整为对应的第一三角形的形状信息， 得到所述第二变形器官区域。
上述装置中，所述迁移模块，还用于基于所述第二变形器官区域，对对应 的第一器官区域进行颜色迁移，得到第一颜色迁移区域；将所述第二变形器官 区域的纹理迁移至所述对应的第一颜色迁移区域中，得到所述迁移后的原始人 脸图像。
上述装置中，所述迁移模块，还用于采用所述第一器官区域中每个像素的 每个通道的像素值减去所述第一器官区域中对应通道的像素均值，再加上所述 第二变形器官区域的对应通道的像素均值，得到每个像素的每个通道的迁移像 素值；基于所述每个像素的每个通道的迁移像素值，得到所述第一颜色迁移区 域。
上述装置中，所述迁移模块，还用于基于所述第二变形器官区域，对所述 原始人脸图像中的第一器官区域进行颜色迁移和纹理迁移，得到妆容迁移后的 原始人脸图像之后，基于所述迁移后的原始人脸图像和所述用户图像，得到妆 容效果图像。
上述装置中，所述迁移模块，还用于获取所述第一变换矩阵的逆矩阵，作 为第一变换逆矩阵；基于所述第一变换逆矩阵，对所述迁移后的原始人脸图像 进行逆调整，得到逆调整后的原始人脸图像；利用所述逆调整后的原始人脸图 像替换所述用户图像中的原始人脸图像，得到所述妆容效果图像。
上述装置中，所述迁移模块，还用于在利用所述逆调整后的原始人脸图像 替换所述用户图像中的原始人脸图像，得到所述妆容效果图像之后，识别所述 妆容效果图像的第一躯干皮肤区域和所述妆容参考图像的第二躯干皮肤区域； 基于所述第二躯干皮肤区域，对所述第一躯干皮肤区域进行颜色迁移，得到自 然妆容效果图像，并在所述妆容迁移界面上显示所述自然妆容效果图像。
上述装置中，所述变形模块，还用于若所述第一器官区域的面积大于预设 目标面积，则基于所述第一器官区域，对对应的第二器官区域进行图像变形处 理，得到所述第二变形器官区域。
本公开实施例提供一种妆容迁移设备，所述设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序时，实现其上述妆容迁 移方法。
本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于被 处理器执行时，实现上述妆容迁移方法。
本公开实施例具有以下有益效果：
本公开实施例提供了一种妆容迁移方法、装置、设备和计算机可读存储介 质；获取包含原始人脸的原始人脸图像和包含目标妆容的妆容人脸图像；基于 原始人脸图像中的第一器官区域，对妆容人脸图像中的第二器官区域进行图像 变形处理，得到第二变形器官区域第一器官区域和第二器官区域对应同一类型 的器官；基于第二变形器官区域，对原始人脸图像中的第一器官区域进行颜色 迁移和纹理迁移，得到妆容迁移后的原始人脸图像；也就是说，妆容迁移装置 可以将妆容人脸的第二器官区域变换为与对应的第一器官区域形状相同第二变 形器官区域，基于第二变形器官区域对第一器官区域进行了颜色迁移和纹理迁 移，从而提高了妆容迁移的自然度和细节度。
附图说明
图1是本公开实施例提供的一个可选的妆容迁移系统架构的结构示意图；
图2为本公开实施例提供的一种可选的妆容迁移方法流程图；
图3为本公开实施例提供的一种可选的妆容迁移界面的示意图；
图4为本公开实施例提供的一种原始人脸图像和妆容人脸图像的示意图；
图5为本公开实施例提供的一种图像变形处理的效果示意图；
图6a为本公开实施例提供的一种可选的妆容迁移方法流程图；
图6b为本公开实施例提供的一种可选的妆容迁移方法流程图；
图7为本公开实施例提供的一种可选的妆容迁移方法流程图；
图8为本公开实施例提供的一种可选的妆容迁移方法流程图；
图9a为本公开实施例提供的一种可选的第一器官区域的三角剖分示意图；
图9b为本公开实施例提供的一种可选的第二器官区域的三角剖分示意图；
图10为本公开实施例提供的一种可选的妆容迁移方法流程图；
图11为本公开实施例提供的一种可选的妆容迁移方法流程图；
图12为本公开实施例提供的一种可选的妆容迁移方法流程图；
图13为本公开实施例提供的一种可选的妆容迁移方法流程图；
图14为本公开实施例提供的一种妆容迁移装置的组成结构示意图；
图15为本公开实施例提供的一种妆容迁移设备的组成结构示意图。
具体实施方式
为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅 用于解释本公开，并不用于限定本公开。
以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处 所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提 供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施 例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实 施。
在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖 非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记 载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或 者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定 的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如 方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、 部分程序或软件等等)。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存 在三种关系，例如，U和/或W，可以表示：单独存在U，同时存在U和W， 单独存在W这三种情况。另外，本文中术语“至少一种”表示多种中的任意一 种或多种中的至少两种的任意组合，例如，包括U、W、V中的至少一种，可 以表示包括从U、W和V构成的集合中选择的任意一个或多个元素。
例如，本公开实施例提供的展示方法包含了一系列的步骤，但是本公开实 施例提供的展示方法不限于所记载的步骤，同样地，本公开实施例提供的展示 装置包括了一系列模块，但是本公开实施例提供的展示装置不限于包括所明确 记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所要求设置 的模块。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术 领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公 开实施例的目的，不是旨在限制本公开。
对本公开实施例进行进一步详细说明之前，对本公开实施例中涉及的名词 和术语进行说明，本公开实施例中涉及的名词和术语适用于如下的解释。
1)RGB图像：红、黄和蓝编码的彩色图像；其中每个像素点的颜色是红、 黄和蓝的混合色；即，一个像素点包括红、黄和蓝三色的色彩分量。
2)LAB图像：LAB编码的彩色图像；其中，L表示明亮度(Luminance 或Luma)，“A”和“B”表示颜色对立维度，为两个色彩通道。
本公开实施例提供一种妆容迁移方法、装置、设备和计算机可读存储介质， 能够提高妆容迁移的细节度和自然度，本公开实施例提供的妆容迁移方法应用 于妆容迁移设备中，下面说明本公开实施例提供的妆容迁移设备的示例性应用， 本公开实施例提供的妆容迁移设备可以实施为AR眼镜、笔记本电脑，平板电 脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器， 个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也 可以实施为服务器。
下面，将说明妆容迁移设备实施为终端时示例性应用。当妆容迁移设备实 施为终端时，可以将妆容参考图像中妆容人脸的妆容迁移至用户图像中的用户 人脸中；这里，终端可以与云端服务器进行交互，通过云端服务器获取妆容参 考图像和/或用户图像。其中，用户图像也可以为实时采集得到的，本公开实施 例不作限制。下面结合在实际应用场景中，终端通过与服务器交互的方式获取 妆容参考图像，以进行妆容迁移为例进行妆容迁移系统的说明。
参见图1，图1是本公开实施例提供的妆容迁移系统100的一个可选的架 构示意图，为实现支撑一个妆容迁移应用，终端400(示例性示出了终端400-1 和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域 网，又或者是二者的组合。
终端400用于获取包含原始人脸的原始人脸图像和包含目标妆容的妆容人 脸图像；基于原始人脸图像中的第一器官区域，对妆容人脸图像中的第二器官 区域进行图像变形处理，得到第二变形器官区域；第一器官区域和第二器官区 域对应同一类型的器官；基于第二变形器官区域，对原始人脸图像中的第一器 官区域进行颜色迁移和纹理迁移，得到妆容迁移后的原始人脸图像。
示例性地，当终端400实施为手机时，可以启动手机上的预设妆容迁移应 用，在预设妆容迁移应用的妆容迁移界面上，在接收到图片指令后，向服务器 200发起图片请求，服务器200接收到图片请求后，从图片库500中获取妆容 参考图像；并将妆容参考图像发回给终端400。终端400得到服务器反馈的妆 容参考图像之后，从妆容参考图像中提取妆容人脸图像，将妆容人脸图像中的 妆容迁移到从用户图像中提取的原始人脸图像中，得到妆容迁移后的原始人脸 图像，并在预设妆容迁移应用的显示界面上迁移后的原始人脸图像。
本公开实施例提供一种妆容迁移方法，如图2所示，该方法包括：S101-S103。
S101、获取包含原始人脸的原始人脸图像和包含目标妆容的妆容人脸图像。
在本公开实施例中，终端获取原始人脸图像和妆容人脸图像，其中，妆容 人脸图像中包含目标妆容；如此，终端可以将目标妆容迁移到原始人脸中，得 到妆容迁移后的原始人脸图像。
在本公开实施例中，原始人脸图像和目标妆容人脸图像可以为终端通过图 像采集装置采集到的图像，也可以为终端通过网络从服务器下载的图像；对此， 本公开实施例不作限制。
在本公开实施例中，原始人脸中可以有原始妆容，也可以没有妆容；对此， 本公开实施例不作限制。示例性的，在原始人脸有原始妆容的情况下，妆容迁 移后的原始人脸图像中原始人脸的妆容，可以为原始妆容叠加目标妆容的叠加 妆容，也可以为目标妆容代替了原始妆容的妆容。
S102、基于原始人脸图像中的第一器官区域，对妆容人脸图像中的第二器 官区域进行图像变形处理，得到第二变形器官区域；第一器官区域和第二器官 区域对应同一类型的器官。
在本公开实施例中，原始人脸图像包括多个器官区域，妆容人脸图像可以 包括对应的多个器官区域；如此，终端可以针对每个器官区域，进行妆容迁移。 其中，原始人脸图像中的器官区域为第一器官区域，妆容人脸图像中的器官区 域为第二器官区域。
在本公开的一些实施例中，第一器官区域可以包括以下至少一个：左眉毛 区域、右眉毛区域、左眼妆区域、右眼妆区域、口红区域和基底区域。第二器 官区域可以包括以下至少一个：左眉妆区域、右眉妆区域、左眼妆区域、右眼 妆区域、口红区域和粉底区域。
在一些实施例中，基底区域为原始人脸中除左眉妆区域、右眉妆区域、左 眼妆区域、右眼妆区域和口红区域以外的其他区域；粉底区域为左眉妆区域、 右眉妆区域、左眼妆区域、右眼妆区域和口红区域以外的其他区域。
在本公开实施例中，终端可以对第二器官区域进行图像变形处理，得到第 二变形器官区域；第二变形器官区域的形状与对应的第一器官区域的形状相同。
在本公开实施例中，终端进行图像变形处理的第二器官区域可以为妆容人 脸图像的多个器官区域，也可以为妆容人脸图像的一个器官区域；这里，进行 图像变形处理的第二器官区域可以根据实际要求设置，对此，本公开实施例不 作限制。
示例性的，终端可以妆容人脸图像3B中的第二眼妆区域、第二眉妆区域、 第二口红区域，以及第二粉底区域进行图像变形处理，得到第二变形眼妆区域、 第二变形眉妆区域、第二变形口红区域，以及第二变形粉底区域，从而得到图 像3B1，可以看出，图像3B1中的人脸五官与原始人脸图像3A中的人脸五官 形状基本一致。
在本公开实施例中，图像变形处理可以为基于移动的最小二乘变形算法， 也可以为基于线的变形算法，还可以为三角网格仿射变换算法；对于图像变形 处理的方法，可以根据实际要求设置，本公开实施例不作限制。
S103、基于第二变形器官区域，对原始人脸图像中的第一器官区域进行颜 色迁移和纹理迁移，得到妆容迁移后的原始人脸图像。
在本公开实施例中，终端在得到第二变形器官区域后，可以第二变形器官 区域中的颜色和纹理都迁移到第一器官区域中，得到妆容迁移后的原始人脸图 像。
示例性的，第二变形器官区域包括：第二变形眼妆区域、第二变形眉妆区 域、第二变形口红区域；终端可以将第二变形眼妆区域中的颜色和纹理迁移到 第一眼妆区域，第二变形眉妆区域中的颜色和纹理迁移到第一眉妆区域，以及， 第二变形口红区域中的颜色和纹理迁移到第一口红区域，从而将妆容人脸图像 中的眼妆、眉妆和口红迁移到原始人脸图像中。
在本公开实施例中，终端可以通过颜色迁移算法，基于第二变形器官区域， 第一器官区域进行颜色迁移，之后，再通过纹理迁移方法，将第二变形器官区 域的纹理迁移到第一器官区域中，从而将原始人脸图像转换为妆容迁移后的原 始人脸图像。
在本公开实施例中，颜色迁移算法可以为Reinhard算法，也可以为Welsh 算法，还可以为自适应迁移算法，或者，模糊C均值(Fuzzy C-means，FCM) 算法；对此，本公开实施例不作限制。
在本公开实施例中，纹理迁移方法可以为基于注意力机制的纹理迁移方法， 也可以是基于结构引导的图像纹理迁移方法；还可以为图像融合算法；对此， 本公开实施例不作限制。
可以理解的是，通过对妆容人脸图像的第二器官区域进行图像变形处理， 将第二器官区域的形状变形为原始人脸图像中相同器官类型的第一器官区域， 得到第二变形器官区域，基于第二变形器官区域，再对第一器官区域进行颜色 迁移和纹理迁移，提高了妆容迁移的细节度和自然度，从而提高了妆容效果图 像的效果。
在本公开的一些实施例中，S101中获取包含原始人脸的原始人脸图像和包 含目标妆容的妆容人脸图像的实现，可以包括：
S1011、从包含目标对象的用户图像中提取原始人脸图像，以及从包含目标 妆容的妆容参考图像中提取妆容人脸图像。
在本公开实施例中，原始人脸图像是从包含用户目标对象的用户图像中提 取的人脸图像；妆容人脸图像中是从包含目标妆容的妆容参考图像中提取的人 脸图像。
在本公开实施例中，终端可以先获取用户图像和妆容参考图像，再从用户 图像中提取原始人脸图像，以及从妆容参考图像中提取妆容人脸图像。终端可 以将任意妆容参考图像的妆容迁移到任意用户图像中，提高了妆容迁移的灵活 性。
在本公开实施例中，终端运行妆容迁移应用时，在终端的显示界面上可以 显示妆容迁移应用的妆容迁移界面。妆容迁移界面上显示有图片上传控件，如 此，终端可以接收到对图片上传控件的触发操作，生成图片指令，响应图片指 令，终端获取用户图像和妆容参考图像。
示例性的，如图4所示，图片上传控件包括用户图像上传控件41和妆容参 考图像上传控件42。终端接收到对用户图像上传控件41或妆容参考图像上传 控件42的触发操作时，可以打开图片上传控制界面，并在图片上传控制界面显 示图片库控件和拍摄控件；若终端接收到对图片库控件的触发操作，则可以从 图片库中获取用户图像或妆容参考图像；若终端接收到对拍摄控件的触发操作， 则可以通过图像采集装置采集用户图像或妆容参考图像。
在本公开实施例中，妆容参考图像和用户图像可以是终端通过图像采集装 置采集的图像，也可以终端通过网络下载的图像，对于妆容参考图像和用户图 像，可以根据实际要求设置，对此，本公开实施例不作限制。
在本公开实施例中，终端在获取妆容参考图像和用户图像后，终端可以在 妆容迁移界面上显示妆容迁移控件，在终端接收到妆容迁移控件的触发操作的 情况下，终端接收到妆容迁移指令，响应妆容迁移指令，可以从用户图像中提 取原始人脸图像，以及妆容参考图像中提取妆容人脸图像。
在一些实施例中，妆容人脸图像和原始人脸图像尺寸相同，且妆容人脸图 像中的妆容人脸和原始人脸图像中的原始人脸的尺寸也相同。
示例性的，如图5所示，终端接收到妆容参考图像5B和用户图像5A后， 从用户图像5A中提取原始人脸图像5A1，以及从妆容参考图像5B中提取妆容 人脸图像5B1；原始人脸图像5A1和妆容人脸图像5B1的尺寸均为400×400。
在本公开的一些实施例中，终端可以分别对妆容参考图像中的人脸和用户 图像中的目标对象人脸进行人脸角度调整，得到妆容正脸和目标对象正脸；再 对妆容正脸和目标对象正脸进行缩放处理，得到尺寸相同的妆容人脸和原始人 脸；最后，分别以原始人脸和妆容人脸为中心，按照预设尺寸，从用户图像中 获取原始人脸图像，以及，从妆容参考图像中获取妆容人脸图像；从而得到尺 寸相同的妆容人脸图像和原始人脸图像；其中，妆容人脸图像中的妆容人脸和 原始人脸图像中的原始人脸尺寸也相同。
在本公开的一些实施例中，S1011中从包含目标对象的用户图像中提取原 始人脸图像的实现，如图6a所示，可以包括：S201-S202。
S201、对用户图像进行人脸关键点检测，得到用户图像的第一人脸关键点。
在本公开实施例中，终端在获取用户图像和妆容参考图像后，可以对用户 图像以及妆容图像进行人脸关键点检测，得到用户图像的第一人脸关键点以及 妆容图像的第二人脸关键点。
在本公开的一些实施例中，终端可以先对用户图像和妆容参考图像进行磨 皮美白处理后，再进行人脸关键点检测，从而提高检测精度。
S202、基于第一人脸关键点，对用户图像进行人脸对齐，得到原始人脸图 像。
在本公开实施例中，终端在得到第一人脸关键点后，可以根据第一人脸关 键点，对用户图像进行人脸对齐，得到原始人脸图像。
在本公开实施例中，终端可以通过第一人脸关键点的位置信息，进行仿射 变换，从而实现对用户图像的人脸对齐。
在本公开的一些实施例中，S202中基于第一人脸关键点，对用户图像进行 人脸对齐，得到原始人脸图像的实现，可以包括：S2021-S2023。
S2021、基于第一人脸关键点的第一原始位置信息和目标对齐人脸关键点的 目标位置信息，获取第一变换矩阵；第一变换矩阵表征第一原始位置信息和目 标位置信息之间的位置关系。
S2022、基于第一变换矩阵，调整第一原始位置信息，得到用户对齐图像。
在本公开实施例中，终端将目标对象人脸调整为目标对齐人脸，目标对齐 人脸为正脸，且尺寸为预设人脸尺寸；终端可以获取目标对齐人脸的目标对齐 人脸关键点的目标位置信息，通过第一人脸关键点的第一原始位置信息以及目 标位置信息，获取第一变换矩阵。
在一些实施例中，第一变换矩阵表征第一原始位置信息和目标位置信息之 间的位置关系；如此，终端可以按照第一变换矩阵将第一人脸关键点的位置变 换到目标对齐人脸关键点的位置，实现对目标对象人脸的人脸对齐，得到用户 对齐图像；用户对齐图像中的目标对象对齐人脸为预设人脸尺寸的正脸。
示例性的，第一人脸关键点有240个，目标对齐人脸关键点也有240个， 通过二维坐标表征关键点的位置信息，则任意一个第一人脸关键点的第一原始 位置信息表示为(xi，yi)，与之对应的一个目标对齐人脸关键点的目标位置信 息表示为(xi＇yi＇)；其中，240≥i≥1，由此，可以得到公式(1)：
Figure BDA0003067497150000161
其中，a、b、c、d、e和f为仿射变换系数。
将公式(1)中用矩阵方程表示，得到的矩阵方程如公式(2)所示：
Figure RE-GDA0003180354490000162
其中，n＝240，则通过公式(2)可以得到第一变换矩阵Ω，参见公式(3)：
Figure BDA0003067497150000171
S2023、从用户对齐图像中提取原始人脸图像。
在本公开实施例中，终端通过第一变换矩阵，将第一人脸关键点调整至目 标对齐人脸关键点后，可以按照预设的图像尺寸，以目标对象对齐人脸为中心， 从用户对齐图像中提取原始人脸图像，原始人脸图像中的目标对象对齐人脸为 原始人脸。
在本公开的一些实施例中，S1011中从包含目标妆容的妆容参考图像中提 取妆容人脸图像的实现，如图6b所示，可以包括：S301-S302。
S301、对妆容参考图像进行人脸关键点检测，得到妆容图像的第二人脸关 键点。
在本公开实施例中，终端妆容参考图像后，可以对妆容参考图像进行人脸 关键点检测，得到用户图像的第一人脸关键点以及妆容参考图像的第二人脸关 键点。
在本公开的一些实施例中，终端可以先对妆容参考图像进行磨皮美白处理 后，再进行人脸关键点检测，从而提高检测精度。
S302、基于第二人脸关键点，对妆容图像进行人脸对齐，得到妆容人脸图 像。
在本公开实施例中，终端在得到第二人脸关键点后，可以根据第二人脸关 键点，对妆容参考图像进行人脸对齐，得到妆容人脸图像。
在本公开实施例中，终端可以通过第二人脸关键点的位置信息，进行仿射 变换，从而实现对妆容参考图像的人脸对齐。终端可以通过人脸关键点进行人 脸对齐，基于人脸对齐后的图像进行妆容迁移，提高了妆容迁移的精度，从而 提高了妆容迁移的效果。
在本公开的一些实施例中，S302中基于第二人脸关键点，对妆容图像进行 人脸对齐，得到妆容人脸图像的实现，可以包括：S3021-S3022。
S3021、基于第二人脸关键点的第二原始位置信息和目标对齐人脸关键点的 目标位置信息，获取第二变换矩阵；第二变换矩阵表征第二原始位置信息和目 标位置信息之间的位置关系。
S3022、基于第二变换矩阵，调整第二原始位置信息，得到妆容对齐图像。
在本公开实施例中，终端可以获取目标对齐人脸的人脸关键点的目标位置 信息，通过第二人脸关键点的第二原始位置信息以及目标位置信息，获取第二 变换矩阵。
其中，终端将妆容参考图像中的妆容人脸调整为目标对齐人脸，目标对齐 人脸为正脸，且尺寸为预设人脸尺寸。
在一些实施例中，第二变换矩阵表征第二原始位置信息和目标位置信息之 间的位置关系；终端可以按照第二变换矩阵将第二人脸关键点的位置调整到目 标对齐人脸的位置，实现对妆容人脸的人脸对齐，得到妆容对齐图像；妆容对 齐图像中的妆容对齐人脸为预设人脸尺寸的正脸。
这里，第二变换矩阵的获取方式与第一变换矩阵的获取方式相同，第一变 换矩阵的获取方式在S2022中已做详细描述，在此不再赘述。
S3023、从妆容对齐图像中提取妆容人脸图像。
在本公开实施例中，终端通过第二变换矩阵，将第二人脸关键点调整至目 标对齐人脸关键点的位置后，以妆容对齐人脸为中心，从妆容对齐图像中提取 妆容人脸图像，妆容人脸图像中的妆容对齐人脸为妆容人脸。
在一些实施例中，可以按照预设的图像尺寸从妆容对齐图像中提取妆容人 脸图像。示例性的，按照预设的图像尺寸提取的妆容人脸图像与原始人脸图像 的尺寸相同；妆容人脸图像中的妆容对齐人脸的尺寸与原始人脸图像中的目标 对象对齐人脸的尺寸相同。
示例性的，目标对齐人脸的尺寸为400×400，预设的图像尺寸为512×512， 则原始人脸图像的尺寸和妆容人脸图像的尺寸均为512×512，原始人脸图像中 的调整后的目标对象人脸的尺寸为400×400；妆容人脸图像中的调整后的妆容 人脸的尺寸为400×400；其中，原始人脸图像的中心位置与调整后的目标对象 人脸的中心位置相同；妆容人脸图像的中心位置与调整后的妆容人脸的中心位 置相同。
可以理解的是，终端获取第一人脸关键点和第二人脸关键点后，可以通过 第一人脸关键点和第二人脸关键点，将妆容人脸和目标对象人脸的角度、尺寸 保持与目标对齐人脸一致，从而得到原始人脸图像和妆容人脸图像，由于，原 始人脸图像和妆容人脸图像的尺寸相同，且原始人脸图像中的原始人脸以及妆 容人脸图像中妆容人脸的尺寸也相同，如此，终端可以基于原始人脸图像和妆 容人脸图像进行妆容迁移，可以提高妆容迁移的精度。
在本公开的一些实施例中，S102中基于原始人脸图像中的第一器官区域， 对妆容人脸图像中的第二器官区域进行图像变形处理，得到第二变形器官区域 的实现，如图7所示，可以包括：S401-S402。
S401、对原始人脸图像进行器官分割，得到第一器官区域，以及对妆容人 脸图像进行器官分割，得到第二器官区域。
在本公开实施例中，终端可以对原始人脸图像和妆容人脸图像分别进行器 官分割，从而得到原始人脸图像的第一器官区域以及妆容人脸图像的第二器官 区域。
在本公开的一些实施例中，终端可以通过五官分割算法对原始人脸图像和 妆容人脸图像分别进行器官分割。其中，五官分割算法可以为基于引导聚合的 双边实时语义分割网络(Bilateral Network with Guided Aggregation for Real-time SemanticSegmentation，BiSeNetV2)算法，也可以为有效人脸分析分层聚合网 络(An EffectiveHierarchical Aggregation Network for Face Parsing，EHANet)算 法，还可以为自适应的弱监督漫画人脸分析(Weakly-supervised Caricature Face Parsing through DomainAdaptation，Cari Face Parsing)算法；对此，本公开实施 例不作限制。
在本公开的一些实施例中，终端可以根据原始人脸图像中的人脸关键点对 原始人脸图像进行器官分割，得到第一器官区域；以及根据妆容人脸图像中的 人脸关键点对妆容人脸进行器官分割，得到第二器官区域。
S402、对第二器官区域进行图像变形处理，将第二器官区域的形状信息调 整为对应的第一器官区域的形状信息，得到第二变形器官区域。
在本公开实施例中，终端得到第一器官区域和第二器官区域后，可以按照 第一器官区域的形状信息，调整对应的第二器官区域的形状信息，将第二器官 区域的形状信息调整为第一器官区域的形状信息，得到第二变形器官区域。
这里，形状信息可以包括：轮廓和面积等信息；对此，可以根据实际要求 设置，本公开实施例不作限制。
在本公开的一些实施例中，S402中对第二器官区域进行图像变形处理，将 第二器官区域的形状信息调整为对应的第一器官区域的形状信息，得到第二变 形器官区域的实现，如图8所示，可以包括：S501-S502。
S501、基于第二器官区域中的第二对齐人脸关键点，确定多个第二三角形 网格，以及，基于第一器官区域中的第一对齐人脸关键点，确定对应的第一三 角形网格。
在本公开实施例中，原始人脸图像是经过人脸对齐的用户图像，用户图像 中的第一人脸关键点调整后，成为第一对齐人脸关键点；妆容人脸图像是经过 人脸对齐的妆容参考图像，妆容图像中的第二人脸关键点调整后，成为第二对 齐人脸关键点；如此，原始人脸图像中的第一器官区域可以包括多个第一对齐 人脸关键点，妆容人脸图像中的第二器官区域可以包括多个第二对齐人脸关键 点。
在本公开实施例中，终端可以按照预设三角剖分方法，对每个第二器官区 域中的多个第二对齐人脸关键点进行连接，得到第二三角形网格；第二三角形 网格包括多个不相交的第二三角形；以及，终端可以按照预设三角剖分方法对 第一器官区域中的多个第一对齐人脸关键点进行连接，得到第一三角形网格， 第一三角形网格包括多个不相交的第一三角形。
在一些实施例中，由于人脸关键点的检测方式一致，第一对齐人脸关键点 和第二对齐人脸关键点的数量一致；并且，终端基于预设三角剖分方法对第一 对齐人脸关键点和第二人脸关键点进行连接，连接方式一致，因此，第一三角 形网络中的每个第一三角形和第二三角形网格中的每个第二三角形一一对应。
S502、通过仿射变换，将第二三角形网格中的每个第二三角形的形状信息 调整为对应的第一三角形的形状信息，得到第二变形器官区域。
在本公开实施例中，终端可以基于每个第二三角形和对应的第一三角形， 得到对应的一个三角仿射变换矩阵；通过三角仿射变换矩阵，对第二三角形进 行仿射变换，将第二三角形的形状信息调整为对应的第一三角形的形状信息， 使每个第二三角形的形状信息与对应的第一三角形的形状信息相同，从而得到 每个第二变形三角形；每个第二变形三角形组成了第二三角形网格，从而得到 第二变形器官区域。
示例性的，如图9a所示，第一器官区域包括9个第一对齐人脸关键点，按 照预设三角剖分法，对9个第一对齐人脸关键点进行连接，得到8个第一三角 形T11-T81；如图9b所示，为第二器官区域包括9个第二对齐人脸关键点，按 照预设三角剖分法，对9个第二对齐人脸关键点进行连接，得到与8个第一三 角形对应的8个第二三角形T12-T82；如此，将图9b中的8个第二三角形的形 状信息调整为图9a中8个第一三角形的形状信息，则可以将第二器官区域的形 状信息调整为第一器官区域的形状信息，得到第二变形器官区域。
其中，人脸关键点数量越多，第一三角形和第二三角形的网格越多，则多 个第二变形器官区域与多个第一器官区域的形状的一致性越高；人脸关键点数 量越少，则第一三角形和第二三角形的网络越少，终端在做图像变形处理时的 资源消耗越少；这里，人脸关键点数量可以根据实际要求设置，对此，本公开 实施例不作限制。
可以理解的是，终端可以先将妆容人脸图像中的第二器官区域的形状信息 调整至与原始人脸图像中对应的第一器官区域的形状信息相同，如此，对相同 形状的器官区域进行妆容迁移，能够提高妆容迁移的细节度。
在本公开的一些实施例中，S103中基于第二变形器官区域，对原始人脸图 像中的第一器官区域进行颜色迁移和纹理迁移，得到妆容迁移后的原始人脸图 像的实现，如图10所示，可以包括：S601-S602。
S601、基于第二变形器官区域，对对应的第一器官区域进行颜色迁移，得 到第一颜色迁移区域。
在本公开实施例中，终端在得到第二变形器官区域后，可以将第二变形器 官区域的颜色迁移至对应的第一器官区域中，得到第一颜色迁移区域。
在本公开的一些实施例中，终端可以利用第二变形器官区域的像素替换第 一器官区域中的像素，从而改变第一器官区域中的颜色，得到第一颜色迁移区 域。
在本公开的一些实施例中，S601中基于第二变形器官区域，对对应的第一 器官区域进行颜色迁移，得到第一颜色迁移区域的实现，可以包括：S5011-S5012。
S6011、采用第一器官区域中每个像素的每个通道的像素值减去第一器官区 域中对应通道的像素均值，再加上第二变形器官区域的对应通道的像素均值， 得到每个像素的每个通道的迁移像素值。
在本公开实施例中，终端可以将原始人脸图像和妆容人脸图像从RGB图像 转换为LAB图像，如此，第一器官区域和第二变形器官区域中的每个像素包括 L通道像素值、A通道像素值和B通道像素值。
在本公开实施例中，对任意一个第一器官区域中的每个像素，终端可以利 用该像素L通道的像素值减去该第一器官区域中L通道的像素均值，再加上对 应的第二变形器官区域中L通道的像素均值，得到每个像素的L通道的迁移像 素值；按照此方法，可以得到每个像素的A通道的迁移像素值和B通道的迁移 像素值。
S6012、基于每个像素的每个通道的迁移像素值，得到第一颜色迁移区域。
在本公开实施例中，终端得到每个像素L通道的迁移像素值、A通道的迁 移像素值和B通道的迁移像素值后，就得到了第一颜色迁移LAB区域，再将 第一颜色迁移LAB区域转换为RGB格式，得到第一颜色迁移区域。
S602、将第二变形器官区域的纹理迁移至对应的第一颜色迁移区域中，得 到迁移后的原始人脸图像。
在本公开实施例中，终端在得到第一颜色迁移区域后，可以通过泊松融合 算法，将第二变形器官区域的梯度信息迁移至对应的第一颜色迁移区域中，从 而实现将妆容人脸图像中第二变形器官区域的纹理迁移到对应的第一颜色迁移 区域中，改变了原始人脸图像中多个第一颜色迁移区域的皮肤纹理和质地，得 到迁移后的原始人脸图像。
示例性的，第一器官区域包括：用户眉妆区域、用户口红区域、用户眼妆 区域和用户粉底区域；终端对用户眉妆区域、用户口红区域、用户眼妆区域和 用户粉底区域进行颜色迁移后，可以再对用户眉妆区域、用户口红区域、用户 眼妆区域和用户粉底区域进行纹理迁移。
可以理解的是，终端通过先颜色迁移，再泊松融合的方式，实现在第一颜 色迁移区域的像素基础上的纹理改变，提高了妆容迁移的自然度。
在本公开的一些实施例中，S103中基于第二变形器官区域，对原始人脸图 像中的第一器官区域进行颜色迁移和纹理迁移，得到妆容迁移后的原始人脸图 像之后的实现，可以包括：
S104、基于迁移后的原始人脸图像和用户图像，得到妆容效果图像。
在本公开实施例中，终端在得到迁移后的原始人脸图像后，就实现了对人 脸的妆容迁移；由于原始人脸图像是从用户图像中提取的，终端可以基于迁移 后的原始人脸图像进行提取处理的逆处理，得到带有目标妆容的目标对象人脸 的用户图像，作为妆容效果图像。
在本公开的一些实施例中，S104中基于迁移后的原始人脸图像和用户图像， 得到妆容效果图像的实现，如图11所示，可以包括：S1041-S1043。
S1041、获取第一变换矩阵的逆矩阵，作为第一变换逆矩阵。
S1042、基于第一变换逆矩阵，对迁移后的原始人脸图像进行逆调整，得到 逆调整后的原始人脸图像。
在本公开实施例，原始人脸图像是基于第一变换矩阵对用户图像进行调整 后得到的，因此，终端在对前处理人脸图像进行妆容迁移，得到迁移后的原始 人脸图像后，可以对迁移后的原始人脸图像进行逆调整，得到逆调整后的原始 人脸图像；逆调整后的原始人脸图像与用户图像中的目标对象人脸的大小相同， 角度相同，也就是说，逆调整后的原始人脸图像为带有目标妆容的目标对象人 脸。
在本公开实施例中，终端可以获取第一变换矩阵的逆矩阵，作为第一变换 逆矩阵，通过第一变换逆矩阵将原始人脸图像中的第一对齐人脸关键点的位置 调整至第一人脸关键点的位置，得到逆调整后的原始人脸图像。
S1043、利用逆调整后的原始人脸图像替换用户图像中的原始人脸图像，得 到妆容效果图像。
在本公开实施例中，终端在得到逆调整后的原始人脸图像后，将逆调整后 的原始人脸图像反帖回用户图像中，替换从用户图像中提取的原始人脸图像， 从而得到妆容效果图像。
可以理解的是，通过第一变换矩阵及其逆矩阵，使终端可以对各种角度、 各种尺寸的用户图像和妆容参考图像进行妆容迁移，在提高了妆容迁移的自然 度和细节度的同时，还增加了妆容迁移的灵活性。
在本公开的一些实施例中，S603中利用逆调整后的原始人脸图像替换用户 图像中的原始人脸图像，得到妆容效果图像之后的实现，如图12所示，可以包 括：S701-S702。
S701、识别妆容效果图像的第一躯干皮肤区域和妆容参考图像的第二躯干 皮肤区域。
在本公开实施例中，终端在得到妆容效果图像后，可以识别妆容效果图像 和妆容参考图像的躯干皮肤区域，得到第妆容效果图像的第一躯干皮肤区域和 妆容参考图像的第二躯干皮肤区域。
其中，躯干皮肤区域为人脸以外的其他暴露的皮肤区域；这里，终端可以 五官分割算法，例如语义分割法，将躯干皮肤区域作为识别对象进行识别，得 到第一躯干皮肤区域和第二躯干皮肤区域。
S702、基于第二躯干皮肤区域，对第一躯干皮肤区域进行颜色迁移，得到 自然妆容效果图像，并在妆容迁移界面上显示自然妆容效果图像。
在本公开实施例中，终端在识别出第一躯干皮肤区域和第二躯干皮肤区域 后，可以基于第二躯干皮肤区域，对第一躯干皮肤区域进行颜色迁移，得到自 然妆容效果图像，并在妆容迁移界面上显示自然妆容效果图像。
其中，颜色迁移的方法在S103中详细描述，此处不再赘述。可以理解的是， 终端在对目标对象人脸进行妆容迁移，得到妆容效果图像后，还可以基于妆容 参考图像中的第二躯干皮肤区域，对妆容效果图像中目标对象的第一躯干皮肤 区域进行颜色迁移，得到自然妆容效果图像；如此，自然妆容效果图像中目标 对象的人脸和躯干皮肤颜色更加协调，从而提高了妆容迁移的自然度。
在本公开的一些实施例中，S102中基于原始人脸图像中的第一器官区域， 对妆容人脸图像中的第二器官区域进行图像变形处理，得到第二变形器官区域 的实现，还可以包括：若第一器官区域的面积大于预设目标面积，则基于第一 器官区域，对对应的第二器官区域进行图像变形处理，得到第二变形器官区域。
在本公开实施例中，终端在得到第一器官区域后，可以对比第一器官区域 的面积与对应的预设目标面积，若第一器官区域的面积小于对应的预设目标面 积，则确定第一器官区域被遮挡的面积太大，如此，终端将不对第一器官区域 进行图像变形处理。
示例性的，第一器官区域的面积通过像素来表征。第一器官区域为右眉妆 区域；右眉妆区域的面积为40×10，对应的预设右眉妆目标面积为50×10；如 此，终端可以判断右眉妆区域被遮挡，终端可以不对第二器官区域中的右眉妆 区域进行图像变形处理。
这里，不同的第一器官区域的可以对应不同的预设目标面积，预设目标面 积可以根据实际要求来设置；对此，本公开实施例不作限制。
可以理解的是，终端在得到第一器官区域后，可以根据第一器官区域的面 积和对应的预设目标面积，确定第一器官区域被遮挡的情况，从而不对被遮挡 过多的第一器官区域进行妆容迁移，节省了资源消耗，提高了妆容迁移效率。
图13为本公开实施例提供的一种妆容迁移方法的过程示意图，如图13所 示，该方法可以包括：
S801、对包含目标对象的用户图像和包含目标妆容的妆容参考图像进行磨 皮美白，得到待处理用户图像和待处理妆容参考图像；
S802、判断用户图像中的人脸角度和妆容参考图像中的人脸角度是否小于 预设人脸角度；若是，则执行S803；否则，停止处理。
在本公开实施例中，人脸角度表示人脸偏离正脸的角度。
S803、对待处理用户图像和待处理妆容参考图像进行人脸关键点检测，得 到用户图像的第一人脸关键点和妆容参考图像的第二人脸关键点；
S804、根据第一人脸关键点对待处理用户图像进行人脸对齐，得到原始人 脸图像；以及，根据第二人脸关键点，对待处理妆容参考图像进行人脸对齐， 得到妆容人脸图像；
在本公开实施例中，终端可以根据第一人脸关键点将待处理用户图像中的 人脸调整为正脸，再以正脸为中心，按照预设的图像尺寸提取原始人脸图像， 以及，根据第二人脸关键点将待处理妆容参考图像中的人脸调整为正脸，再以 正脸为中心，按照预设的图像尺寸提取妆容人脸图像。
在一些实施例中，原始人脸图像和妆容人脸图像的尺寸为512×512，原始 人脸图像中的正脸和妆容人脸图像中的正脸的尺寸为400×400。
S805、对原始人脸图像进行器官分割，得到第一器官区域；以及，对妆容 人脸图像进行器官分割，得到第二器官区域；第一器官区域和第二器官区域对 应同一类型的器官；
S806、判断第一器官区域的面积是否大于预设目标面积；若是，则执行S807， 否则，停止处理；
S807、对第二器官区域进行图像变形处理，将第二器官区域的形状信息调 整为对应的第一器官区域的形状信息，得到第二变形器官区域。
S808、基于第二变形器官区域，对对应的第一器官区域进行颜色迁移，得 到第一颜色迁移区域；
S809、将第二变形器官区域的纹理迁移至对应的第一颜色迁移区域中，得 到迁移后的原始人脸图像。
S810、对迁移后的原始人脸图像进行人脸对齐的逆处理，得到逆调整后的 原始人脸图像；
S811、利用逆调整后的原始人脸图像替换用户图像中的原始人脸图像，得 到妆容效果图像；
在本公开实施例中，人脸对齐的逆处理包括：对迁移后的原始人脸图像的 尺寸、以及其中的人脸角度和人脸尺寸进行还原；如此，终端可以将人脸对齐 逆处理得到的逆调整后的原始人脸图像反贴回用户图像中，此时，用户图像中 的人脸为带妆人脸。
S812、识别妆容效果图像的第一躯干皮肤区域和妆容参考图像的第二躯干 皮肤区域；
S813、基于第二躯干皮肤区域，对第一躯干皮肤区域进行颜色迁移，得到 自然妆容效果图像。
在本公开实施例中，终端可以将任意妆容参考图像的妆容迁移到任意用户 图像中，基于器官变形，对人脸进行颜色迁移和纹理迁移，同时，对用户图像 的躯干皮肤进行颜色迁移，使用户图像的人脸和躯干颜色匹配，提高了妆容迁 移的自然度和细节度。
本公开实施例还提供一种妆容迁移设备，图14为本公开实施例提供的妆容 迁移设备的一个可选的组成结构示意图，如图14所示，该妆容迁移设备20包 括：
获取模块2001，用于获取包含原始人脸的原始人脸图像和包含目标妆容的 妆容人脸图像；
变形模块2002，用于基于所述原始人脸图像中的第一器官区域，对所述妆 容人脸图像中的第二器官区域进行图像变形处理，得到第二变形器官区域；所 述第一器官区域和所述第二器官区域对应同一类型的器官；
迁移模块2003，用于基于所述第二变形器官区域，对所述原始人脸图像中 的第一器官区域进行颜色迁移和纹理迁移，得到妆容迁移后的原始人脸图像。 在一些实施例中，所述获取模块2001，还用于从包含目标对象的用户图像中提 取所述原始人脸图像，以及从包含所述目标妆容的妆容参考图像中提取所述妆 容人脸图像。
在一些实施例中，所述获取模块2001，还用于对所述用户图像进行人脸关 键点检测，得到所述用户图像的第一人脸关键点；基于所述第一人脸关键点， 对所述用户图像进行人脸对齐，得到所述原始人脸图像。
在一些实施例中，所述获取模块2001，还用于对所述妆容参考图像进行人 脸关键点检测，得到所述妆容参考图像的第二人脸关键点；基于所述第二人脸 关键点，对所述妆容参考图像进行人脸对齐，得到所述妆容人脸图像。
在一些实施例中，所述获取模块2001，还用于基于所述第一人脸关键点的 第一原始位置信息和目标对齐人脸关键点的目标位置信息，获取第一变换矩阵； 所述第一变换矩阵表征所述第一原始位置信息和所述目标位置信息之间的位置 关系；基于所述第一变换矩阵，调整所述第一原始位置信息，得到用户对齐图 像；从所述用户对齐图像中提取所述原始人脸图像。
在一些实施例中，所述获取模块2001，还用于基于所述第二人脸关键点的 第二原始位置信息和目标对齐人脸关键点的目标位置信息，获取第二变换矩阵； 所述第二变换矩阵表征所述第二原始位置信息和所述目标位置信息之间的位置 关系；基于所述第二变换矩阵，调整所述第二原始位置信息，得到妆容对齐图 像；从所述妆容对齐图像中提取所述妆容人脸图像。
在一些实施例中，所述变形模块2002，还用于对所述原始人脸图像进行器 官分割，得到所述第一器官区域，以及对所述妆容人脸图像进行器官分割，得 到所述第二器官区域；对所述第二器官区域进行图像变形处理，将所述第二器 官区域的形状信息调整为对应的第一器官区域的形状信息，得到所述第二变形 器官区域。
在一些实施例中，所述变形模块2002，还用于基于所述第二器官区域中的 第二对齐人脸关键点，确定第二三角形网格，以及，基于所述第一器官区域中 的第一对齐人脸关键点，确定对应的第一三角形网格；其中，所述第二三角形 网格中每个第二三角形不相交；所述第一三角形网格中每个第一三角形不相交； 通过仿射变换，将所述第二三角形网格中的每个第二三角形的形状信息调整为 对应的第一三角形的形状信息，得到所述第二变形器官区域。
在一些实施例中，所述迁移模块2003，还用于基于所述第二变形器官区域， 对对应的第一器官区域进行颜色迁移，得到第一颜色迁移区域；将所述第二变 形器官区域的纹理迁移至所述对应的第一颜色迁移区域中，得到所述迁移后的 原始人脸图像。
在一些实施例中，所述迁移模块2003，还用于采用所述第一器官区域中每 个像素的每个通道的像素值减去所述第一器官区域中对应通道的像素均值，再 加上所述第二变形器官区域的对应通道的像素均值，得到每个像素的每个通道 的迁移像素值；基于所述每个像素的每个通道的迁移像素值，得到所述第一颜 色迁移区域。
在一些实施例中，所述迁移模块2003，还用于基于所述第二变形器官区域， 对所述原始人脸图像中的第一器官区域进行颜色迁移和纹理迁移，得到妆容迁 移后的原始人脸图像之后，基于所述迁移后的原始人脸图像和所述用户图像， 得到妆容效果图像。
在一些实施例中，所述迁移模块2003，还用于获取所述第一变换矩阵的逆 矩阵，作为第一变换逆矩阵；基于所述第一变换逆矩阵，对所述迁移后的原始 人脸图像进行逆调整，得到逆调整后的原始人脸图像；利用所述逆调整后的原 始人脸图像替换所述用户图像中的原始人脸图像，得到所述妆容效果图像。
在一些实施例中，所述迁移模块2003，还用于在利用所述逆调整后的原始 人脸图像替换所述用户图像中的原始人脸图像，得到所述妆容效果图像之后， 识别所述妆容效果图像的第一躯干皮肤区域和所述妆容参考图像的第二躯干皮 肤区域；基于所述第二躯干皮肤区域，对所述第一躯干皮肤区域进行颜色迁移， 得到自然妆容效果图像，并在所述妆容迁移界面上显示所述自然妆容效果图像。
在一些实施例中，所述变形模块2002，还用于若所述第一器官区域的面积 大于预设目标面积，则基于所述第一器官区域，对对应的第二器官区域进行图 像变形处理，得到所述第二变形器官区域。
本公开实施例还提供一种妆容迁移设备，图15为本公开实施例提供的妆容 迁移设备的一个可选的组成结构示意图，如图15所示，该妆容迁移设备21包 括：处理器2101和存储器2102，存储器2102存储有可在处理器2101上运行 的计算机程序，处理器2101执行所述计算机程序被执行时，实现本公开实施例 的任意一种展示方法的步骤。
存储器2102配置为存储由处理器2101计算机程序和应用，还可以缓存待 处理器2101以及展示设备中各模块待处理或已经处理的数据(例如，图像数据、 音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机 访问存储器(Random AccessMemory，RAM)实现。
处理器2101执行程序时实现上述任一项妆容迁移方法的步骤。处理器2101 通常控制展示设备21的总体操作。
上述处理器可以为特定用途集成电路(Application Specific IntegratedCircuit， ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable LogicDevice，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、 中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中 的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本 公开实施例不作限制。
上述计算机可读存储介质/存储器可以是只读存储器(Read Only Memory， ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦 除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、 电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只 读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包 括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、 个人数字助理等。
这里指出：以上存储介质和设备实施例的描述，与上述方法实施例的描述 是类似的，具有同方法实施例相似的有益效果。对于本公开存储介质和设备实 施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实 施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此， 在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指 相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合 在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序 号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻 辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例 序号仅仅为了描述，不代表实施例的优劣。
在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以 通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述 单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式， 如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽 略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦 合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可 以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为 单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可 以分布到多个网络单元上；可以根据实际的要求选择其中的部分或全部单元来 实现本公开实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中， 也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一 个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软 件功能单元的形式实现。
或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立 的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样 的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可 以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包 括若干指令用以使得设备自动测试线执行本公开各个实施例所述方法的全部或 部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可 以存储程序代码的介质。
本公开所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可 以任意组合，得到新的方法实施例。
本公开所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情 况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变 化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应 以所述权利要求的保护范围为准。

Claims (18)

1.一种妆容迁移方法，其特征在于，包括：
获取包含原始人脸的原始人脸图像和包含目标妆容的妆容人脸图像；
基于所述原始人脸图像中的第一器官区域，对所述妆容人脸图像中的第二器官区域进行图像变形处理，得到第二变形器官区域；所述第一器官区域和所述第二器官区域对应同一类型的器官；
基于所述第二变形器官区域，对所述原始人脸图像中的第一器官区域进行颜色迁移和纹理迁移，得到妆容迁移后的原始人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述获取包含原始人脸的原始人脸图像和包含目标妆容的妆容人脸图像，包括：
从包含目标对象的用户图像中提取所述原始人脸图像，以及从包含所述目标妆容的妆容参考图像中提取所述妆容人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述从包含目标对象的用户图像中提取所述原始人脸图像，包括：
对所述用户图像进行人脸关键点检测，得到所述用户图像的第一人脸关键点；
基于所述第一人脸关键点，对所述用户图像进行人脸对齐，得到所述原始人脸图像。
4.根据权利要求2所述的方法，其特征在于，所述从包含所述目标妆容的妆容参考图像中提取所述妆容人脸图像，包括：
对所述妆容参考图像进行人脸关键点检测，得到所述妆容参考图像的第二人脸关键点；
基于所述第二人脸关键点，对所述妆容参考图像进行人脸对齐，得到所述妆容人脸图像。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第一人脸关键点，对所述用户图像进行人脸对齐，得到所述原始人脸图像，包括：
基于所述第一人脸关键点的第一原始位置信息和目标对齐人脸关键点的目标位置信息，获取第一变换矩阵；所述第一变换矩阵表征所述第一原始位置信息和所述目标位置信息之间的位置关系；
基于所述第一变换矩阵，调整所述第一原始位置信息，得到用户对齐图像；
从所述用户对齐图像中提取所述原始人脸图像。
6.根据权利要求4所述的方法，其特征在于，所述基于所述第二人脸关键点，对所述妆容图像进行人脸对齐，得到所述妆容人脸图像，包括：
基于所述第二人脸关键点的第二原始位置信息和目标对齐人脸关键点的目标位置信息，获取第二变换矩阵；所述第二变换矩阵表征所述第二原始位置信息和所述目标位置信息之间的位置关系；
基于所述第二变换矩阵，调整所述第二原始位置信息，得到妆容对齐图像；
从所述妆容对齐图像中提取所述妆容人脸图像。
7.根据权利要求1至6任一所述的方法，其特征在于，所述基于所述原始人脸图像中的第一器官区域，对所述妆容人脸图像中的第二器官区域进行图像变形处理，得到第二变形器官区域，包括：
对所述原始人脸图像进行器官分割，得到所述第一器官区域，以及对所述妆容人脸图像进行器官分割，得到所述第二器官区域；
对所述第二器官区域进行图像变形处理，将所述第二器官区域的形状信息调整为对应的第一器官区域的形状信息，得到所述第二变形器官区域。
8.根据权利要求7所述的方法，其特征在于，所述对所述第二器官区域进行图像变形处理，将所述第二器官区域的形状信息调整为对应的第一器官区域的形状信息，得到所述第二器变形官区域，包括：
基于所述第二器官区域中的第二对齐人脸关键点，确定第二三角形网格，以及，基于所述第一器官区域中的第一对齐人脸关键点，确定对应的第一三角形网格；
通过仿射变换，将所述第二三角形网格中的每个第二三角形的形状信息调整为对应的第一三角形的形状信息，得到所述第二变形器官区域。
9.根据权利要求1至8任一所述的方法，其特征在于，所述基于所述第二变形器官区域，对所述原始人脸图像中的第一器官区域进行颜色迁移和纹理迁移，得到妆容迁移后的原始人脸图像，包括：
基于所述第二变形器官区域，对对应的第一器官区域进行颜色迁移，得到第一颜色迁移区域；
将所述第二变形器官区域的纹理迁移至所述对应的第一颜色迁移区域中，得到所述迁移后的原始人脸图像。
10.根据权利要求9所述的方法，其特征在于，所述基于所述第二变形器官区域，对对应的第一器官区域进行颜色迁移，得到第一颜色迁移区域，包括：
采用所述第一器官区域中每个像素的每个通道的像素值，减去所述第一器官区域中对应通道的像素均值，再加上所述第二变形器官区域的对应通道的像素均值，得到每个像素的每个通道的迁移像素值；
基于所述每个像素的每个通道的迁移像素值，得到所述第一颜色迁移区域。
11.根据权利要求2-10任一所述的方法，其特征在于，所述基于所述第二变形器官区域，对所述原始人脸图像中的第一器官区域进行颜色迁移和纹理迁移，得到妆容迁移后的原始人脸图像之后，所述方法还包括：
基于所述迁移后的原始人脸图像和所述用户图像，得到妆容效果图像。
12.根据权利要求11所述的方法，其特征在于，所述基于所述迁移后的原始人脸图像和所述用户图像，得到妆容效果图像，包括：
获取所述第一变换矩阵的逆矩阵，作为第一变换逆矩阵；
基于所述第一变换逆矩阵，对所述迁移后的原始人脸图像进行逆调整，得到逆调整后的原始人脸图像；
利用所述逆调整后的原始人脸图像替换所述用户图像中的原始人脸图像，得到所述妆容效果图像。
13.根据权利要求12所述的方法，其特征在于，所述利用所述逆调整后的原始人脸图像替换所述用户图像中的原始人脸图像，得到所述妆容效果图像之后，所述方法还包括：
识别所述妆容效果图像的第一躯干皮肤区域和所述妆容参考图像的第二躯干皮肤区域；
基于所述第二躯干皮肤区域，对所述第一躯干皮肤区域进行颜色迁移，得到自然妆容效果图像，并在所述妆容迁移界面上显示所述自然妆容效果图像。
14.根据权利要求1至13任一所述的方法，其特征在于，所述基于所述原始人脸图像中的第一器官区域，对所述妆容人脸图像中的第二器官区域进行图像变形处理，得到第二变形器官区域，包括：
若所述第一器官区域的面积大于预设目标面积，则基于所述第一器官区域，对对应的第二器官区域进行图像变形处理，得到所述第二变形器官区域。
15.根据权利要求1-14任一所述的方法，其特征在于，
所述第一器官区域包括以下至少一个：
左眉毛区域、右眉妆区域、左眼妆区域、右眼妆区域、口红区域和基底区域；
所述第二器官区域包括以下至少一个：
左眉妆区域、右眉妆区域、左眼妆区域、右眼妆区域、口红区域和粉底区域。
16.一种妆容迁移装置，其特征在于，包括：
获取模块，用于获取包含原始人脸的原始人脸图像和包含目标妆容的妆容人脸图像；
变形模块，用于基于所述原始人脸图像中的第一器官区域，对所述妆容人脸图像中的第二器官区域进行图像变形处理，得到第二变形器官区域；所述第一器官区域和所述第二器官区域对应同一类型的器官；
迁移模块，用于基于所述第二变形器官区域，对所述原始人脸图像中的第一器官区域进行颜色迁移和纹理迁移，得到妆容迁移后的原始人脸图像。
17.一种妆容迁移设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序时，实现权利要求1至15任一所述的方法。
18.一种计算机可读存储介质，其特征在于，存储有计算机程序，用于被处理器执行时，实现权利要求1至15任一所述的方法。
CN202110530429.1A 2021-05-14 2021-05-14 妆容迁移方法、装置、设备和计算机可读存储介质 Pending CN113313660A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110530429.1A CN113313660A (zh) 2021-05-14 2021-05-14 妆容迁移方法、装置、设备和计算机可读存储介质
PCT/CN2021/126184 WO2022237081A1 (zh) 2021-05-14 2021-10-25 妆容迁移方法、装置、设备和计算机可读存储介质
TW110144373A TW202244841A (zh) 2021-05-14 2021-11-29 妝容遷移方法、設備和電腦可讀儲存媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110530429.1A CN113313660A (zh) 2021-05-14 2021-05-14 妆容迁移方法、装置、设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113313660A true CN113313660A (zh) 2021-08-27

Family

ID=77373258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110530429.1A Pending CN113313660A (zh) 2021-05-14 2021-05-14 妆容迁移方法、装置、设备和计算机可读存储介质

Country Status (3)

Country Link
CN (1) CN113313660A (zh)
TW (1) TW202244841A (zh)
WO (1) WO2022237081A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418837A (zh) * 2022-04-02 2022-04-29 荣耀终端有限公司 一种妆容迁移方法及电子设备
CN114445543A (zh) * 2022-01-24 2022-05-06 北京百度网讯科技有限公司 处理纹理图像的方法、装置、电子设备及存储介质
WO2022237081A1 (zh) * 2021-05-14 2022-11-17 北京市商汤科技开发有限公司 妆容迁移方法、装置、设备和计算机可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195286B (zh) * 2023-09-04 2024-05-07 河南中信科大数据科技有限公司 一种基于大数据的用户隐私保护方法和系统
CN117036157B (zh) * 2023-10-09 2024-02-20 易方信息科技股份有限公司 可编辑的仿真数字人形象设计方法、系统、设备及介质
CN117241064B (zh) * 2023-11-15 2024-03-19 北京京拍档科技股份有限公司 一种直播实时人脸替换的方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509846A (zh) * 2018-02-09 2018-09-07 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109949216A (zh) * 2019-04-19 2019-06-28 中共中央办公厅电子科技学院(北京电子科技学院) 一种基于面部解析和光照迁移的复杂妆容迁移方法
CN112528707A (zh) * 2019-09-18 2021-03-19 广州虎牙科技有限公司 图像处理方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622472A (zh) * 2017-09-12 2018-01-23 北京小米移动软件有限公司 人脸妆容迁移方法及装置
CN109359575B (zh) * 2018-09-30 2022-05-10 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN111815534B (zh) * 2020-07-14 2023-12-19 厦门美图之家科技有限公司 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质
CN111950430B (zh) * 2020-08-07 2024-06-14 武汉理工大学 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
CN113313660A (zh) * 2021-05-14 2021-08-27 北京市商汤科技开发有限公司 妆容迁移方法、装置、设备和计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509846A (zh) * 2018-02-09 2018-09-07 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109949216A (zh) * 2019-04-19 2019-06-28 中共中央办公厅电子科技学院(北京电子科技学院) 一种基于面部解析和光照迁移的复杂妆容迁移方法
CN112528707A (zh) * 2019-09-18 2021-03-19 广州虎牙科技有限公司 图像处理方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022237081A1 (zh) * 2021-05-14 2022-11-17 北京市商汤科技开发有限公司 妆容迁移方法、装置、设备和计算机可读存储介质
CN114445543A (zh) * 2022-01-24 2022-05-06 北京百度网讯科技有限公司 处理纹理图像的方法、装置、电子设备及存储介质
CN114418837A (zh) * 2022-04-02 2022-04-29 荣耀终端有限公司 一种妆容迁移方法及电子设备

Also Published As

Publication number Publication date
TW202244841A (zh) 2022-11-16
WO2022237081A1 (zh) 2022-11-17

Similar Documents

Publication Publication Date Title
CN113313660A (zh) 妆容迁移方法、装置、设备和计算机可读存储介质
CN109285215B (zh) 一种人体三维模型重建方法、装置和存储介质
CN110163048B (zh) 手部关键点的识别模型训练方法、识别方法及设备
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
CN110136229B (zh) 一种用于实时虚拟换脸的方法与设备
WO2021082635A1 (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
Fu et al. Estimating human age by manifold analysis of face pictures and regression on aging features
WO2017190646A1 (zh) 一种人脸图像处理方法和装置、存储介质
CN108428214B (zh) 一种图像处理方法及装置
CN110662484A (zh) 用于全身测量结果提取的系统和方法
CN107705240B (zh) 虚拟试妆方法、装置和电子设备
KR101141643B1 (ko) 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
CN107833219B (zh) 图像识别方法及装置
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
US20220222893A1 (en) Method and apparatus for generating three-dimensional face model, computer device, and storage medium
CN110796100B (zh) 步态识别方法、装置、终端及存储装置
CN111445564A (zh) 人脸纹理图像生成方法、装置、计算机设备和存储介质
WO2021027585A1 (zh) 人脸图像处理方法及电子设备
CN113628327A (zh) 一种头部三维重建方法及设备
CN111192223B (zh) 人脸纹理图像的处理方法、装置、设备及存储介质
CN108874145A (zh) 一种图像处理方法、计算设备及存储介质
JP2023521270A (ja) 多様なポートレートから照明を学習すること
CN109949207B (zh) 虚拟对象合成方法、装置、计算机设备和存储介质
CN113822965A (zh) 图像渲染处理方法、装置和设备及计算机存储介质
CN113808277A (zh) 一种图像处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051316

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20210827