CN113793248A - 妆容迁移方法及装置、人脸对齐方法及装置 - Google Patents

妆容迁移方法及装置、人脸对齐方法及装置 Download PDF

Info

Publication number
CN113793248A
CN113793248A CN202110881316.6A CN202110881316A CN113793248A CN 113793248 A CN113793248 A CN 113793248A CN 202110881316 A CN202110881316 A CN 202110881316A CN 113793248 A CN113793248 A CN 113793248A
Authority
CN
China
Prior art keywords
image
face image
key point
face
point position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110881316.6A
Other languages
English (en)
Inventor
陈浩然
万昭祎
赵荔
姚聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd, Beijing Megvii Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202110881316.6A priority Critical patent/CN113793248A/zh
Publication of CN113793248A publication Critical patent/CN113793248A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种妆容迁移方法及装置、人脸对齐方法及装置，妆容迁移方法包括：获取待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置；根据待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置，对已上妆人脸图像进行全局对齐，得到中间图像；根据待上妆人脸图像中目标部位的关键点位置和中间图像中目标部位的关键点位置，对中间图像的目标部位进行局部对齐，得到已上妆人脸图像对应的人脸对齐图像；根据待上妆人脸图像和已上妆人脸图像对应的人脸对齐图像进行妆容迁移，获得待上妆人脸图像对应的上妆图像。上述方案通过精准对齐，实现妆容准确迁移。

Description

妆容迁移方法及装置、人脸对齐方法及装置
技术领域
本申请涉及图像处理技术领域，特别涉及一种人脸对齐方法及装置、妆容迁移方法及装置、电子设备、计算机可读存储介质。
背景技术
随着AI技术的发展，人脸技术应用的场景越来越多元化，除了常见的人脸识别等问题，综合深度学习与各项人脸技术，对于两张图片，其中一张图是没有上妆的原图，另一张图片是已经添加了妆容的上妆参考图，通过神经网络，将参考图的妆容迁移到未上妆的原图人脸上。
这种妆容迁移技术上具备一定技术可行性，且具有很高的实用价值。然而，由于原图与参考图人脸的角度、脸型等等差异，基于深度学习的全局妆容迁移方法对上妆关键区域的捕捉存在一定的欠缺，因此需要对人脸数据进行更好地形变，以辅助训练时对上妆部位进行更准确的匹配。
在实际应用中，我们想要对两张人脸进行妆容的迁移，一定是希望两张图中的人脸光照、角度等条件尽可能的相同，这样在迁移的过程中，存在的问题较少，效果会更好。但是在实际应用中，很难保证两张照片中的人脸角度、形态对齐。目前，现有的基于传统算子的对齐方法普遍较为粗糙，很难在像素级问题上精准对齐。
发明内容
本申请实施例提供了一种妆容迁移方法，用以通过精准对齐，实现妆容准确迁移。
本申请实施例提供了一种妆容迁移方法，包括：
获取待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置；
根据所述待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置，对所述已上妆人脸图像进行全局对齐，得到中间图像；
根据所述待上妆人脸图像中目标部位的关键点位置和所述中间图像中目标部位的关键点位置，对所述中间图像的目标部位进行局部对齐，得到所述已上妆人脸图像对应的人脸对齐图像；
根据所述待上妆人脸图像和所述已上妆人脸图像对应的人脸对齐图像进行妆容迁移，获得所述待上妆人脸图像对应的上妆图像。
在一实施例中，所述获取待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置，包括：
获取待上妆人脸图像和已上妆人脸图像；
分别对所述待上妆人脸图像和已上妆人脸图像进行全局关键点检测，获得所述待上妆人脸图像全局的关键点位置和所述已上妆人脸图像全局的关键点位置。
在一实施例中，获取待上妆人脸图像和已上妆人脸图像；
获取原图和参考图；
分别对所述原图和参考图进行人脸检测，得到所述原图对应的待上妆人脸图像和所述参考图对应的已上妆人脸图像。
在一实施例中，所述根据所述待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置，对所述已上妆人脸图像进行全局对齐，得到中间图像，包括：
根据所述待上妆人脸图像全局的关键点位置与所述已上妆人脸图像全局的关键点位置之间的对应关系，构建第一变换公式；
根据所述第一变换公式，对所述已上妆人脸图像进行仿射变换、透视变换或薄板样条函数变换，得到所述中间图像。
在一实施例中，所述根据所述待上妆人脸图像中目标部位的关键点位置和所述中间图像中目标部位的关键点位置，对所述中间图像的目标部位进行局部对齐，包括：
根据所述待上妆人脸图像目标部位的关键点位置与所述中间图像目标部位的关键点位置之间的对应关系，构建第二变换公式；
根据所述第二变换公式，对所述中间图像的目标部位进行仿射变换、透视变换或薄板样条函数变换。
在一实施例中，根据所述待上妆人脸图像和所述已上妆人脸图像对应的人脸对齐图像进行妆容迁移，获得所述待上妆人脸图像对应的上妆图像，包括：
将所述待上妆人脸图像和所述已上妆人脸图像对应的人脸对齐图像作为妆容迁移模型的输入，获得所述妆容迁移模型输出的所述待上妆人脸图像对应的上妆图像。
在一实施例中，在所述将所述待上妆人脸图像和所述已上妆人脸图像对应的人脸对齐图像作为妆容迁移模型的输入之前，所述方法还包括：
获取待上妆用户图像、已上妆用户图像和妆容参考图像；
对所述妆容参考图像进行全局对齐和局部对齐，得到妆容对齐图像；
将所述待上妆用户图像和妆容对齐图像作为神经网络的输入，调整所述神经网络的参数，使所述神经网络输出的上妆图像与所述已上妆用户图像之间的误差最小，得到所述妆容迁移模型。
本申请实施例提供了一种人脸对齐方法，包括：
获取模板人脸图像和目标人脸图像；
分别对所述模板人脸图像和目标人脸图像进行全局关键点检测，获得所述模板人脸图像全局的关键点位置和所述目标人脸图像全局的关键点位置；
根据所述模板人脸图像全局的关键点位置和目标人脸图像全局的关键点位置，对所述目标人脸图像进行全局对齐，得到第一对齐图像；
根据所述模板人脸图像中目标部位的关键点位置和所述第一对齐图像中目标部位的关键点位置，对所述中间图像的目标部位进行局部对齐，得到所述目标人脸图像对应的人脸对齐图像。
本申请实施例提供了一种妆容迁移装置，包括：
关键点检测模块，用于获取待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置；
全局对齐模块，用于根据所述待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置，对所述已上妆人脸图像进行全局对齐，得到中间图像；
局部对齐模块，用于根据所述待上妆人脸图像中目标部位的关键点位置和所述中间图像中目标部位的关键点位置，对所述中间图像的目标部位进行局部对齐，得到所述已上妆人脸图像对应的人脸对齐图像；
妆容迁移模块，用于根据所述待上妆人脸图像和所述已上妆人脸图像对应的人脸对齐图像进行妆容迁移，获得所述待上妆人脸图像对应的上妆图像。
本申请实施例提供了一种人脸对齐装置，包括：
图像获取模块，用于获取模板人脸图像和目标人脸图像；
关键点检测模块，用于分别对所述模板人脸图像和目标人脸图像进行全局关键点检测，获得所述模板人脸图像全局的关键点位置和所述目标人脸图像全局的关键点位置；
全局对齐模块，用于根据所述模板人脸图像全局的关键点位置和目标人脸图像全局的关键点位置，对所述目标人脸图像进行全局对齐，得到第一对齐图像；
局部对齐模块，用于根据所述模板人脸图像中目标部位的关键点位置和所述第一对齐图像中目标部位的关键点位置，对所述第一对齐图像的目标部位进行局部对齐，得到所述目标人脸图像对应的人脸对齐图像。
本申请实施例提供了一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述妆容迁移方法或者人脸对齐方法。
本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述妆容迁移方法或者人脸对齐方法。
本申请上述实施例提供的技术方案，通过检测待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置，对已上妆人脸图像进行全局对齐得到中间图像，之后根据待上妆人脸图像中目标部位的关键点位置和中间图像中目标部位的关键点位置，对中间图像进行局部对齐得到人脸对齐图像，由此通过全局对齐和局部对齐的方式，可以实现精准对齐，将对齐后的人脸对齐图像的妆容迁移至待上妆人脸图像，即可得到待上妆人脸图像对应的上妆图像，由此可以实现妆容准确迁移。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1为本申请一实施例提供的电子设备的结构示意图；
图2为本申请一实施例提供的妆容迁移方法的流程示意图；
图3是图2对应实施例中步骤S210的细节流程图；
图4为本申请一实施例提供的妆容迁移模型的训练过程示意图；
图5为本申请一实施例提供的人脸对齐方法的流程示意图；
图6为本申请一实施例提供的妆容迁移装置的框图；
图7为本申请一实施例提供的人脸对齐装置的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1是本申请实施例提供的电子设备的结构示意图。该电子设备100可以用于执行本申请实施例提供的妆容迁移方法或人脸对齐方法。如图1所示，该电子设备100包括：一个或多个处理器102、一个或多个存储处理器可执行指令的存储器104。其中，所述处理器102被配置为执行本申请下述实施例提供的妆容迁移方法或人脸对齐方法。
所述处理器102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)、图像处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子设备100中的其它组件的数据进行处理，还可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的妆容迁移方法或人脸对齐方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
在一实施例中，图1所示电子设备100还可以包括输入装置106、输出装置108以及数据采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备100也可以具有其他组件和结构。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。所述数据采集装置110可以采集对象的图像，并且将所采集的图像存储在所述存储器104中以供其它组件使用。示例性地，该数据采集装置110可以为摄像头。
在一实施例中，用于实现本申请实施例的妆容迁移方法或人脸对齐方法的示例电子设备100中的各器件可以集成设置，也可以分散设置，诸如将处理器102、存储器104、输入装置106和输出装置108集成设置于一体，而将数据采集装置110分离设置。
在一实施例中，用于实现本申请实施例的妆容迁移方法或人脸对齐方法的示例电子设备100可以被实现为诸如智能手机、平板电脑、智能手表、车载设备等智能终端。
图2是本申请实施例提供的妆容迁移方法的流程示意图。如图2所示，该方法包括以下步骤S210-步骤S240。
步骤S210：获取待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置。
其中，待上妆人脸图像是指对未化妆的人脸拍摄的图像，已上妆人脸图像是指对已化妆的人脸拍摄的图像。妆容迁移是指将已上妆人脸图像的妆容复制到待上妆人脸图像，例如口红、肤色、眼影等转移到待上妆人脸图像。
全局的关键点位置是指整个面部的所有的关键点的位置。关键点的数量可以有68个，关键点可以包括眼角、嘴角、眉角、鼻尖等，位置可以用关键点在图像坐标系中的坐标表示。例如可以以图像的一个顶点为坐标原点，建立二维坐标系。
在一实施例中，待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置可以提前获得并存储在本地或服务端，从而在进行妆容转移时，直接获取已存储的待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置。
在一实施例中，如图3所示，上述步骤S210具体包括以下步骤S211-步骤S212。
步骤S211：获取待上妆人脸图像和已上妆人脸图像。
其中，待上妆人脸图像可以是本地摄像头拍摄的图像。已上妆人脸图像可以是本地或服务端提前存储的图像。
在一实施例中，可以通过获取原图和参考图，分别对原图和参考图进行人脸检测，得到原图对应的待上妆人脸图像和参考图对应的已上妆人脸图像。
其中，原图是指包含待上妆人脸图像的图像，参考图是指包含已上妆人脸图像的图像。待上妆人脸图像可以认为是从原图中抠出的人脸区域。已上妆人脸图像可以认为是从参考图中抠出的人脸区域。
举例来说，可以通过训练好的RetinaFace(人脸检测器)、DenseBox以及各种级联卷积神经网络分别对原图和参考图进行人脸检测，从而得到原图中包含的待上妆人脸图像和参考图中包含的已上妆人脸图像。
步骤S212：分别对所述待上妆人脸图像和已上妆人脸图像进行全局关键点检测，获得所述待上妆人脸图像全局的关键点位置和所述已上妆人脸图像全局的关键点位置。
全局关键点检测是指找出待上妆人脸图像和已上妆人脸图像中所有的关键点。关键点检测方式可以是调用dlib库(dlib库是一个很经典的用于图像处理的开源库)进行检测，也可以采用DCNN(深度卷积神经网络)、MTCNN(多任务卷积神经网络)等神经网络方法。通过已知关键点位置的样本图像训练神经网络，之后利用训练好的神经网络模型，检测待上妆人脸图像所有的关键点位置以及已上妆人脸图像所有的关键点位置。
步骤S220：根据所述待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置，对所述已上妆人脸图像进行全局对齐，得到中间图像。
其中，中间图像是已上妆人脸图像进行全局对齐后得到的图像。全局对齐是相对局部对齐而言的，全局对齐可以是对整张已上妆人脸图像进行变换，从而使变换后得到的中间图像的关键点位置与待上妆人脸图像的关键点位置对齐。
在一实施例中，可以根据待上妆人脸图像全局的关键点位置与所述已上妆人脸图像全局的关键点位置之间的对应关系，构建第一变换公式；根据所述第一变换公式，对所述已上妆人脸图像进行仿射变换、透视变换或薄板样条函数变换。
其中，对应关系是指待上妆人脸图像中某个关键点与已上妆人脸图像中的某个关键点对应。例如，待上妆人脸图像中鼻尖的位置对应已上妆人脸图像中鼻尖的位置，待上妆人脸图像中左嘴角的位置对应已上妆人脸图像中左嘴角的位置。第一变换公式可以认为是已上妆人脸图像中关键点位置到待上妆人脸图像中关键点位置的映射关系。
在一实施例中，第一变换公式可以仿射变换矩阵、透视变换矩阵或薄板样条函数，通过将已上妆人脸图像中每个像素点的位置按照仿射变换矩阵、透视变换矩阵或薄板样条函数进行变换，映射得到该像素点在中间图像中的位置。其中，该像素点的RGB颜色值保留。
薄板样条函数变换是一种插值方法，最终实现的变换以两张图中的关键点为基准，寻求将二维图像看做可形变薄板的前提下，以关键点对齐为计算目标，使得全图形变能量最小的变换。设选定的人脸关键点为控制点，利用r2logr(.)作为径向基函数核，以经过径向基函数差值后的距离表示原图所有像素位置到变换后的总形变能量。在此过程中通过对总形变能量约束到最小，完成整体变化幅度最小，且使得待上妆人脸图像和已上妆人脸图像中对应关键点位置对齐的图像配准。
步骤S230：根据所述待上妆人脸图像中目标部位的关键点位置和所述中间图像中目标部位的关键点位置，对所述中间图像的目标部位进行局部对齐，得到所述已上妆人脸图像对应的人脸对齐图像；
其中，目标部位可以是眼睛区域、嘴巴区域、皮肤区域、鼻子区域等。人脸对齐图像可以认为是对中间图像的目标部位进行对齐后得到的图像。
局部对齐是相对全局对齐而言的，可以认为是对中间图像的眼睛区域进行对齐，也可以是对中间图像的嘴巴区域进行对齐，或者根据需要，对其他预设区域进行对齐，例如上下嘴唇、左右眼眶等四个部位。其中，每个部位可以单独进行局部对齐，在一个部位对齐后进行下一个部位的局部对齐。
其中，局部对齐方式可以参照全局对齐方式，可以先根据待上妆人脸图像目标部位的关键点位置与所述中间图像目标部位的关键点位置之间的对应关系，构建第二变换公式；根据所述第二变换公式，对所述中间图像的目标部位进行仿射变换、透视变换或薄板样条函数变换。
为与上文的第一变换公式进行区别，待上妆人脸图像中某个部位的关键点与中间图像中该部位对应关键点之间的映射关系可以称为第二变换公式。与第一变换公式类似，第二变换公式也可以仿射变换矩阵、透视变换矩阵或薄板样条函数。将中间图像中目标部位的每个像素点的位置，按照仿射变换矩阵、透视变换矩阵或薄板样条函数进行变换，映射得到该像素点在人脸对齐图像中的位置。其中，该像素点的GRB颜色信息保持不变。其中，局部对齐可以在全局对齐之后完成，直接进行局部对齐可能会出现边缘像素区域失真的情况。
步骤S240：根据所述待上妆人脸图像和所述已上妆人脸图像对应的人脸对齐图像进行妆容迁移，获得所述待上妆人脸图像对应的上妆图像。
妆容迁移是指将已上妆人脸图像的妆容颜色复制到待上妆人脸图像上。在一实施例中，可以将待上妆人脸图像和所述已上妆人脸图像对应的人脸对齐图像作为妆容迁移模型的输入，获得所述待上妆人脸图像对应的上妆图像。
其中，妆容迁移模型可以提前训练得到，即直接利用已有的妆容迁移模型。妆容迁移模型的输入为待上妆人脸图像和已上妆人脸图像对应的人脸对齐图像。妆容迁移模型的输出是待上妆人脸图像的上妆图像。上妆图像可以认为是已上妆人脸图像的妆容转移到待上妆的人脸图像上，得到的化了妆的人脸图像。因为在变换后，同一组待上妆人脸图像和已上妆人脸图像中不同人脸的每个部位坐标已经实现了对齐，在神经网络的计算中，可以使用坐标位置索引到对齐的所有像素点。故待上妆人脸图像和人脸对齐图像可以以数据对的形式输入妆容迁移模型。
在一实施例中，在上述步骤S240之前，还可以进行妆容迁移模型的训练，如图4所示，妆容迁移模型可以通过以下步骤S601-步骤S603训练得到。
步骤S601：获取待上妆用户图像、已上妆用户图像和妆容参考图像。
其中，待上妆用户图像可以认为是用户A未化妆时的人脸图像。已上妆用户图像可以认为是用户A化妆后的人脸图像。妆容参考图像可以认为是用户B化妆后的人脸图像。
步骤S602：对所述妆容参考图像进行全局对齐和局部对齐，得到妆容对齐图像。
其中，妆容对齐图像可以认为是妆容参考图像经过全局对齐和局部对齐后得到的图像。具体可以参照上文待上妆人脸图像和已上妆人脸图像的对齐方式。先对待上妆用户图像和妆容参考图像进行全局关键点检测，之后基于待上妆用户图像中的关键点位置和妆容参考图像中的关键点位置，进行全局对齐和目标部位的局部对齐后，得到妆容参考图像的妆容对齐图像。
步骤S603：将所述待上妆用户图像和妆容对齐图像作为神经网络的输入，调整所述神经网络的参数，使所述神经网络输出的上妆图像与所述已上妆用户图像之间的误差最小，得到所述妆容迁移模型。
其中，误差可以用神经网络输出的上妆图像的图像数据与已上妆用户图像的图像数据之间的距离表示。神经网络的优化目标是使神经网络输出的结果与已知的已上妆用户图像之间的差异最小，参数优化完成后的神经网络，即为妆容迁移模型。
图5是本申请实施例提供的人脸对齐方法的流程示意图。如图5所示，该方法包括以下步骤S710-步骤S740。
步骤S710：获取模板人脸图像和目标人脸图像。
其中，模板人脸图像和目标人脸图像可以是从拍摄的原始图像中通过人脸检测获得的人脸图像。模板人脸图像与目标人脸图像可以是不同人物、或者不同角度拍摄的图像。模板人脸图像与目标人脸图像中人物的脸型或角度不同。
步骤S720：分别对所述模板人脸图像和目标人脸图像进行全局关键点检测，获得所述模板人脸图像全局的关键点位置和所述目标人脸图像全局的关键点位置。
其中，全局关键点检测可以上文实施例中步骤S212对待上妆人脸图像和已上妆人脸图像进行全局关键点检测的过程。
步骤S730：根据所述模板人脸图像全局的关键点位置和目标人脸图像全局的关键点位置，对所述目标人脸图像进行全局对齐，得到第一对齐图像。
其中，第一对齐图像是指目标人脸图像经过全局对齐后得到的图像。全局对齐过程可以参照上文实施例中步骤S220的全局对齐方式。
步骤S740：根据所述模板人脸图像中目标部位的关键点位置和所述第一对齐图像中目标部位的关键点位置，对所述第一对齐图像的目标部位进行局部对齐，得到所述目标人脸图像对应的人脸对齐图像。
其中，局部对齐方式可以参照上文实施例中步骤S230的局部对齐方式。目标人脸图像经过全局对齐得到第一对齐图像，第一对齐图像经过每个部位的局部对齐后得到目标人脸图像对应的人脸对齐图像。上述人脸对齐方法，除了应用于图2对应实施例的妆容迁移过程，还可以应用于人脸识别任务。
在一实施例中，可以将模板人脸图像和目标人脸图像的人脸对齐图像作为神经网络输入，训练神经网络，识别模板人脸图像与目标人脸图像是否属于同一人脸。上述人脸对齐方法可以更好地解决不同角度、姿态下人脸的处理问题。
下述为本申请装置实施例，可以用于执行本申请上述妆容迁移方法、人脸对齐方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请妆容迁移方法、人脸对齐方法实施例。
图6为本申请一实施例示出的妆容迁移装置的框图。如图6所示，该装置包括：关键点检测模块810、全局对齐模块820、局部对齐模块830以及妆容迁移模块840。
关键点检测模块810，用于获取待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置；
全局对齐模块820，用于根据所述待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置，对所述已上妆人脸图像进行全局对齐，得到中间图像；
局部对齐模块830，用于根据所述待上妆人脸图像中目标部位的关键点位置和所述中间图像中目标部位的关键点位置，对所述中间图像的目标部位进行局部对齐，得到所述已上妆人脸图像对应的人脸对齐图像；
妆容迁移模块840，用于根据所述待上妆人脸图像和所述已上妆人脸图像对应的人脸对齐图像进行妆容迁移，获得所述待上妆人脸图像对应的上妆图像。
上述装置中各个模块的功能和作用的实现过程具体详见上述妆容迁移方法中对应步骤的实现过程，在此不再赘述。
图7为本申请一实施例示出的人脸对齐装置的框图。如图7所示，该装置包括：图像获取模块910、关键点检测模块920、全局对齐模块930以及局部对齐模块940。
图像获取模块910，用于获取模板人脸图像和目标人脸图像；
关键点检测模块920，用于分别对所述模板人脸图像和目标人脸图像进行全局关键点检测，获得所述模板人脸图像全局的关键点位置和所述目标人脸图像全局的关键点位置；
全局对齐模块930，用于根据所述模板人脸图像全局的关键点位置和目标人脸图像全局的关键点位置，对所述目标人脸图像进行全局对齐，得到第一对齐图像；
局部对齐模块940，用于根据所述模板人脸图像中目标部位的关键点位置和所述第一对齐图像中目标部位的关键点位置，对所述第一对齐图像的目标部位进行局部对齐，得到所述目标人脸图像对应的人脸对齐图像。
上述装置中各个模块的功能和作用的实现过程具体详见上述人脸对齐方法中对应步骤的实现过程，在此不再赘述。
在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种妆容迁移方法，其特征在于，包括：
获取待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置；
根据所述待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置，对所述已上妆人脸图像进行全局对齐，得到中间图像；
根据所述待上妆人脸图像中目标部位的关键点位置和所述中间图像中目标部位的关键点位置，对所述中间图像的目标部位进行局部对齐，得到所述已上妆人脸图像对应的人脸对齐图像；
根据所述待上妆人脸图像和所述已上妆人脸图像对应的人脸对齐图像进行妆容迁移，获得所述待上妆人脸图像对应的上妆图像。
2.根据权利要求1所述的方法，其特征在于，所述获取待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置，包括：
获取待上妆人脸图像和已上妆人脸图像；
分别对所述待上妆人脸图像和已上妆人脸图像进行全局关键点检测，获得所述待上妆人脸图像全局的关键点位置和所述已上妆人脸图像全局的关键点位置。
3.根据权利要求2所述的方法，其特征在于，获取待上妆人脸图像和已上妆人脸图像；
获取原图和参考图；
分别对所述原图和参考图进行人脸检测，得到所述原图对应的待上妆人脸图像和所述参考图对应的已上妆人脸图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置，对所述已上妆人脸图像进行全局对齐，得到中间图像，包括：
根据所述待上妆人脸图像全局的关键点位置与所述已上妆人脸图像全局的关键点位置之间的对应关系，构建第一变换公式；
根据所述第一变换公式，对所述已上妆人脸图像进行仿射变换、透视变换或薄板样条函数变换，得到所述中间图像。
5.根据权利要求1所述的方法，其特征在于，所述根据所述待上妆人脸图像中目标部位的关键点位置和所述中间图像中目标部位的关键点位置，对所述中间图像的目标部位进行局部对齐，包括：
根据所述待上妆人脸图像目标部位的关键点位置与所述中间图像目标部位的关键点位置之间的对应关系，构建第二变换公式；
根据所述第二变换公式，对所述中间图像的目标部位进行仿射变换、透视变换或薄板样条函数变换。
6.根据权利要求1所述的方法，其特征在于，根据所述待上妆人脸图像和所述已上妆人脸图像对应的人脸对齐图像进行妆容迁移，获得所述待上妆人脸图像对应的上妆图像，包括：
将所述待上妆人脸图像和所述已上妆人脸图像对应的人脸对齐图像作为妆容迁移模型的输入，获得所述妆容迁移模型输出的所述待上妆人脸图像对应的上妆图像。
7.根据权利要求6所述的方法，其特征在于，在所述将所述待上妆人脸图像和所述已上妆人脸图像对应的人脸对齐图像作为妆容迁移模型的输入之前，所述方法还包括：
获取待上妆用户图像、已上妆用户图像和妆容参考图像；
对所述妆容参考图像进行全局对齐和局部对齐，得到妆容对齐图像；
将所述待上妆用户图像和妆容对齐图像作为神经网络的输入，调整所述神经网络的参数，使所述神经网络输出的上妆图像与所述已上妆用户图像之间的误差最小，得到所述妆容迁移模型。
8.一种人脸对齐方法，其特征在于，包括：
获取模板人脸图像和目标人脸图像；
分别对所述模板人脸图像和目标人脸图像进行全局关键点检测，获得所述模板人脸图像全局的关键点位置和所述目标人脸图像全局的关键点位置；
根据所述模板人脸图像全局的关键点位置和目标人脸图像全局的关键点位置，对所述目标人脸图像进行全局对齐，得到第一对齐图像；
根据所述模板人脸图像中目标部位的关键点位置和所述第一对齐图像中目标部位的关键点位置，对所述第一对齐图像的目标部位进行局部对齐，得到所述目标人脸图像对应的人脸对齐图像。
9.一种妆容迁移装置，其特征在于，包括：
关键点检测模块，用于获取待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置；
全局对齐模块，用于根据所述待上妆人脸图像全局的关键点位置和已上妆人脸图像全局的关键点位置，对所述已上妆人脸图像进行全局对齐，得到中间图像；
局部对齐模块，用于根据所述待上妆人脸图像中目标部位的关键点位置和所述中间图像中目标部位的关键点位置，对所述中间图像的目标部位进行局部对齐，得到所述已上妆人脸图像对应的人脸对齐图像；
妆容迁移模块，用于根据所述待上妆人脸图像和所述已上妆人脸图像对应的人脸对齐图像进行妆容迁移，获得所述待上妆人脸图像对应的上妆图像。
10.一种人脸对齐装置，其特征在于，包括：
图像获取模块，用于获取模板人脸图像和目标人脸图像；
关键点检测模块，用于分别对所述模板人脸图像和目标人脸图像进行全局关键点检测，获得所述模板人脸图像全局的关键点位置和所述目标人脸图像全局的关键点位置；
全局对齐模块，用于根据所述模板人脸图像全局的关键点位置和目标人脸图像全局的关键点位置，对所述目标人脸图像进行全局对齐，得到第一对齐图像；
局部对齐模块，用于根据所述模板人脸图像中目标部位的关键点位置和所述第一对齐图像中目标部位的关键点位置，对所述第一对齐图像的目标部位进行局部对齐，得到所述目标人脸图像对应的人脸对齐图像。
11.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-7任意一项所述的妆容迁移方法或者权利要求8所述的人脸对齐方法。
12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成1-7任意一项所述的妆容迁移方法或者权利要求8所述的人脸对齐方法。
CN202110881316.6A 2021-08-02 2021-08-02 妆容迁移方法及装置、人脸对齐方法及装置 Pending CN113793248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110881316.6A CN113793248A (zh) 2021-08-02 2021-08-02 妆容迁移方法及装置、人脸对齐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110881316.6A CN113793248A (zh) 2021-08-02 2021-08-02 妆容迁移方法及装置、人脸对齐方法及装置

Publications (1)

Publication Number Publication Date
CN113793248A true CN113793248A (zh) 2021-12-14

Family

ID=79181241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110881316.6A Pending CN113793248A (zh) 2021-08-02 2021-08-02 妆容迁移方法及装置、人脸对齐方法及装置

Country Status (1)

Country Link
CN (1) CN113793248A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及系统
CN107622472A (zh) * 2017-09-12 2018-01-23 北京小米移动软件有限公司 人脸妆容迁移方法及装置
CN108257084A (zh) * 2018-02-12 2018-07-06 北京中视广信科技有限公司 一种基于移动端的轻量级人脸自动化妆方法
CN111640057A (zh) * 2020-05-25 2020-09-08 武汉理工大学 基于隐藏变量解耦的人脸图像局部特征迁移网络及方法
CN111815534A (zh) * 2020-07-14 2020-10-23 厦门美图之家科技有限公司 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质
CN112083863A (zh) * 2020-09-17 2020-12-15 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及系统
CN107622472A (zh) * 2017-09-12 2018-01-23 北京小米移动软件有限公司 人脸妆容迁移方法及装置
CN108257084A (zh) * 2018-02-12 2018-07-06 北京中视广信科技有限公司 一种基于移动端的轻量级人脸自动化妆方法
CN111640057A (zh) * 2020-05-25 2020-09-08 武汉理工大学 基于隐藏变量解耦的人脸图像局部特征迁移网络及方法
CN111815534A (zh) * 2020-07-14 2020-10-23 厦门美图之家科技有限公司 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质
CN112083863A (zh) * 2020-09-17 2020-12-15 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN109359575B (zh) 人脸检测方法、业务处理方法、装置、终端及介质
CN106778928B (zh) 图像处理方法及装置
US11703949B2 (en) Directional assistance for centering a face in a camera field of view
WO2018137623A1 (zh) 图像处理方法、装置以及电子设备
CN100438580C (zh) 用于将照片转换为漫画图像的方法和设备
US20180365518A1 (en) Target object presentation method and apparatus
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
WO2021051543A1 (zh) 人脸旋转模型的生成方法、装置、计算机设备及存储介质
JP2014203135A (ja) 信号処理装置、信号処理方法、及び、信号処理システム
WO2021027585A1 (zh) 人脸图像处理方法及电子设备
WO2023098045A1 (zh) 图像对齐方法、装置、计算机设备和存储介质
WO2020244151A1 (zh) 图像处理方法、装置、终端及存储介质
CN110008943B (zh) 一种图像处理方法及装置、一种计算设备及存储介质
CN114529606A (zh) 位姿检测方法及装置、电子设备和存储介质
WO2022267653A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
JP2022133378A (ja) 顔生体検出方法、装置、電子機器、及び記憶媒体
CN111666976A (zh) 基于属性信息的特征融合方法、装置和存储介质
Dubey et al. Image alignment in pose variations of human faces by using corner detection method and its application for PIFR system
CN109376618B (zh) 图像处理方法、装置及电子设备
CN109087240B (zh) 图像处理方法、图像处理装置及存储介质
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
CN111353325A (zh) 关键点检测模型训练方法及装置
WO2020244076A1 (zh) 人脸识别方法、装置、电子设备及存储介质
CN111275610A (zh) 一种人脸变老图像处理方法及系统
CN113793248A (zh) 妆容迁移方法及装置、人脸对齐方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination