CN110689479B - 一种人脸上妆方法、装置、设备及介质 - Google Patents

一种人脸上妆方法、装置、设备及介质 Download PDF

Info

Publication number
CN110689479B
CN110689479B CN201910918021.4A CN201910918021A CN110689479B CN 110689479 B CN110689479 B CN 110689479B CN 201910918021 A CN201910918021 A CN 201910918021A CN 110689479 B CN110689479 B CN 110689479B
Authority
CN
China
Prior art keywords
face
image
area
makeup
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910918021.4A
Other languages
English (en)
Other versions
CN110689479A (zh
Inventor
赵松涛
郑文
宋丛礼
郭益林
黄慧娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910918021.4A priority Critical patent/CN110689479B/zh
Publication of CN110689479A publication Critical patent/CN110689479A/zh
Priority to US17/031,420 priority patent/US11216644B2/en
Application granted granted Critical
Publication of CN110689479B publication Critical patent/CN110689479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种人脸上妆方法、装置、设备及介质，用以解决相关技术中障碍物对人脸上妆的干扰。本公开的人脸上妆方法，包括：对获取到的人脸图像进行人脸关键点检测，得到人脸关键点检测结果，基于所述人脸关键点检测结果对所述人脸图像中的预设部位进行上妆，得到上妆后的人脸图像；对所述人脸图像进行语义分割，得到语义分割结果，基于所述语义分割结果确定所述人脸图像中未被遮挡的人脸区域；基于所述人脸图像中未被遮挡的人脸区域对所述上妆后的人脸图像进行修正，得到人脸上妆图像。

Description

一种人脸上妆方法、装置、设备及介质
技术领域
本公开涉及深度学习技术领域，尤其涉及一种人脸上妆方法、装置、设备及介质。
背景技术
在目前常见的短视频应用或者相机应用中，为人脸进行上妆(如口红、眼影、腮红等)是一项常见的技术。目前最常见的上妆方案是利用人脸关键点，如嘴唇区域的关键点，拟合出相应的曲线并进行渲染上妆，这些方案相对来说较为成熟，已广泛应用在各个场景当中。
然而，现有技术在识别人脸关键点时，并不能排除遮挡信息的干扰，无法分辨出该关键点是否被其他物体遮挡，也就是说，在存在遮挡物的时候，基于人脸关键点进行的上妆会显得不够逼真与自然。例如，当用户用手遮挡嘴唇的时候，现有的上妆技术会将口红渲染到用户的手上，这显然不能满足用户的要求，影响用户体验。
目前，有关人脸关键点遮挡情况下的上妆，业界还没有相应的产品。
发明内容
本公开提供一种人脸上妆方法、装置、设备及介质，以至少解决相关技术中障碍物对人脸图像中人脸上妆的干扰，致使上妆不自然，影响用户体验的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种人脸上妆方法，包括：
对获取到的人脸图像进行人脸关键点检测，得到人脸关键点检测结果，基于人脸关键点检测结果对人脸图像中的预设部位进行上妆，得到上妆后的人脸图像；
对人脸图像进行语义分割，得到语义分割结果，基于语义分割结果确定人脸图像中未被遮挡的人脸区域；
基于人脸图像中未被遮挡的人脸区域对上妆后的人脸图像进行修正，得到人脸上妆图像。
在一种可能的实施方式中，本公开提供的方法中，基于人脸图像中未被遮挡的人脸区域对上妆后的人脸图像进行修正，得到人脸上妆图像，包括：
基于人脸图像中未被遮挡的人脸区域，保留上妆区域中未被遮挡部分的上妆效果，去除上妆区域中被遮挡部分的上妆效果，得到人脸上妆图像，上妆区域为上妆后的人脸图像中包含上妆效果的区域。
在一种可能的实施方式中，本公开提供的方法中，基于人脸图像中未被遮挡的人脸区域，保留上妆区域中未被遮挡部分的上妆效果，去除上妆区域中被遮挡部分的上妆效果，包括：
确定上妆区域与未被遮挡的人脸区域之间的第一重叠区域，保留第一重叠区域中的上妆效果；
基于人脸图像中未被遮挡的人脸区域，确定人脸图像中被遮挡的人脸区域，并确定上妆区域与被遮挡的人脸区域之间的第二重叠区域，去除第二重叠区域中的上妆效果。
在一种可能的实施方式中，本公开提供的方法中，对人脸图像进行语义分割，得到语义分割结果，基于语义分割结果确定人脸图像中未被遮挡的人脸区域，包括：
将人脸图像输入预先训练的语义分割模型，根据语义分割模型的输出结果，确定人脸图像中未被遮挡的人脸区域，未被遮挡的人脸区域为人脸图像中除遮挡物区域和背景区域之外的区域。
在一种可能的实施方式中，本公开提供的方法中，预先训练的语义分割模型采用以下步骤训练生成：
获取多个训练样本图像；
以多个训练样本图像中的每个训练样本图像作为输入，将每个训练样本图像对应输出的语义分割结果与训练样本图像的标注结果做比对，基于每个训练样本图像对应输出的语义分割结果与训练样本图像的标注结果的差异训练生成语义分割模型，每个训练样本图像对应的语义分割结果为表征每个训练样本图像中未被遮挡的人脸区域，标注结果是预先在训练样本图像中标注的语义分割结果。
在一种可能的实施方式中，本公开提供的方法中，对获取到的人脸图像进行人脸关键点检测，得到人脸关键点检测结果，基于上述人脸关键点检测结果对人脸图像中的预设部位进行上妆，得到上妆后的人脸图像，包括：
对获取到的图像进行人脸检测，得到人脸区域，获取包含所述人脸区域、且区域面积大于所述人脸区域的区域图像作为人脸图像；
对人脸图像进行人脸关键点检测，确定人脸图像中的人脸关键点；
对人脸图像中包括所述人脸关键点的预设部位进行上妆。
在一种可能的实施方式中，本公开提供的方法中，对人脸图像进行语义分割，得到语义分割结果，基于语义分割结果确定人脸图像中未被遮挡的人脸区域，包括：
基于人脸关键点检测结果对人脸图像进行人脸分割，得到人脸分割结果，基于人脸分割结果确定人脸图像中未被遮挡的人脸区域。
根据本公开实施例的第二方面，提供一种人脸上妆装置，包括：
处理单元，被配置为执行获取到的人脸图像进行人脸关键点检测，得到人脸关键点检测结果，基于人脸关键点检测结果对人脸图像中的预设部位进行上妆，得到上妆后的人脸图像；
确定单元，被配置为执行对人脸图像进行语义分割，得到语义分割结果，基于语义分割结果确定人脸图像中未被遮挡的人脸区域；
修正单元，被配置为执行基于人脸图像中未被遮挡的人脸区域对上妆后的人脸图像进行修正，得到人脸上妆图像。
在一种可能的实施方式中，本公开提供的装置中，修正单元还被配置为：
基于人脸图像中未被遮挡的人脸区域，保留上妆区域中未被遮挡部分的上妆效果，去除上妆区域中被遮挡部分的上妆效果，得到人脸上妆图像，上妆区域为上妆后的人脸图像中包含上妆效果的区域。
在一种可能的实施方式中，本公开提供的装置中，修正单元还被配置为：
确定上妆区域与未被遮挡的人脸区域之间的第一重叠区域，保留第一重叠区域中的上妆效果；
基于人脸图像中未被遮挡的人脸区域，确定人脸图像中被遮挡的人脸区域，并确定上妆区域与被遮挡的人脸区域之间的第二重叠区域，去除第二重叠区域中的上妆效果。
在一种可能的实施方式中，本公开提供的装置中，确定单元还被配置为：
将人脸图像输入预先训练的语义分割模型，根据语义分割模型的输出结果，确定人脸图像中未被遮挡的人脸区域，未被遮挡的人脸区域为人脸图像中除遮挡物区域和背景区域之外的区域。
在一种可能的实施方式中，本公开提供的装置中，确定单元采用以下步骤训练生成语义分割模型：
获取多个训练样本图像；
以多个训练样本图像中的每个训练样本图像作为输入，将每个训练样本图像对应处于的语义分割结果与训练样本图像的标注结果做比对，基于每个训练样本图像对应输出的语义分割结果与训练样本图像的标注结果的差异训练生成语义分割模型，每个训练样本图像对应的语义分割结果为表征每个训练样本图像中未被遮挡的人脸区域，标注结果是预先在训练样本图像中标注的语义分割结果。
在一种可能的实施方式中，本公开提供的装置中，处理单元还被配置为：
对获取到的图像进行人脸检测，得到人脸区域，获取包含所述人脸区域、且区域面积大于所述人脸区域的区域图像作为人脸图像；
对人脸图像进行人脸关键点检测，确定人脸图像中的人脸关键点；
对人脸图像中包括所述人脸关键点的预设部位进行上妆。
在一种可能的实施方式中，本公开提供的装置中，确定单元还被配置为：
基于人脸关键点检测结果对人脸图像进行人脸分割，得到人脸分割结果，基于人脸分割结果确定人脸图像中未被遮挡的人脸区域。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行所述指令，以实现本公开实施例第一方面中任一项所述的基于人脸上妆方法。
根据本公开实施例的第四方面，提供一种计算机程序产品，包括：处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行所述指令，以实现本公开实施例第一方面中任一项所述的基于人脸上妆方法。
根据本公开实施例的第五方面，提供一种存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例第一方面中任一项所述的人脸上妆方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
对获取到的人脸图像进行人脸关键点检测，得到人脸关键点检测结果，基于人脸关键点检测结果对人脸图像中的预设部位进行上妆，得到上妆后的人脸图像，再对人脸图像进行语义分割，得到语义分割结果，并基于语义分割结果确定人脸图像中未被遮挡的人脸区域，最终基于人脸图像中未被遮挡的人脸区域对上妆后的人脸图像进行修正，得到人脸上妆图像。与现有技术中的人脸上妆方法相比，基于人脸图像中未被遮挡的人脸区域对上妆后的人脸图像进行修正，能够去除障碍物对人脸图像中人脸上妆的干扰，使得上妆后的人脸图像更加自然符合用户需求，增强用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据现有技术示出的人脸图像的示意图；
图2是根据现有技术示出的人脸关键点的示意图；
图3是根据现有技术示出的拟合出的唇部位置的示意图；
图4是根据现有技术示出的人脸上妆的上妆效果的示意图；
图5是根据一示例性实施例示出的一种人脸上妆方法的示意流程图；
图6是根据一示例性实施例示出的人脸图像的示意图；
图7是根据一示例性实施例示出的人脸关键点的示意图；
图8是根据一示例性实施例示出的拟合出的唇部位置的示意图；
图9是根据一示例性实施例示出的初步上妆的上妆效果的示意图；
图10是根据一示例性实施例示出的人脸语义分割结果示意图；
图11是根据一示例性实施例示出的最终上妆的上妆效果的示意图；
图12是根据一示例性实施例示出的一种人脸上妆装置的结构示意图；
图13是根据一示例性实施例示出的另一人脸上妆设备的结构示意图；
图14是根据一示例性实施例示出的应用人脸上妆方法的终端的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在目前常见的短视频应用或者相机应用中，为人脸进行上妆(如口红、眼影、腮红等)是一项常见的技术。目前最常见的上妆方案是利用人脸关键点，如嘴唇区域的关键点，拟合出相应的曲线并进行渲染上妆，这些方案相对来说较为成熟，已广泛应用在各个场景当中。
然而，现有技术中，目前最常见的人脸上妆方案均是仅依靠人脸关键点信息实现，如图1-图4所示，现有技术的主要技术方案步骤如下：
(1)对图像进行人脸检测，得到如图1所示的人脸图像。
(2)根据检测出来的人脸图像，进行人脸关键点检测，得到如图2所示的人脸关键点坐标信息。
(3)如图3所示，根据嘴唇，眼睛等区域的关键点信息，拟合出来嘴唇等区域，并进行渲染上妆，生成如图4所示的上妆后的图像。
也就是说，现有技术在识别人脸关键点时，并不能排除遮挡信息的干扰，无法分辨出该关键点是否被其他物体遮挡，也就是说，在存在遮挡物的时候，基于人脸关键点进行的上妆会显得不够逼真与自然。例如，当用户用手遮挡嘴唇的时候，现有的上妆技术会将口红渲染到用户的手上，这显然不能满足用户的要求，影响用户体验。
目前，有关人脸关键点遮挡情况下的上妆，业界还没有相应的产品。鉴于此，本公开实施例提供一种人脸上妆方案，同时利用人脸关键点的信息和人脸语义分割的信息，首先根据人脸关键点信息进行上妆，然后根据人脸分割的语义信息，只保留可见区域(也即未被遮挡区域)的脸部上的妆，将不可见区域的脸部上的妆去除，使得妆容不会显示在遮挡物上，整体上妆效果更加逼真自然，提升了用户的使用体验。
本公开实施例提供的人脸上妆方法，如图5所示，具体技术方案如下。
步骤S1，对获取到的人脸图像进行人脸关键点检测，得到人脸关键点检测结果，基于检测结果对人脸图像中的预设部位进行上妆。
具体实施时，先获取图像，针对图像做人脸检测，根据人脸检测的结果，按照一定比例对图像进行外扩，获得如图6所示的包含人脸的人脸图像，当然，若图像中不包含人脸，则不对该图像进行处理。然后，如图7所示，对包含人脸的人脸图像做人脸关键点检测，并根据如图8所示的人脸关键点的检测结果和预先设置的人脸上妆区域信息，对如图6所示的人脸图像添加上妆效果，上妆后的人脸图像如图9所示。
需要说明的是，预设部位包含人脸上妆方式和人脸上妆区域位置信息，人脸上妆方式例如对人脸的唇部进行唇彩上妆，或者对人脸的眼部进行眼影渲染等，人脸上妆区域位置信息即为对应人脸上妆方式的位置信息，例如选定的人脸上妆方式为对人脸的唇部进行唇彩上妆，则人脸上妆区域位置信息为对应唇部的关键点位置信息。
步骤S2，对人脸图像进行语义分割，得到语义分割结果，基于语义分割结果确定人脸图像中未被遮挡的人脸区域。
具体实施时，基于人脸图像和训练得到的语义分割模型，分割结果如图10所示，为未被遮挡的人脸区域。其中遮挡物和背景均被归为非人脸区域。
具体实施时，语义分割模型通过以下步骤经深度神经网络模型训练得到：
以多个训练样本图像中的每个训练样本图像作为输入，将每个训练样本图像对应输出的语义分割结果与训练样本图像的标注结果做比对，基于每个训练样本图像对应输出的语义分割结果与训练样本图像的标注结果的差异训练生成语义分割模型，使得输出的语义分割结果与标注结果的差异达到需求，其中每个训练样本图像对应的语义分割结果为表征每个训练样本图像中未被遮挡的人脸区域，标注结果是预先在训练样本图像中标注的语义分割结果。其中，训练生成语义分割模型时，可以采用机器学习算法，卷积神经网络(Convolutional Neural Network,CNN)算法等，本公开实施例对此不做限定。
在一种可能实施的方式中，通过检测到的人脸关键点，来划分未被遮挡的人脸区域，例如，当检测到的人脸左眼区域的人脸关键点不足预定数量时，则判定为人脸左眼区域被遮挡。
在一种可能实施的方式中，通过将分割结果中未被遮挡的人脸区域的像素值置为1，其他区域的像素值置为0，得到人脸遮挡信息的掩码图，其掩码图如图10所示。
步骤S3，基于人脸图像中未被遮挡的人脸区域对上妆后的人脸图像进行修正，得到人脸上妆图像。
具体实施时，根据如图10所示的分割结果，将如图9所示的上妆后的人脸图像进行修正，具体修正时，先确定上妆区域与未被遮挡的人脸区域之间的第一重叠区域，以及上妆区域与被遮挡的人脸区域之间的第二重叠区域，然后将上妆后的人脸图像中第二重叠区域中的上妆效果去除，只保留上妆后的人脸图像中第一重叠区域中的上妆效果，得到如图11所示的最终带有上妆效果的人脸上妆图像。
在一种可能实施的方式中，利用人脸遮挡信息的掩码图，保留第一重叠区域上妆效果，去除第二重叠区域的上妆效果。
如图12所示，为本公开实施例提供的一种人脸上妆装置的结构示意图，包括：
处理单元1201，被配置为执行获取到的人脸图像进行人脸关键点检测，得到人脸关键点检测结果，基于人脸关键点检测结果对人脸图像中的预设部位进行上妆，得到上妆后的人脸图像；
确定单元1202，被配置为执行对人脸图像进行语义分割，得到语义分割结果，基于语义分割结果确定人脸图像中未被遮挡的人脸区域；
修正单元1203，被配置为执行基于人脸图像中未被遮挡的人脸区域对上妆后的人脸图像进行修正，得到人脸上妆图像。
在一种可能的实施方式中，本公开提供的装置中，修正单元1203还被配置为：
基于人脸图像中未被遮挡的人脸区域，保留上妆区域中未被遮挡部分的上妆效果，去除上妆区域中被遮挡部分的上妆效果，得到人脸上妆图像，上妆区域为上妆后的人脸图像中包含上妆效果的区域。
在一种可能的实施方式中，本公开提供的装置中，修正单元1203还被配置为：
确定上妆区域与未被遮挡的人脸区域之间的第一重叠区域，保留第一重叠区域中的上妆效果；
基于人脸图像中未被遮挡的人脸区域，确定人脸图像中被遮挡的人脸区域，并确定上妆区域与被遮挡的人脸区域之间的第二重叠区域，去除第二重叠区域中的上妆效果。
在一种可能的实施方式中，本公开提供的装置中，确定单元1202还被配置为：
将人脸图像输入预先训练的语义分割模型，根据语义分割模型的输出结果，确定人脸图像中未被遮挡的人脸区域，未被遮挡的人脸区域为人脸图像中除遮挡物区域和背景区域之外的区域。
在一种可能的实施方式中，本公开提供的装置中，确定单元1202采用以下步骤训练生成语义分割模型：
获取多个训练样本图像；
以多个训练样本图像中的每个训练样本图像作为输入，将每个训练样本图像对应处于的语义分割结果与训练样本图像的标注结果做比对，基于每个训练样本图像对应输出的语义分割结果与训练样本图像的标注结果的差异训练生成语义分割模型，每个训练样本图像对应的语义分割结果为表征每个训练样本图像中未被遮挡的人脸区域，标注结果是预先在训练样本图像中标注的语义分割结果。
在一种可能的实施方式中，本公开提供的装置中，处理单元1201还被配置为：
对获取到的图像进行人脸检测，得到人脸区域，获取包含所述人脸区域、且区域面积大于所述人脸区域的区域图像作为人脸图像；
对人脸图像进行人脸关键点检测，确定人脸图像中的人脸关键点；
对人脸图像中包括所述人脸关键点的预设部位进行上妆。
在一种可能的实施方式中，本公开提供的装置中，确定单元1202还被配置为：
基于人脸关键点检测结果对人脸图像进行人脸分割，得到人脸分割结果，基于人脸分割结果确定人脸图像中未被遮挡的人脸区域。
图13是根据一示例性实施例示出的一种电子设备1300的框图。
处理器1310；
用于存储所述处理器1310可执行指令的存储器1320；
其中，所述处理器1310被配置为执行所述指令，以实现本公开实施例中的人脸上妆方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器1320，上述指令可由设备1300的处理器1310执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本公开实施例中，如图14所示，本公开实施例给出一种应用本公开实施例提供的人脸上妆方法的终端1400，包括：射频(Radio Frequency，RF)电路1410、电源1420、处理器1430、存储器1440、输入单元1450、显示单元1460、摄像头1470、通信接口1480、以及无线保真(Wireless Fidelity，Wi-Fi)模块1490等部件。本领域技术人员可以理解，图14中示出的终端的结构并不构成对终端的限定，本申请实施例提供的终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图14对所述终端1400的各个构成部件进行具体的介绍：
所述RF电路1410可用于通信或通话过程中，数据的接收和发送。特别地，所述RF电路1410在接收到基站的下行数据后，发送给所述处理器1430处理；另外，将待发送的上行数据发送给基站。通常，所述RF电路1410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。
此外，RF电路1410还可以通过无线通信与网络和其他终端通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
Wi-Fi技术属于短距离无线传输技术，所述终端1400通过Wi-Fi模块1490可以连接接入点(Access Point，AP)，从而实现数据网络的访问。所述Wi-Fi模块1490可用于通信过程中，数据的接收和发送。
所述终端1400可以通过所述通信接口1480与其他终端实现物理连接。可选的，所述通信接口1480与所述其他终端的通信接口通过电缆连接，实现所述终端1400和其他终端之间的数据传输。
由于在本申请实施例中，所述终端1400能够实现通信业务，向其他联系人发送信息，因此所述终端1400需要具有数据传输功能，即所述终端1400内部需要包含通信模块。虽然图14示出了所述RF电路1410、所述Wi-Fi模块1490、和所述通信接口1480等通信模块，但是可以理解的是，所述终端1400中存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块)，以进行数据传输。
例如，当所述终端1400为手机时，所述终端1400可以包含所述RF电路1410，还可以包含所述Wi-Fi模块1490；当所述终端1400为计算机时，所述终端1400可以包含所述通信接口1480，还可以包含所述Wi-Fi模块1490；当所述终端1400为平板电脑时，所述终端1400可以包含所述Wi-Fi模块。
所述存储器1440可用于存储软件程序以及模块。所述处理器1430通过运行存储在所述存储器1440的软件程序以及模块，从而执行所述终端1400的各种功能应用以及数据处理，并且当处理器1430执行存储器1440中的程序代码后，可以实现本公开实施例图5、图12中的部分或全部过程。
可选的，所述存储器1440可以主要包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、各种应用程序(比如通信应用)以及人脸识别模块等；存储数据区可存储根据所述终端的使用所创建的数据(比如各种图片、视频文件等多媒体文件，以及人脸信息模板)等。
此外，所述存储器1440可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述输入单元1450可用于接收用户输入的数字或字符信息，以及产生与所述终端1400的用户设置以及功能控制有关的键信号输入。
可选的，输入单元1450可包括触控面板1451以及其他输入终端1452。
其中，所述触控面板1451，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板1451上或在所述触控面板1451附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，所述触控面板1451可以包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给所述处理器1430，并能接收所述处理器1430发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触控面板1451。
可选的，所述其他输入终端1452可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
所述显示单元1460可用于显示由用户输入的信息或提供给用户的信息以及所述终端1400的各种菜单。所述显示单元1460即为所述终端1400的显示系统，用于呈现界面，实现人机交互。
所述显示单元1460可以包括显示面板1461。可选的，所述显示面板1461可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode，OLED)等形式来配置。
进一步的，所述触控面板1451可覆盖所述显示面板1461，当所述触控面板1451检测到在其上或附近的触摸操作后，传送给所述处理器1430以确定触摸事件的类型，随后所述处理器1430根据触摸事件的类型在所述显示面板1461上提供相应的视觉输出。
虽然在图14中，所述触控面板1451与所述显示面板1461是作为两个独立的部件来实现所述终端1400的输入和输入功能，但是在某些实施例中，可以将所述触控面板1451与所述显示面板1461集成而实现所述终端1400的输入和输出功能。
所述处理器1430是所述终端1400的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在所述存储器1440内的软件程序和/或模块，以及调用存储在所述存储器1440内的数据，执行所述终端1400的各种功能和处理数据，从而实现基于所述终端的多种业务。
可选的，所述处理器1430可包括一个或多个处理单元。可选的，所述处理器1430可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到所述处理器1430中。
所述摄像头1470，用于实现所述终端1400的拍摄功能，拍摄图片或视频。所述摄像头1470还可以用于实现终端1400的扫描功能，对扫描对象(二维码/条形码)进行扫描。
所述终端1400还包括用于给各个部件供电的电源1420(比如电池)。可选的，所述电源1420可以通过电源管理系统与所述处理器1430逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
需要说明的是，本公开实施例处理器1430可以执行图13中处理器1310的功能，存储器1440存储处理器1310中的内容。
另外，在示例性实施例中，本公开还提供了一种存储介质，当存储介质中的指令由上述人脸上妆设备的处理器执行时，使得上述人脸上妆设备能够实现本公开实施例中的人脸上妆方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种人脸上妆方法，其特征在于，包括：
对获取到的人脸图像进行人脸关键点检测，得到人脸关键点检测结果，基于所述人脸关键点检测结果对所述人脸图像中的预设部位进行上妆，得到上妆后的人脸图像；
对所述人脸图像进行语义分割，得到语义分割结果，基于所述语义分割结果确定所述人脸图像中未被遮挡的人脸区域；
确定所述上妆后的人脸图像中的上妆区域、与所述人脸图像中未被遮挡的人脸区域之间的第一重叠区域，保留所述第一重叠区域中的上妆效果；所述上妆区域为所述上妆后的人脸图像中包含上妆效果的区域；
基于所述人脸图像中未被遮挡的人脸区域，确定所述人脸图像中被遮挡的人脸区域，并确定所述上妆区域与所述被遮挡的人脸区域之间的第二重叠区域，去除所述第二重叠区域中的上妆效果，得到人脸上妆图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述人脸图像进行语义分割，得到语义分割结果，基于所述语义分割结果确定所述人脸图像中未被遮挡的人脸区域，包括：
将所述人脸图像输入预先训练的语义分割模型，根据所述语义分割模型的输出结果，确定所述人脸图像中未被遮挡的人脸区域，所述未被遮挡的人脸区域为所述人脸图像中除遮挡物区域和背景区域之外的区域。
3.根据权利要求2所述的方法，其特征在于，所述预先训练的语义分割模型采用以下步骤训练生成：
获取多个训练样本图像；
以所述多个训练样本图像中的每个训练样本图像作为输入，将所述每个训练样本图像对应输出的语义分割结果与所述训练样本图像的标注结果做比对，基于所述每个训练样本图像对应输出的语义分割结果与所述训练样本图像的标注结果的差异训练生成所述语义分割模型，所述每个训练样本图像对应的语义分割结果为表征所述每个训练样本图像中未被遮挡的人脸区域，所述标注结果是预先在所述训练样本图像中标注的语义分割结果。
4.根据权利要求1所述的方法，其特征在于，所述对获取到的人脸图像进行人脸关键点检测，得到人脸关键点检测结果，基于上述人脸关键点检测结果对所述人脸图像中的预设部位进行上妆，得到上妆后的人脸图像，包括：
对获取到的图像进行人脸检测，得到人脸区域，获取包含所述人脸区域、且区域面积大于所述人脸区域的区域图像作为人脸图像；
对所述人脸图像进行人脸关键点检测，确定所述人脸图像中的人脸关键点；
对所述人脸图像中包括所述人脸关键点的预设部位进行上妆。
5.根据权利要求1所述的方法，其特征在于，所述对所述人脸图像进行语义分割，得到语义分割结果，基于所述语义分割结果确定所述人脸图像中未被遮挡的人脸区域，包括：
基于所述人脸关键点检测结果对所述人脸图像进行人脸分割，得到人脸分割结果，基于所述人脸分割结果确定所述人脸图像中未被遮挡的人脸区域。
6.一种人脸上妆装置，其特征在于，包括：
处理单元，被配置为执行获取到的人脸图像进行人脸关键点检测，得到人脸关键点检测结果，基于所述人脸关键点检测结果对所述人脸图像中的预设部位进行上妆，得到上妆后的人脸图像；
确定单元，被配置为执行对所述人脸图像进行语义分割，得到语义分割结果，基于所述语义分割结果确定所述人脸图像中未被遮挡的人脸区域；
修正单元，被配置为执行确定所述上妆后的人脸图像中的上妆区域、与所述人脸图像中未被遮挡的人脸区域之间的第一重叠区域，保留所述第一重叠区域中的上妆效果；所述上妆区域为所述上妆后的人脸图像中包含上妆效果的区域；基于所述人脸图像中未被遮挡的人脸区域，确定所述人脸图像中被遮挡的人脸区域，并确定所述上妆区域与所述被遮挡的人脸区域之间的第二重叠区域，去除所述第二重叠区域中的上妆效果，得到人脸上妆图像。
7.根据权利要求6所述的装置，其特征在于，所述确定单元还被配置为：
将所述人脸图像输入预先训练的语义分割模型，根据所述语义分割模型的输出结果，确定所述人脸图像中未被遮挡的人脸区域，所述未被遮挡的人脸区域为所述人脸图像中除遮挡物区域和背景区域之外的区域。
8.根据权利要求7所述的装置，其特征在于，所述确定单元采用以下步骤训练生成语义分割模型：
获取多个训练样本图像；
以所述多个训练样本图像中的每个训练样本图像作为输入，将所述每个训练样本图像对应处于的语义分割结果与所述训练样本图像的标注结果做比对，基于所述每个训练样本图像对应输出的语义分割结果与所述训练样本图像的标注结果的差异训练生成所述语义分割模型，所述每个训练样本图像对应的语义分割结果为表征所述每个训练样本图像中未被遮挡的人脸区域，所述标注结果是预先在所述训练样本图像中标注的语义分割结果。
9.根据权利要求6所述的装置，其特征在于，所述处理单元还被配置为：
对获取到的图像进行人脸检测，得到人脸区域，获取包含所述人脸区域、且区域面积大于所述人脸区域的区域图像作为人脸图像；
对所述人脸图像进行人脸关键点检测，确定所述人脸图像中的人脸关键点；
对所述人脸图像中包括所述人脸关键点的预设部位进行上妆。
10.根据权利要求6所述的装置，其特征在于，所述确定单元还被配置为：
基于所述人脸关键点检测结果对所述人脸图像进行人脸分割，得到人脸分割结果，基于所述人脸分割结果确定所述人脸图像中未被遮挡的人脸区域。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的人脸上妆方法。
12.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述的人脸上妆方法。
CN201910918021.4A 2019-09-26 2019-09-26 一种人脸上妆方法、装置、设备及介质 Active CN110689479B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910918021.4A CN110689479B (zh) 2019-09-26 2019-09-26 一种人脸上妆方法、装置、设备及介质
US17/031,420 US11216644B2 (en) 2019-09-26 2020-09-24 Method, device, and medium for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910918021.4A CN110689479B (zh) 2019-09-26 2019-09-26 一种人脸上妆方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN110689479A CN110689479A (zh) 2020-01-14
CN110689479B true CN110689479B (zh) 2023-05-30

Family

ID=69110394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910918021.4A Active CN110689479B (zh) 2019-09-26 2019-09-26 一种人脸上妆方法、装置、设备及介质

Country Status (2)

Country Link
US (1) US11216644B2 (zh)
CN (1) CN110689479B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613374A (zh) * 2020-12-16 2021-04-06 厦门美图之家科技有限公司 人脸可见区域解析与分割方法、人脸上妆方法及移动终端
CN114399813B (zh) * 2021-12-21 2023-09-26 马上消费金融股份有限公司 人脸遮挡检测方法、模型训练方法、装置及电子设备
CN114299288A (zh) * 2021-12-23 2022-04-08 广州方硅信息技术有限公司 图像分割方法、装置、设备和存储介质
US11837019B1 (en) * 2023-09-26 2023-12-05 Dauntless Labs, Llc Evaluating face recognition algorithms in view of image classification features affected by smart makeup

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679490A (zh) * 2017-09-29 2018-02-09 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
CN108205659A (zh) * 2017-11-30 2018-06-26 深圳市深网视界科技有限公司 人脸遮挡物去除及其模型构建的方法、设备及介质
CN110032912A (zh) * 2018-01-11 2019-07-19 富士通株式会社 人脸验证方法和装置及计算机存储介质
CN110163806A (zh) * 2018-08-06 2019-08-23 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI227444B (en) * 2003-12-19 2005-02-01 Inst Information Industry Simulation method for make-up trial and the device thereof
US11137832B2 (en) * 2012-12-13 2021-10-05 Eyesight Mobile Technologies, LTD. Systems and methods to predict a user action within a vehicle
TW201931179A (zh) * 2017-07-13 2019-08-01 美商美國資生堂公司 用於虛擬面部化妝之移除與模擬、快速面部偵測及標記追蹤、降低輸入視訊之延遲及振動的系統與方法，以及用於建議化妝之方法
EP3698269A4 (en) * 2017-11-22 2020-12-09 Zhejiang Dahua Technology Co., Ltd. IMAGE PROCESSING METHOD AND SYSTEM

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679490A (zh) * 2017-09-29 2018-02-09 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
CN108205659A (zh) * 2017-11-30 2018-06-26 深圳市深网视界科技有限公司 人脸遮挡物去除及其模型构建的方法、设备及介质
CN110032912A (zh) * 2018-01-11 2019-07-19 富士通株式会社 人脸验证方法和装置及计算机存储介质
CN110163806A (zh) * 2018-08-06 2019-08-23 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于神经网络的有遮挡图像分割方法;张国光;《电子科技》;20150515(第05期);全文 *

Also Published As

Publication number Publication date
US20210004569A1 (en) 2021-01-07
US11216644B2 (en) 2022-01-04
CN110689479A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN110689479B (zh) 一种人脸上妆方法、装置、设备及介质
CN110689500B (zh) 一种人脸图像的处理方法、装置、电子设备及存储介质
US11443462B2 (en) Method and apparatus for generating cartoon face image, and computer storage medium
CN108234276B (zh) 一种虚拟形象之间互动的方法、终端及系统
CN107256555B (zh) 一种图像处理方法、装置及存储介质
CN109427083B (zh) 三维虚拟形象的显示方法、装置、终端及存储介质
US9779527B2 (en) Method, terminal device and storage medium for processing image
CN108459799B (zh) 一种图片的处理方法、移动终端及计算机可读存储介质
CN112669197A (zh) 图像处理方法、装置、移动终端及存储介质
CN115375835A (zh) 基于二维关键点的三维模型建立方法、计算机及存储介质
CN111080747B (zh) 一种人脸图像处理方法及电子设备
CN113255396A (zh) 图像处理模型的训练方法及装置、图像处理方法及装置
CN112449098B (zh) 一种拍摄方法、装置、终端及存储介质
CN105513098B (zh) 一种图像处理的方法和装置
CN117455753A (zh) 特效模板生成方法、特效生成方法、装置及存储介质
CN108307041A (zh) 一种根据指纹获取操作指令的方法、移动终端及存储介质
CN108255389B (zh) 图像编辑方法、移动终端及计算机可读存储介质
CN110796096A (zh) 一种手势识别模型的训练方法、装置、设备及介质
CN113469923B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113160099B (zh) 人脸融合方法、装置、电子设备、存储介质及程序产品
CN113139566B (zh) 图像生成模型的训练方法及装置、图像处理方法及装置
CN114463212A (zh) 图像处理方法及装置、电子设备和存储介质
CN114066724A (zh) 图像处理方法、智能终端及存储介质
CN109701272B (zh) 游戏画面的处理方法、装置、移动终端及存储介质
CN113673275B (zh) 一种室内场景布局估计方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant