CN113496459A - 辅助化妆方法、终端设备、存储介质及程序产品 - Google Patents

辅助化妆方法、终端设备、存储介质及程序产品 Download PDF

Info

Publication number
CN113496459A
CN113496459A CN202010251470.0A CN202010251470A CN113496459A CN 113496459 A CN113496459 A CN 113496459A CN 202010251470 A CN202010251470 A CN 202010251470A CN 113496459 A CN113496459 A CN 113496459A
Authority
CN
China
Prior art keywords
makeup
contour
user
area
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010251470.0A
Other languages
English (en)
Inventor
邹韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010251470.0A priority Critical patent/CN113496459A/zh
Priority to US17/916,378 priority patent/US20230154083A1/en
Priority to PCT/CN2021/082920 priority patent/WO2021197186A1/zh
Priority to EP21781902.8A priority patent/EP4116923A4/en
Publication of CN113496459A publication Critical patent/CN113496459A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请适用于通信技术领域,提供了辅助化妆方法、终端设备、存储介质及程序产品方法,该方法包括:显示摄像头采集的用户的人脸图像;获取目标妆容效果图对应的妆容轮廓;从所述人脸图像中识别所述妆容轮廓对应的化妆区域,将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域,以便用户照着妆容轮廓进行化妆。这种基于妆容轮廓的辅助化妆方式,可以在用户化妆过程中给用户提供有效的化妆参考,提高用户的化妆技术,以便用户能够画出与目标妆容效果图接近或相同的妆容。

Description

辅助化妆方法、终端设备、存储介质及程序产品
技术领域
本申请属于通信技术领域,尤其涉及一种辅助化妆方法、终端设备、存储介质及程序产品。
背景技术
化妆是运用化妆品和工具,采取合乎规则的步骤和技巧,对人体的面部、五官及其他部位进行渲染、描画、整理,增强立体印象,调整形色,掩饰缺陷,表现神采,从而达到美化视觉感受的目的。不同的环境、季节以及不同的场合,妆容也会有所不同。
用户通常是对着镜子化妆,例如,画眉毛、画眼影、涂唇膏、腮红等,并根据上妆效果进行修饰和完善。由于化妆本身涉及较多步骤和处理技巧,对于化妆新手来说,在实际操作过程中,即使比着视频教程化妆或者比着妆后图像(即已完成化妆的图像)进行化妆,也很难画出相同或相近的妆容。目前没有有效的方案辅助用户化妆。
发明内容
本申请提供了一种辅助化妆方法、终端设备、存储介质及程序产品,可以解决目前没有有效的方案辅助用户化妆,无法给用户提供化妆参考的问题。
第一方面,本申请提供了一种辅助化妆方法方法,包括:
显示摄像头采集的用户的人脸图像;
获取目标妆容效果图对应的妆容轮廓;
从所述人脸图像中识别所述妆容轮廓对应的化妆区域,将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域,用于辅助所述用户化妆。
需要说明的是,用户是指需要化妆的用户。人脸图像可以是化妆前的素颜图像,也可以是在化妆过程中采集的图像。目标妆容效果图为妆后图像。目标妆容效果图可以是针对整个脸部的妆容效果图,目标妆容效果图可以来自美妆杂志,也可以是用户街拍得到的妆容效果图。终端设备可以采用图像识别技术或相关的图像处理算法从目标妆容效果图中提取出相应的妆容轮廓,还可以从服务器中获取目标妆容效果图对应的妆容轮廓。
可以理解的是,在叠加轮廓的过程中,终端设备可以根据实际需要放大或缩小妆容轮廓,以与用户的五官特点(例如,眉形、眼型、嘴型、脸型)相匹配。终端设备还可以提供相应的入口供用户编辑妆容轮廓或调整妆容轮廓的大小及位置。
本方案中,终端设备可以实时动态获取用户的人脸图像,获取用户选中的目标妆容效果图对应的妆容轮廓,或基于用户的人脸图像,利用人工智能技术以及人脸识别技术向用户推荐目标妆容效果图,并获取目标妆容效果图对应的妆容轮廓;将目标妆容效果图对应的妆容轮廓叠加显示于用户的人脸图像中相应的化妆区域,以便用户照着妆容轮廓进行化妆,这种基于妆容轮廓的辅助化妆方式,可以在用户化妆过程中给用户提供有效的化妆参考,提高用户的化妆技术,以便用户能够画出与目标妆容效果图接近或相同的妆容。
在第一方面的一种可能的实现方式中,所述目标妆容效果图为所述用户选择的妆容效果图。
需要说明的是,手机可以获取用户从用户界面中手动选择的妆容效果图所对应的妆容轮廓,也可以基于用户输入的语音消息获取目标妆容效果图对应的妆容轮廓。
在本方案中,用户可以根据实际需要从用户界面中手动选择需要的目标妆容效果图,终端设备在检测到用户选中的目标妆容效果图,获取目标妆容效果图对应的妆容轮廓。
在第一方面的一种可能的实现方式中,所述用户界面中显示的妆容效果图是终端设备在检测到用户选中目标妆容类型之后,从服务器中获取得到。
在第一方面的一种可能的实现方式中,所述目标妆容效果图为终端设备基于所述人脸图像、利用人工智能技术推荐的妆容效果图。
终端设备向用户智能推荐妆容效果图的数量可以为一个,也可以为至少两个,此处不做限制。
在方案中,终端设备可以利用人工智能技术向用户智能推荐妆容效果图。
在第一方面的一种可能的实现方式中,所述将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域之后,还包括:
检测到所述人脸图像移动;
控制所述妆容轮廓跟随所述人脸图像适应性移动。
在本方案中,由于用户在化妆过程中,脸部位置可能会发生变化,当用户的脸部移动时,终端显示的人脸图像会随着用户的脸部的移动而移动,以使得妆容轮廓始终叠加显示于相应的化妆区域,可以避免用户因转动头部而导致妆容轮廓与相应的化妆区域处于不同位置,从而导致用户无法准确地在相应的化妆区域按妆容轮廓进行化妆的问题。
在第一方面的一种可能的实现方式中,所述将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域之后,还包括:
基于所述人脸图像,对每个所述妆容轮廓对应的妆容进行评估,得到妆容评估结果。
本方案中,为了使用户更准确地画出与妆容效果图相同或相近的妆容,用户对照着任意妆容轮廓进行化妆的过程中,或者在化妆完毕时,终端设备可以对用户的人脸图像中的妆容效果进行评估,以判断当前的妆容是否与目标妆容效果图中的妆容相符,以实现对用户化妆准确性的评估,解决当前的美妆应用对用户的人脸图像的化妆效果没有评估,无法进一步提供修正提示的问题。
在第一方面的一种可能的实现方式中,所述得到妆容评估结果之后,还包括:
当所述人脸图像中任意化妆区域对应的妆容与所述目标妆容效果图中的妆容不符时,基于所述妆容评估结果输出修正提醒信息。
本方案中,在人脸图像中任意化妆区域对应的妆容与所述目标妆容效果图中的妆容不符时,可以输出修正提醒信息,以提示用户修正妆容。
在第一方面的一种可能的实现方式中,所述显示摄像头采集的用户的人脸图像之后,还包括:
获取所述目标妆容效果图对应的化妆指导信息;
相应的,所述将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域之后,还包括:
显示或语音播报所述化妆指导信息。
示例性的,所述化妆指导信息可以用于描述所述目标妆容效果图中的妆容轮廓对应的颜色信息。
在本方案中,目标妆容效果图对应的化妆指导信息,可以帮助用户画出与妆容效果图相同或更相近的妆容。
在第一方面的一种可能的实现方式中,所述对每个所述妆容轮廓对应的妆容进行评估,包括:检测所述人脸图像中每个化妆区域的妆容是否超出所述妆容轮廓,其中,当任一所述化妆区域的妆容超出所述妆容轮廓时,表示所述化妆区域对应的妆容与所述目标妆容效果图中的妆容不符。
本方案中,终端设备可以通过检测人脸图像中每个化妆区域的妆容是否超出妆容轮廓,来确定用户画的妆容是否与妆容效果图中的妆容相符,以实现对用户化妆准确性的评估。
在第一方面的一种可能的实现方式中,所述对每个所述妆容轮廓对应的妆容进行评估,还包括:检测所述人脸图像中的每个所述妆容轮廓内的实际颜色是否与所述目标妆容效果图的每个妆容轮廓内的预设颜色相符,其中,当任一所述化妆区域的妆容超出所述妆容轮廓,或任一所述妆容轮廓内的实际颜色与预设颜色不符时,表示所述化妆区域对应的妆容与所述目标妆容效果图中的妆容不符。
在本方案中,终端设备可以通过检测妆容轮廓内的实际颜色与妆容效果图中各妆容轮廓对应的预设颜色是否相符,从而确定用户画的妆容是否与妆容效果图中的妆容相符,以实现对用户化妆准确性的评估。
在第一方面的一种可能的实现方式中,所述检测所述人脸图像中每个化妆区域的妆容是否超出所述妆容轮廓,包括:
获取所述人脸图像中的每个化妆区域的妆容轮廓外的实际颜色信息,以及获取所述目标妆容效果图中的每个妆容轮廓外的预设颜色信息;
当任一所述化妆区域的妆容轮廓外对应的实际颜色与预设颜色不同时,该化妆区域的妆容超出所述妆容轮廓。
本方案中,终端设备可以通过比较同一化妆区域的妆容轮廓外对应的实际颜色信息以及预设颜色信息,来判断妆容轮廓外的实际颜色与妆容效果图中各妆容轮廓外对应的预设颜色是否相符,可以提高判断结果的准确性。
在第一方面的一种可能的实现方式中,为了更准确地检测妆容轮廓外的实际颜色与妆容效果图中各妆容轮廓外对应的预设颜色是否相符,所述获取所述人脸图像中的每个化妆区域的妆容轮廓外的实际颜色信息,包括:
确定所述人脸图像中的每个所述妆容轮廓对应的轮廓实际区域和轮廓判定区域,所述轮廓实际区域包括妆容轮廓,所述轮廓判定区域是所述轮廓实际区域按预设比例放大之后得到;
获取每个所述妆容轮廓对应的轮廓判定区域中除轮廓实际区域之外的区域的颜色,得到所述妆容轮廓外的实际颜色。
在第一方面的一种可能的实现方式中,所述基于所述妆容评估结果输出修正提醒信息,包括:在所述人脸图像中用醒目颜色标记目标区域,所述目标区域为与所述目标妆容效果图中的妆容不符的化妆区域。
在本方案中,终端设备可以在检测到用户画的妆容超出妆容轮廓时标记该妆容轮廓,在检测到妆容轮廓内的任一区域的实际颜色与相应的预设颜色不符时,标记该区域的妆容颜色,以提醒用户修正,实现了在化妆过程中进行实时指导、实时评估和提醒,以便用户及时修正,使用户尽可能画出与妆容效果图相同的妆容。
在第一方面的一种可能的实现方式中,所述妆容轮廓包括眉妆轮廓、眼影轮廓、腮红轮廓以及唇妆轮廓中的至少一种。
在第一方面的一种可能的实现方式中,所述眼影轮廓和/或腮红轮廓包括多个区域。
示例性的,眉妆轮廓对应的化妆区域为用户的人脸图像中的眉毛区域。眼影轮廓对应的化妆区域可以为眼影区域,眼影区域可以为用户的人脸图像中眼睑所在的位置。唇妆轮廓对应的化妆区域为用户的人脸图像中嘴唇所在的区域,腮红轮廓对应的化妆区域可以为用户的人脸图像中的脸颊区域,也可以为面颊颧骨所在的区域。腮红轮廓对应的化妆区域可以以颧骨最高处(微笑时,以颧骨凸起的地方为中心)为中心的圆形或椭圆形。
第二方面,本申请提供了一种辅助化妆装置,辅助化妆装置可以应用于终端设备,辅助化妆装置包括:
显示单元,用于显示摄像头采集的用户的人脸图像;
获取单元,用于获取目标妆容效果图对应的妆容轮廓;
辅助化妆单元,用于从所述人脸图像中识别所述妆容轮廓对应的化妆区域,将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域,用于辅助所述用户化妆。
在第二方面的一种可能的实现方式中,所述目标妆容效果图为所述用户选择的妆容效果图。
在第二方面的一种可能的实现方式中,所述目标妆容效果图为辅助化妆装置基于所述人脸图像、利用人工智能技术推荐的妆容效果图。
在第二方面的一种可能的实现方式中,辅助化妆装置还可以包括:
检测单元,用于在所述辅助化妆单元将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域之后,检测到所述人脸图像移动;
妆容轮廓调整单元,用于控制所述妆容轮廓跟随所述人脸图像适应性移动。
在第二方面的一种可能的实现方式中,辅助化妆装置还可以包括:
妆容评估单元,用于在所述辅助化妆单元将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域之后,基于所述人脸图像,对每个所述妆容轮廓对应的妆容进行评估,得到妆容评估结果。
在第二方面的一种可能的实现方式中,辅助化妆装置还可以包括:
提醒单元,用于当所述妆容评估结果表示所述人脸图像中任意化妆区域对应的妆容与所述目标妆容效果图中的妆容不符时,基于所述妆容评估结果输出修正提醒信息。
在第二方面的一种可能的实现方式中,所述提醒单元具体用于:在所述人脸图像中用醒目颜色标记目标区域,所述目标区域为与所述目标妆容效果图中的妆容不符的化妆区域。
在第二方面的一种可能的实现方式中,所述获取单元还可以用于:获取所述目标妆容效果图对应的化妆指导信息;
相应的,所述辅助化妆单元在将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域之后,还可以用于:显示或语音播报所述化妆指导信息。
在第二方面的一种可能的实现方式中,所述妆容评估单元可以包括:
第一评估单元,用于检测所述人脸图像中每个化妆区域的妆容是否超出所述妆容轮廓,其中,当任一所述化妆区域的妆容超出所述妆容轮廓时,表示所述化妆区域对应的妆容与所述目标妆容效果图中的妆容不符。
在第二方面的一种可能的实现方式中,所述妆容评估单元还可以包括:
第二评估单元,用于检测所述人脸图像中的每个所述妆容轮廓内的实际颜色是否与所述目标妆容效果图的每个妆容轮廓内的预设颜色相符,其中,当任一所述化妆区域的妆容超出所述妆容轮廓,或任一所述妆容轮廓内的实际颜色与预设颜色不符时,表示所述化妆区域对应的妆容与所述目标妆容效果图中的妆容不符。
在第二方面的一种可能的实现方式中,所述第一评估单元具体用于:
获取所述人脸图像中的每个化妆区域的妆容轮廓外的实际颜色信息,以及获取所述目标妆容效果图中的每个妆容轮廓外的预设颜色信息;
当任一所述化妆区域的妆容轮廓外对应的实际颜色与预设颜色不同时,该化妆区域的妆容超出所述妆容轮廓。
在第二方面的一种可能的实现方式中,所述第一评估单元还用于:
确定所述人脸图像中的每个所述妆容轮廓对应的轮廓实际区域和轮廓判定区域,所述轮廓实际区域包括妆容轮廓,所述轮廓判定区域是所述轮廓实际区域按预设比例放大之后得到;
获取每个所述妆容轮廓对应的轮廓判定区域中除轮廓实际区域之外的区域的颜色,得到所述妆容轮廓外的实际颜色。
在第二方面的一种可能的实现方式中,所述妆容轮廓包括眉妆轮廓、眼影轮廓、腮红轮廓以及唇妆轮廓中的至少一种。
在第二方面的一种可能的实现方式中,所述眼影轮廓和/或腮红轮廓包括多个区域。
在第二方面的一种可能的实现方式中,所述用户界面中显示的妆容效果图是终端设备在检测到用户选中目标妆容类型之后,从服务器中获取得到。
第三方面,本申请提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时使所述终端设备执行上述第一方面的任一种可能的实现方式的辅助化妆方法。第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使得使所述终端设备执行上述第一方面的任一种可能的实现方式的辅助化妆方法。
第五方面,本申请提供了一种计算机程序产品,当所述计算机程序产品在终端设备上运行时,使得所述终端设备执行上述第一方面的任一种可能的实现方式的辅助化妆方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是:通过实时获取用户的人脸图像,获取目标妆容效果图对应的妆容轮廓,将目标妆容效果图对应的妆容轮廓叠加显示于用户的人脸图像中相应的化妆区域,以便用户照着妆容轮廓进行化妆。这种基于妆容轮廓的辅助化妆方式,可以在用户化妆过程中给用户提供有效的化妆参考,提高用户的化妆技术,以便用户能够画出与目标妆容效果图接近或相同的妆容。
附图说明
图1是本申请一实施例提供的一种辅助化妆系统的示意图;
图2是本申请一实施例提供的一种辅助化妆方法的交互图;
图3A-图3D是本申请一实施例提供的一种用户界面图;
图3E是本申请一实施例提供的用户的脸部特征点的示意图;
图3F是本申请一实施例提供的脸型的示意图;
图3G是本申请一实施例提供的眼型的示意图;
图3H是本申请一实施例提供的一种叠加显示眉毛轮廓的图像;
图3I是针对图3H中叠加显示眉毛轮廓的区域进行放大后的图像;
图4是本申请一实施例提供的一种辅助用户化妆的示例图;
图5A是本申请一实施例提供的叠加显示妆容轮廓的图像的示意图;
图5B是本申请一实施例提供的叠加显示眼影轮廓的图像的示意图;
图6是本申请另一实施例提供的叠加显示妆容轮廓的图像的示意图;
图7是本申请实施例提供的辅助化妆装置的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
在日常生活中,用户可以通过终端设备,比如手机,内安装的美妆类的应用程序(Application,App)辅助化妆,主要包括以下方式:
1、描述式辅助化妆:用户通过点击手机App中的预设链接或选项调出一个页面,并在该页面中使用文字或图文结合的方式描述化妆步骤和技巧,用户参照页面显示的化妆步骤和技巧进行化妆。由于手机需要一个单独的页面显示化妆步骤和技巧,手机在显示屏上无法同时显示由摄像头采集的用户的图像以及该页面中的内容,因此,在化妆过程中,用户在查看自己的图像时,无法参考该页面显示的化妆步骤和技巧。
2、对照式辅助化妆:用户在需要化妆时,通过手机App选择需要的妆后图像,用户对照着显示的妆后图像进行化妆。例如,在该手机App的用户界面(User Interface,UI)中显示由摄像头采集到的用户的脸部图像,手机如果检测到用户选中眉妆图像(比如,一字眉),那么将眉妆图像显示于用户的脸部图像中的眉毛附近,以便用户对照着显示的眉妆图像画眉毛。上述辅助化妆的方法主要存在以下问题:
1、对于描述式辅助化妆,是将现有的化妆步骤和技巧集成在手机App中,以方便用户查阅。这种方式在用户化妆过程中指导性不强,用户只能依据感觉来确定应该从什么位置开始化妆,以及具体化到什么位置等,无法有效提升用户的化妆技术,对用户的化妆结果也没有任何提升,对于画不好的妆容依旧画不好。另外,由于手机无法同时显示用户的图像以及该页面中的化妆步骤和技巧,因此,用户在化妆过程中,在查看自己的图像时,需要退出该页面,来回切换页面不方便。
2、对于对照式辅助化妆,用户对照妆后图像进行化妆,这属于静态模仿化妆,用户只能依据感觉来确定应该从什么位置开始化妆,以及具体化到什么位置等,无法对化妆过程进行详细的指导,用户很难画出妆后图像中的妆容,对于画不好的妆容依旧画不好。
综上所述,上述辅助化妆的方法无法给用户提供化妆参考,用户在采用上述方法进行化妆时,只能依据感觉来确定应该从什么位置开始化妆,以及具体化到什么位置等,对于画不好的妆容依旧画不好,用户还是无法画出较满意的妆容。
为了解决上述问题,本申请实施例提供了一种辅助化妆方法,通过妆容效果图对应的妆容轮廓叠加显示于用户的人脸图像中相应的化妆区域,以便用户照着妆容轮廓进行化妆,这种基于妆容轮廓式的辅助化妆方式,可以在用户化妆过程中给用户提供有效的化妆参考,提高用户的化妆技术,以便用户能够画出与用户选择的妆容效果图接近或相同的妆容。为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的辅助化妆方法的具体实现方式作进一步地详细描述。
参见图1,图1是本申请一实施例提供的一种辅助化妆系统的示意图。在图1所示的系统示意图中,包括终端设备100以及服务器200,终端设备100与服务器200之间可以相互通信。终端设备100包括但不限于手机。终端设备100内安装了可以实现辅助化妆的App,例如镜子App。服务器200中保存有妆容模板信息,用于为可以实现辅助化妆的App提供下载妆容模板信息等相关的服务。例如,提供下载妆容模板信息中的妆容效果图的服务。
如图1所示,终端设备100可以包括处理器110,存储器120,天线1,天线2,移动通信模块130,无线通信模块140,音频模块150,扬声器150A,受话器150B,麦克风150C,触摸显示屏160,摄像头170等。
可以理解的是,本申请实施例示意的结构并不构成对终端设备100的具体限定。在本申请另一些实施例中,终端设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。例如,控制器可以获取用户操控终端设备100中安装的用于辅助化妆的App所触发的指令,并执行该指令,从而为用户提供辅助化妆的服务。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。例如,存储器110中可以存储终端设备100从服务器200中下载的妆容模板信息。
终端设备100的无线通信功能可以通过天线1,天线2,移动通信模块130,无线通信模块140,调制解调处理器以及基带处理器等实现。其中,终端设备100可以通过无线通信技术接入互联网,与服务器200进行通信,从服务器200中下载化妆模板信息。
天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块130可以提供应用在终端设备100上的包括2G/3G/4G/5G等无线通信的解决方案。
无线通信模块140可以提供应用在终端设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),等无线通信的解决方案。终端设备100可以通过无线通信模块140接入互联网,与服务器200进行通信。
在一些实施例中,终端设备100的天线1和移动通信模块130耦合,天线2和无线通信模块140耦合,使得终端设备100可以通过无线通信技术与网络以及其他设备通信。例如,终端设备100可以通过无线通信技术与网络以及服务器200进行通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),WLAN等。终端设备100通过GPU,触摸显示屏160,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接触摸显示屏160和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
触摸显示屏160用于显示图像,视频等。触摸显示屏160包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dotlight emitting diodes,QLED)等。在一些实施例中,终端设备100可以包括1个或N个触摸显示屏160,N为大于1的正整数。例如,触摸显示屏160可以用于显示通过摄像头170采集到的用户的脸部图像,用于显示从服务器200中下载的妆容模板信息中所包括的妆容效果图、妆容轮廓,以及用于显示将妆容轮廓叠加至用户的脸部图像之后得到的图像等。
终端设备100可以通过ISP,摄像头170,视频编解码器,GPU,触摸显示屏160以及应用处理器等实现拍摄功能。其中,用户开启终端设备100内的用于辅助化妆的App时,终端设备100可以通过170采集用户的脸部图像。
ISP用于处理摄像头170反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头170中。
摄像头170用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,终端设备100可以包括1个或N个摄像头170,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当终端设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种视频编解码器。这样,终端设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现终端设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
存储器120可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。存储器120可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如音频数据,电话本,化妆模板信息等)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在存储器120的指令,和/或存储在设置于处理器中的存储器的指令,执行终端设备100的各种功能应用以及数据处理。例如,执行与辅助化妆相关的功能和数据处理。
终端设备100可以通过音频模块150,扬声器150A,受话器150B,麦克风150C,以及应用处理器等实现音频功能。例如音乐播放,录音等。再例如,在用户通过具有辅助化妆功能的App进行化妆时,终端设备100还可以通过音频模块150播报化妆指导信息、修正提示信息等。
音频模块150用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块150还可以用于对音频信号编码和解码。在一些实施例中,音频模块150可以设置于处理器110中,或将音频模块150的部分功能模块设置于处理器110中。
扬声器150A,也称“喇叭”,用于将音频电信号转换为声音信号。终端设备100可以通过扬声器150A收听音乐、语音提示信息,或收听免提通话。
受话器150B,也称“听筒”,用于将音频电信号转换成声音信号。当终端设备100接听电话或语音信息时,可以通过将受话器150B靠近人耳接听语音。
麦克风150C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风150C发声,将声音信号输入到麦克风150C。终端设备100可以设置至少一个麦克风150C。在另一些实施例中,终端设备100可以设置两个麦克风150C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,终端设备100还可以设置三个,四个或更多麦克风150C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
如图1所示,服务器200可以是物理服务器或者云服务器,也可以是一个集群,在此不做限定。服务器200可以包括处理器210,存储器220,通信模块230以及数据库240。存储器220可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令,处理器210通过运行存储在存储器220的指令,执行与辅助化妆相关的功能和数据处理。服务器200可以通过通信模块230与终端设备100进行通信,为可实现辅助化妆的App提供相关的服务。数据库240可以用于存储数据,例如,可以用于存储妆容模板库,妆容模板库中可以包括多个妆容模板信息。需要说明的是,在本实施例中,数据库240存在于服务器200中;在一些实施例中,数据库240也可以存在于其他设备中,服务器200可以从其他设备的数据库中获取妆容模板库,从而获取妆容模板库中的妆容模板信息;或者,服务器200也可以从其他设备的数据库中获取妆容模板库中的妆容模板信息。
在介绍了辅助化妆系统之后,下面将结合图2详细介绍辅助用户化妆的具体实现过程。请一并参见图2,图2是本申请一实施例提供的一种辅助化妆方法的交互图。本实施例中,辅助化妆方法可以应用于如图1所示的终端设备,终端设备包括但不限于手机。本实施例中的辅助化妆方法可以辅助用户画眉毛、眼影、腮红、口红等,下面以终端设备为手机、辅助用户画眉毛为例进行详细说明。该辅助化妆方法包括以下步骤:
S101、服务器保存妆容模板信息,妆容模板信息至少包括妆容效果图以及妆容轮廓。
服务器可以将妆容模板信息存储至数据库的妆容模板库。妆容模板信息可以由管理员设置,也可以由服务器基于终端设备上传的妆容效果图生成,此处不做限制。终端设备上传的妆容效果图可以来自美妆杂志、也可以由用户拍摄得到,例如,用户在观看视频、电视剧时所拍摄的妆容效果图,用户街拍的妆容效果图等。妆容模板信息至少包括妆容效果图以及妆容轮廓。
基于终端设备上传的妆容效果图生成妆容模板信息的方法可以为:服务器获取终端设备上传的妆容效果图,基于人脸识别技术识别出妆容效果图中的眼睛、眉毛、嘴巴等部位,并提取眼睛、眉毛、嘴巴等部位的妆容效果图各自对应的妆容轮廓,将妆容效果图及其对应的妆容轮廓关联保存,得到妆容模板信息。
妆容效果图是化妆后的人脸图像。妆容效果图是对样本人脸整体化妆后的图像,或者是对样本人脸的部分区域化妆后的图像。当妆容效果图是对样本人脸整体化妆后的图像时,妆容效果图可以按风格分类,例如日常妆、节日妆(比如,圣诞妆、万圣节妆)、宴会妆等。妆容效果图还可以是管理员还可以针对不同的五官特点设置的不同风格所对应的妆容效果图。
当妆容效果图可以是对样本人像的部分区域化妆后的图像时,按妆容类型进行分类。例如唇妆、眉妆、眼影妆、腮红妆等。妆容效果图可以按妆容类型分为眉妆效果图、眼影妆效果图、唇妆效果图或腮红效果图。每种妆容类型的妆容效果图可以按妆容样式分为多种,也就是说,对于不同的妆容类型还可以包括不同的妆容样式,例如,眉妆样式可以包括“一字眉”、“平眉”、“柳叶眉”等。相应的,眉妆效果图可以包括“一字眉”效果图、“平眉”效果图、“柳叶眉”效果图。
妆容轮廓是指针对不同的妆容类型设置的参考线或参考区域。例如,眉妆轮廓可以为:以眉妆样式对应的眉毛弧度绘制得到的眉毛轮廓,眉毛轮廓包括眉毛的眉头、眉峰、眉尾,眉妆轮廓用于方便用户对着眉妆轮廓描绘眉毛。眼影轮廓可以为:在样本人脸图像中的眼部,通过参考线绘制的需要画眼影的区域。腮红轮廓可以为:在样本人脸图像中的脸部通过参考线绘制的需要打腮红的区域。唇妆轮廓可以为:以样本人脸图像中的嘴唇的形状,通过参考线绘制的需要涂口红的区域。需要说明的是,眼影轮廓、腮红轮廓,可以包括多个区域。
可以理解的是,当妆容效果图是针对脸部的某个部位时,一个妆容效果图对应一个妆容轮廓;当妆容效果图是针对用户的多个部位或整个脸部时,一个妆容效果图对应多个不同的妆容轮廓,例如,一个妆容效果图可以对应眉妆轮廓、眼影轮廓、唇妆轮廓以及腮红轮廓等。眉妆轮廓包括左眉妆轮廓以及右眉妆轮廓,眼影轮廓可以包括左眼影轮廓以及右眼影轮廓。
可选的,妆容模板信息还可以包括化妆指导信息。妆容轮廓以及化妆指导信息均与妆容效果图像关联。
妆容效果图对应的化妆指导信息用于指导用户画出妆容效果图对应的妆容,妆容效果图的化妆指导信息可以包括妆容轮廓对应的颜色信息,还可以包括化妆工具和化妆品的信息等。例如,妆容效果图为眉妆效果图时,眉妆效果图对应的化妆指导信息可以包括用于描述眉妆效果图中眉妆的颜色信息(例如,深黑、棕色),还可以包括画眉妆需要的化妆工具信息和化妆品信息。妆容效果图对应的化妆指导信息可以以文字形式进行显示,也可以以图文结合的形式进行显示,还可以通过语音播报,此处不做限制。
可以理解的是,当眼影轮廓以及腮红轮廓,包括多个区域时,眼影轮廓以及腮红轮廓各自对应的化妆指导信息还包括每个区域对应的颜色信息。
S102、终端设备显示摄像头采集的用户的人脸图像。
用户点击终端设备内具有辅助化妆功能的App的图标,终端设备启动该App,启动摄像头采集用户的人脸图像,并在相应的用户界面上显示采集到的人脸图像。该App可以是用于辅助化妆的App,也可以是增加了辅助化妆功能的已有的App,例如,拍照App、图像处理类App。该App可以是用户下载并安装的,也可以是终端设备内预置的App。
在本实施例中,用户是指需要化妆的用户。人脸图像可以是化妆前的素颜图像,也可以是在化妆过程中采集的图像。通常情况下,化完底妆彩之后,还需要化眼妆(画眉毛、画眼影等)、上腮红、涂口红等,因此,在化妆过程中采集的图像也可以是用户化完底妆之后的图像,用户化完底妆之后的图像是指用户在基础护肤之后,涂完隔离、粉底液、定妆粉之后的图像。
终端设备内置有摄像头时,用户的人脸图像由内置的摄像头采集。当用户自己化妆时,该人脸图像可通过内置的前置摄像头采集。当为别人化妆时,可以通过后置摄像头采集需要化妆的用户的人脸图像。
当与终端设备连接有外置的摄像头时,用户的人脸图像可以由该外置的摄像头采集。S103、终端设备获取目标妆容效果图对应的妆容轮廓。
目标妆容效果图可以是用户选择的妆容效果图,也可以是终端设备基于用户的人脸图像,利用人工智能技术向用户智能推荐的妆容效果图。需要说明的是,手机可以获取用户从用户界面中手动选择的妆容效果图所对应的妆容轮廓,也可以基于用户输入的语音消息获取目标妆容效果图对应的妆容轮廓。
其中,妆容效果图为妆后图像,妆容效果图可以是从终端设备的本地数据库中获取的,当终端设备的本地数据库不存在妆容效果图时,可以从服务器下载妆容模板信息,并获取下载的妆容模板信息中所包括的妆容效果图。需要说明的是,妆容效果图对应的妆容轮廓可以从服务器中下载。终端设备也可以采用图像识别技术或相关的图像处理算法从妆容效果图中提取出妆容轮廓。当用户首次选用某个妆容效果图时,终端设备可以从服务器的妆容模板库中下载该妆容效果图对应的妆容轮廓,并将其保存,以便下次选用。
具体的,终端设备可以在显示用户的人脸图像的用户界面中,显示相应的选项,例如,“智能推荐妆容效果图”和“用户选择妆容效果图”,以便用户从中选择“智能推荐妆容效果图”或“用户选择妆容效果图”。之后,终端设备可以根据用户选中的选项获取目标妆容效果图,并获取目标妆容效果图对应的妆容轮廓。
其中,当用户选中“智能推荐妆容效果图”时,终端可以利用人工智能技术向用户推荐目标妆容效果图,并获取目标妆容效果图对应的妆容轮廓。其中,终端设备向用户智能推荐妆容效果图的数量可以为一个,也可以为至少两个,此处不做限制。
当用户选中“用户选择妆容效果图”时,终端设备可以根据用户选中的选项获取并显示妆容效果图,以便用户从中自行选择需要的目标妆容效果图,终端设备可以在检测到用户选中的目标妆容效果图时,获取目标妆容效果图对应的妆容轮廓。
下面结合附图详细说明终端设备获取目标妆容效果图的具体实现方式。
示例性的,请一并参见图3A~图3D,当用户需要化妆时,用户可以点击如图3A中具有辅助化妆功能的App,例如,镜子App。手机启动镜子App,获取通过手机内置的摄像头采集的用户的人脸图像,并显示如图3B所示的用户界面(User Interface,UI),以便用户从中选择“智能推荐妆容效果图”或“用户选择妆容效果图”。
如果手机检测到用户选中“用户选择妆容效果图”这一选项,那么,手机可以显示如图3C的UI界面,以显示可供用户选择的妆容类型。其中,可选择的妆容类型可以包括眉妆、眼影妆、脸妆、针对整个脸部的整体妆等。手机在检测到用户选中“眉妆”时,可以从用于保存妆容模板信息的本地数据库,获取“眉妆”对应的目标妆容模板信息。手机在本地数据库没有查找到目标妆容模板信息时,可以向服务器发送包含目标妆容类型的请求信息,以从服务器下载目标妆容模板信息,从而获取目标妆容模板信息包含的目标妆容效果图。手机在本地数据库查找到目标妆容模板信息时,不需要再从服务器中下载目标妆容模板信息。
手机在获取到“眉妆”对应的目标妆容模板信息时,可以显示如图3D所示的UI界面,以显示“眉妆”对应的目标妆容模板信息中所包含的眉妆效果图,以便用户从中选中需要的目标眉妆效果图。手机在检测到用户选中如图3D中的“一字眉”时,获取“一字眉”对应的妆容轮廓。
如果手机检测到用户选中“智能推荐妆容效果图”,那么,手机可以显示如图3C的UI界面,以显示可供用户选择的妆容类型。手机在检测到用户选中“眉妆”时,手机可以利用人脸识别技术,从人脸数据库中查找与获取到的用户的人脸图像相似度最高的目标人脸图像,并根据人脸图像与眉妆模板信息之间的预设对应关系,获取与目标人脸图像相对应的目标眉妆模板信息,显示目标眉妆模板信息中包含的目标眉妆效果图,从而实现向用户智能推荐眉妆效果图。当从本地数据库未获取到目标妆容模板信息时,可以发送用户的人脸图像至服务器,以使得服务器在接收到用户的人脸图像之后,可以根据人脸图像与妆容模板信息之间的预设对应关系,从数据库中,获取与S101中所显示的用户的人脸图像相对应的目标妆容模板信息。
需要说明的是,手机在检测到用户选中“智能推荐妆容效果图”时,还可以基于用户的人脸图像,利用人脸识别技术向用户推荐针对整个脸部的整体妆所对应的目标妆容效果图,并获取目标妆容效果图对应的妆容轮廓。
其中,手机向用户推荐针对整个脸部的整体妆所对应的目标妆容效果图,并获取目标妆容效果图对应的妆容轮廓的具体实现方式可以为:采用人脸识别技术对用户的人脸图像进行分析,识别用户的脸部特征点,如图3E所示,识别用户的68个脸部特征点,并根据用户的脸部特征点确定用户的脸部轮廓以及用户的眼睛、嘴巴、鼻子、眉毛等的形状,从而确定用户的五官特点,基于预设的五官特点与妆容效果图之间的预设对应关系,获取与用户的五官特点相匹配的妆容效果图。用户的五官特征包括但不限于用户的脸型、眼型、眉毛形状等。脸型基于人脸图像中的脸部轮廓确定,脸型可以包括但不限于如图3F所示的瓜子脸、圆脸、国字脸。眼型是根据眼睛形状确定,眼型包括但不限于如图3G所示的桃花眼、柳叶眼、杏眼、丹凤眼。
可选地,为了便于用户画出与妆容效果图相同或更相近的妆容,终端设备还可以从服务器下载并保存目标妆容效果图对应的化妆指导信息。化妆指导信息可以用于描述目标妆容效果图中每个妆容轮廓对应的颜色信息。例如,眉妆轮廓对应的化妆指导信息用于描述:眉尾的颜色比眉头的颜色较浅。
需要说明的是,眉妆轮廓可以划分为两个区域,眉峰可以位于两个区域的交界处,眉妆轮廓对应的化妆指导信息用于描述:包括眉毛起点的区域的颜色比包括眉毛终点的区域的颜色深。
S104、从所述人脸图像中识别所述妆容轮廓对应的化妆区域,并将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域,用于辅助所述用户化妆。
终端设备采用人脸识别技术对用户的人脸图像进行分析,识别用户的脸部特征点,例如,图3E所示的68个脸部特征点,并基于识别出的脸部特征点识别出用户的人脸图像中的脸部轮廓、眉毛、眼睛、嘴巴、鼻子、脸颊等。之后,根据妆容轮廓确定妆容轮廓对应的化妆区域,之后将妆容轮廓叠加至每个妆容轮廓对应的化妆区域,并显示叠加妆容轮廓后的人脸图像,以便用户对照着叠加妆容轮廓后的人脸图像进行化妆,此时用户相当于对着镜子呈现的图像进行化妆。例如,采用相应的化妆品按叠加后的妆容轮廓在脸部描边或在妆容轮廓内填入不同的颜色。
可以理解的是,在叠加轮廓的过程中,终端设备可以根据实际需要放大或缩小妆容轮廓,以与用户的五官特点(例如,眉形、眼型、嘴型、脸型)相匹配。终端设备还可以提供相应的入口供用户编辑妆容轮廓或调整妆容轮廓的大小及位置。
其中,眉妆轮廓对应的化妆区域为用户的人脸图像中的眉毛区域。眼影轮廓对应的化妆区域可以为眼影区域,眼影区域可以为用户的人脸图像中眼睑所在的位置。唇妆轮廓对应的化妆区域为用户的人脸图像中嘴唇所在的区域,腮红轮廓对应的化妆区域可以为用户的人脸图像中的脸颊区域,也可以为面颊颧骨所在的区域。腮红轮廓对应的化妆区域可以以颧骨最高处(微笑时,以颧骨凸起的地方为中心)为中心的圆形或椭圆形。
示例性的,在S103中获取到的妆容轮廓为眉妆轮廓时,终端设备采用人脸识别技术先识别出用户的人脸图像中眉毛区域,并识别出眉毛区域中眉毛的眉头、眉尾,之后,基于用户的人脸图像中的眉头所在的位置、眉尾所在的位置,将“一字眉”对应的眉妆轮廓适应性叠加显示于用户的人脸图像中眉毛所在的区域,叠加眉毛轮廓至用户的人脸图像的效果图如图3H所示。终端设备在将叠加眉毛轮廓至用户的人脸图像的眉毛所在区域之后,还可以如图3I所示,放大显示叠加眉毛轮廓后的区域,以便用户对着叠加眉妆轮廓后的人脸图像画眉妆,例如,采用眉笔或眉粉按眉妆轮廓描边,以及在眉妆轮廓内上色。其中,终端设备可以将眉妆轮廓中的眉头固定于用户的人脸图像中眉头所在的位置,将眉妆轮廓中的眉尾固定于用户的人脸图像中眉尾所在的位置,或者将眉妆轮廓中的眉尾固定于用户的人脸图像中眉尾的延长线所在的位置。
识别出用户的人脸图像中的眉头、眉尾的方法具体为:终端设备可以基于眼角所在的第一位置、鼻翼所在的第二位置,确定一条直线,将该直线与眉毛的交点识别为眉头;基于眼尾所在的第三位置以及鼻翼所在的第二位置确定一条直线,并将该直线与眉毛的交点识别为眉尾。
需要说明的是,终端设备检测到用户在画眉妆时,可以语音播报眉妆轮廓对应的化妆指导信息。或者,在用户界面中显示眉妆对应的化妆指导信息。在检测到用户画完眉妆时,隐藏眉妆对应的化妆指导信息。
上述方案,终端设备可以获取用户的人脸图像,获取用户选中的目标妆容效果图对应的妆容轮廓,或基于用户的人脸图像,采用人工智能技术以及人脸识别技术向用户推荐目标妆容效果图,并获取目标妆容效果图对应的妆容轮廓;将目标妆容效果图对应的妆容轮廓叠加显示于用户的人脸图像中相应的化妆区域,以便用户照着妆容轮廓进行化妆,这种基于妆容轮廓式的辅助化妆方式,可以在用户化妆过程中给用户提供有效的化妆参考,提高用户的化妆技术,以便用户能够画出与用户选择的妆容效果图接近或相同的妆容。
可选的,由于用户在化妆过程中,脸部位置可能会发生变化,当用户的脸部移动时,终端显示的人脸图像会随着用户的脸部的移动而移动。为了避免用户因转动头部而导致妆容轮廓与相应的化妆区域处于不同位置,从而导致用户无法准确地在相应的化妆区域按妆容轮廓进行化妆的问题。在S104之后,还可以包括S105:检测到用户的人脸图像移动,控制所述妆容轮廓跟随所述人脸图像适应性移动。
当检测到用户的人脸图像移动时,手机可以控制叠加显示于人脸图像的妆容轮廓跟随着用户的人脸图像适应性移动,以保证妆容轮廓始终叠加显示于相应的化妆区域。
具体的,移动终端在将妆容轮廓叠加显示于用户的人脸图像中相应的化妆区域之后,采用人脸识别技术以及人脸跟踪技术检测人脸图像是否发生变化。具体的,可以对比相邻两个时刻获取到的人脸图像中,同一个脸部特征点的位置是否发生改变,来判断用户的人脸图像是否发生变化。其中,当相邻两个时刻获取到的人脸图像中,同一个脸部特征点的位置不同时,用户的人脸图像发生变化,人脸图像已移动;当同一个脸部特征点的位置相同时,用户的人脸图像没有发生变化,人脸图像未移动。终端设备在确认用户的人脸图像移动时,按照S104中的方法重新确定妆容轮廓对应的化妆区域,并将每个妆容轮廓叠加至每个妆容轮廓对应的化妆区域,具体请参阅S104中的相关描述,此处不赘述。例如,手机通过人脸识别技术检测到用户的人脸图像中如图3E中脸部特征点37~46中的某个特征点在第一时刻所处的位置与第二时刻所处的位置不同时,判定用户的人脸图像的位置发生变更,此时,重新识别眉毛区域,并将“一字眉”对应的眉妆轮廓叠加显示于重识别的眉毛区域。
可选的,为了使用户更准确地画出与妆容效果图相同的妆容,用户对照着任意妆容轮廓进行化妆的过程中,或者在化妆完毕时,终端设备可以对用户的人脸图像中的妆容效果进行评估,以判断当前的妆容是否与S103中确定的目标妆容效果图中的妆容相符,以解决当前的美妆应用对用户的人脸图像的化妆效果没有评估,无法提供修正提示的问题。具体的,在S104或S105之后,还可以包括S106~S107。
S106、基于用户的人脸图像,对每个妆容轮廓对应的妆容进行评估,得到妆容评估结果。
S107、当人脸图像中任意化妆区域对应的妆容与目标妆容效果图中的妆容不符时,还可以基于妆容评估结果输出修正提醒信息。
终端设备可以在用户化妆的过程中自动启动妆容评估,也可以在检测到用户通过该App的用户界面触发妆容评估请求时启动妆容评估。例如,终端设备在检测到用户点击显示于该App的用户界面的“评估修正按钮”时启动妆容评估。
终端设备获取用户在化妆过程中的人脸图像,并检测人脸图像中每个化妆区域的妆容是否超出妆容轮廓,还可以检测每个妆容轮廓内的实际颜色是否与目标妆容效果图的每个妆容轮廓内对应的预设颜色相符。当检测到用户画的妆容均未超过妆容轮廓,且妆容轮廓内的实际颜色与预设颜色相符时,认为当前的妆容与目标妆容效果图中的妆容相符。当检测到用户画的妆容超出任一妆容轮廓,或任一妆容轮廓内的实际颜色与预设颜色不相符时,认为当前的妆容与目标妆容效果图中的妆容不符,终端设备可以基于妆容评估结果输出相应的提示信息,和/或,修改方案,以便用户修改。通过不断地修正妆容可逐步逼近目标妆容效果图中的妆容。
检测人脸图像中每个化妆区域的妆容是否超出妆容轮廓的方法可以为:获取用户的人脸图像中各个化妆区域的妆容轮廓外的实际颜色信息,以及获取目标妆容效果图中妆容轮廓外的预设颜色信息,分别比较同一个妆容轮廓外的实际颜色信息以及预设颜色信息。当同一个妆容轮廓外的实际颜色信息以及预设颜色信息相符时,人脸图像中该化妆区域的妆容未超出妆容轮廓;当同一个妆容轮廓外的实际颜色信息以及预设颜色信息不符时,人脸图像中该化妆区域的妆容超出妆容轮廓。
实际颜色信息以及预设颜色信息可以是具体的颜色值,也可以是颜色值范围,颜色值通常用三基色(RGB)值表示。当同一个妆容轮廓外的预设颜色信息是具体的颜色值时,如果实际颜色值以及预设颜色值相同,那么该妆容轮廓外的实际颜色信息以及预设颜色信息相符;如果实际颜色值以及预设颜色值不同,那么该妆容轮廓外的实际颜色信息以及预设颜色信息不符。
当同一个妆容轮廓外的预设颜色信息是具体的颜色值范围时,如果同一个妆容轮廓外的实际颜色值或实际颜色值范围属于预设颜色值范围,认为该妆容轮廓外的实际颜色信息以及预设颜色信息相符;否则,认为该妆容轮廓外的实际颜色信息以及预设颜色信息不符。同一个妆容轮廓外的实际颜色值或实际颜色值范围由妆容轮廓外的各像素点的实际颜色值确定。
在一种可能的实现方式中,获取人脸图像中各个化妆区域的妆容轮廓外的实际颜色信息可以具体为:确定每个妆容轮廓对应的轮廓实际区域和轮廓判定区域,轮廓实际区域包括妆容轮廓,轮廓判定区域是轮廓实际区域按预设比例放大之后得到。将每个妆容轮廓对应的轮廓判定区域中除轮廓实际区域之外的区域的颜色作为该妆容轮廓外的实际颜色。
例如,请一并参见图4,图4是本申请一实施例中提供的一种辅助用户化妆的示例图。图4示出了眉妆轮廓对应的轮廓实际区域和轮廓判定区域,轮廓判定区域中除轮廓实际区域之外的区域为当前获取到的人脸图像的实际肤色区域,实际肤色区域对应的颜色即为眉妆轮廓外的实际颜色。
检测每个妆容轮廓内的颜色是否与目标妆容效果图的每个妆容轮廓对应的颜色相符的方法可以具体为:获取人脸图像中各个化妆区域的妆容轮廓内的实际颜色信息,以及获取目标妆容效果图中妆容轮廓内的预设颜色信息,分别比较同一个妆容轮廓内的实际颜色信息以及预设颜色信息,以判断同一个妆容轮廓内的实际颜色信息以及预设颜色信息是否相符。判断妆容轮廓内的实际颜色信息以及预设颜色信息是否相符的方法,与前文中判断妆容轮廓外的实际颜色信息以及预设颜色信息是否相符的方法相同,此处不赘述。
下面结合具体的应用场景说明终端设备如何进行妆容评估以及如何基于妆容评估结果给出修正提醒:
示例性的,用户在画眉妆的过程中,手机通过“一字眉”对应的眉妆轮廓内的RGB预设值以及眉毛区域的RGB实际值,检测用户画的眉毛是否超出叠加显示的眉妆轮廓,还可以检测眉妆轮廓内的颜色是否为用户选择的“一字眉”对应的眉毛颜色相符。手机在检测到用户画的眉毛超出眉妆轮廓,或者用户画的眉妆的实际颜色与“一字眉”对应的预设颜色不同时,输出相应提示信息以及修改方案,以提示用户修改眉妆,保证用户画出的眉型为“一字眉”,并且画的眉妆的颜色与预设颜色相同,避免用户画的眉妆过浓、过长或眉型不符的情况发生。
其中,当用户画的眉毛超出眉妆轮廓时,还可以进一步确定超出眉妆轮廓的像素点的位置信息(该位置信息可以为像素坐标),从而进一步根据超出眉妆轮廓的像素点的位置信息判断用户绘制的眉毛是否存在过长、过粗、绘制的眉峰过高或过低等问题,以根据具体情况输出相应的提醒信息。比如,当用户画的眉毛超过眉妆轮廓的终点时,判定用户画的眉毛超出眉毛过长,此时可以用显目颜色标记眉妆轮廓的终点,以提醒用户绘制的眉毛过长,还可以语音提醒用户画的眉毛过长。当检测到叠加显示于人脸图像中的眉妆轮廓周围的像素点的颜色比眉毛外围(例如额头)的像素点的颜色深时,判定用户绘制的眉毛过粗,可以用显目颜色标记整个眉妆轮廓,语音提醒用户画的眉毛过粗。当检测到用户画的眉毛的最高点超出眉妆轮廓时,判定用户画的眉峰过高,可以用醒目颜色标记眉妆轮廓的眉峰(眉峰是指眉毛的最高点)。当检测到用户画的眉毛在眉妆轮廓内,且用户画的眉毛的最高点(即眉妆轮廓内的最高点)与眉妆轮廓的最高点之间的距离大于预设距离阈值时,判定用户画的眉峰过低,可以用醒目颜色标记用户画的眉峰。
当用户画的眉毛未超出眉妆轮廓时,终端设备还可以比较眉妆轮廓对应的第一弧度与用户画的眉毛对应的第二弧度是否相同或近似相同,当第一弧度和第二弧度相同或近似相同时,判定用户画的眉毛的形状与眉妆效果图中的眉毛的形状相符。当用户画的眉毛未超出眉妆轮廓,且眉妆轮廓内的实际颜色与眉妆轮廓对应的预设颜色相符时,判定用户画的眉妆与眉妆效果图中的眉妆相符。第一弧度和第二弧度近似相同是指两者之间的弧度差值在预设的误差范围内。
上述方案,终端设备获取用户在化妆过程中的人脸图像,并对该人脸图像中叠加的妆容轮廓内外的颜色进行识别,从而检测用户画的妆容是否超出妆容轮廓,以及检测妆容轮廓内的实际颜色与妆容效果图中各妆容轮廓对应的预设颜色是否相符,从而确定用户画的妆容是否与目标妆容效果图中的妆容相符,以实现对用户化妆准确性的评估。
终端设备还可以在检测到用户画的妆容超出妆容轮廓时标记该妆容轮廓,在检测到妆容轮廓内的任一区域的实际颜色与相应的预设颜色不符时,标记该区域的妆容颜色,以提醒用户修正,实现了在化妆过程中进行实时指导、实时评估和提醒,以便用户及时修正,使用户尽可能画出与妆容效果图相同的妆容。
上文以辅助用户画眉妆为例详细介绍了辅助用户化妆的具体实现过程,下面介绍辅助用户画唇妆、画腮红妆以及眼影妆的方法。
需要说明的是,本申请实施例中,辅助用户画唇妆、腮红妆以及眼影妆的方法,与辅助用户画眉毛的方法,除了在用户的人脸图像上叠加显示目标妆容效果图对应的妆容轮廓的方法稍有差异之外,其他实现过程均类似,类似地方请具体请参见辅助用户画眉毛的相关描述,此处不赘述。
在辅助用户画唇妆、腮红妆以及眼影妆时,在用户的人脸图像上叠加显示目标妆容效果图对应的妆容轮廓的方法如下:
终端设备在获取到目标唇妆效果图对应的妆容轮廓为唇妆轮廓时,可以将用户的人脸图像中左嘴角对应的特征点、以及将人脸图像中右嘴角对应的特征点作为基准点,将唇妆轮廓叠加至人脸图像中嘴巴所在的位置,以便用户对着叠加唇妆轮廓后的人脸图像,采用口红或唇彩按唇妆轮廓描边,以及在唇妆轮廓内上色。
终端设备在获取到目标眼影效果图对应的妆容轮廓为眼影轮廓时,由于在画眼影时需要在上眼睑从睫毛根部开始向上晕染至超出双眼皮褶皱1~2毫米的位置,以及需要在下眼睑从睫毛根部开始向下晕染,因此,终端设备可以根据睫毛所在位置以及双眼皮褶皱出的位置确定眼影轮廓对应的化妆区域(即眼影区域),并将眼影轮廓叠加至眼影轮廓对应的化妆区域,以便用户对着叠加眼影轮廓后的人脸图像,在眼影轮廓内涂眼影。
终端设备在获取到目标腮红效果图对应的妆容轮廓为腮红轮廓时,终端设备可以将人脸图像中面颊颧骨的最高处作为中心点,以该中心点为基准将腮红轮廓叠加至人脸图像中,使得腮红轮廓的中心点位于人脸图像面颊颧骨的最高处,以便用户对着叠加腮红轮廓后的人脸图像,用刷子在腮红轮廓内画腮红。
需要说明的是,目标腮红效果图对应的腮红轮廓可以包括一个腮红区域,也可以包括至少两个腮红区域。例如,如图5A所示,叠加至用户的人脸图像上的腮红轮廓包括5个腮红区域。腮红轮廓对应的化妆指导信息可以用于描述:腮红轮廓包括的各个腮红区域对应的腮红颜色。腮红轮廓也可以包括一个中间区域和至少一个外围区域,腮红轮廓对应的化妆指导信息可以用于描述:中间区域的腮红颜色比外围区域的腮红颜色深;腮红轮廓对应的化妆指导信息还可以用于描述:中间区域对应的腮红颜色以及外围区域对应的腮红颜色。
需要说明的是,目标眼影效果图对应的眼影轮廓可以包括多个眼影区域。终端设备在获取到眼影效果图对应的化妆指导信息后,终端设备在显示获取到的眼影轮廓时,还可以在眼影轮廓附近显示目标眼影效果图对应的化妆指导信息。
例如,在一种可能的实现方式中,如图5B所示,终端设备可以将获取到的眼影轮廓叠加显示于用户的眼部区域,眼影轮廓包括4个区域,显示的化妆指导信息为眼影盘示意图,眼影盘示意图中标记了每个眼影轮廓中每个区域对应的眼影颜色。
在另一种可能的实现方式中,眼影轮廓也可以包括3个区域,眼影轮廓对应的化妆指导信息用于描述:从眼角到眼尾,眼影颜色逐渐加深,眼角所在区域的眼影颜色最浅,眼尾所在区域的眼影颜色最深。当这3个区域由2条水平线段划分得到时,眼影轮廓对应的化妆指导信息用于描述:从下到上眼影颜色逐渐变浅,即距离睫毛最近的区域眼影颜色最深,距离睫毛最远的区域眼影颜色最浅。眼影轮廓对应的化妆指导信息用于描述:每个眼影区域对应的色号。眼影轮廓对应的化妆指导信息可以以图文结合的方式描述眼影颜色所属的色系,以及每个区域对应的色号。例如,当眼影颜色所属的色系为大地色系时,眼影轮廓包括的3个区域对应的色号可以分别为浅棕色、棕色以及褐色。例如,如图3所示的右眼影轮廓对应的化妆指导信息可以是,眼影区域的颜色从左到右依次为浅棕色、棕色以及褐色。
可以理解的是,在本实施例中眼影轮廓划分为3个区域或4个区域,在其他实施例中可以划分为2个区域或更多区域,具体可根据实际情况设置,此处不做限制。
需要说明的是,当目标妆容效果图对应的妆容轮廓包括多个区域时,本申请中辅助用户画眼影妆和画腮红妆的方法与辅助用户画眉妆,在S106中对妆容轮廓对应的妆容进行评估时,终端设备需要检测每个妆容轮廓的各个区域内的颜色信息是否分别与妆容效果图的每个妆容轮廓的各个区域对应的颜色相符。当某个妆容轮廓的所有区域的实际颜色与预设颜色均相符时,该妆容轮廓内的颜色与妆容效果图中的该妆容轮廓对应的颜色相符。当某个妆容轮廓的任意区域的实际颜色与预设颜色不符时,该妆容轮廓的实际颜色与妆容效果图中的该妆容轮廓对应的颜色不符。
在S107中,基于妆容评估结果输出修正提醒信息的方法可以具体为:当任意化妆区域的妆容超出相对应的妆容轮廓时,可以用颜色标记该妆容轮廓或该化妆轮廓的某个部分,以提示用户修正该妆容轮廓对应的妆容。当任意妆容轮廓内的任意区域的实际颜色与妆容效果图的妆容轮廓对应的预设颜色不符时,可以用显目颜色标记该区域。终端设备还可以通过语音提醒用户哪个位置超出妆容轮廓,以及提醒用户哪个区域的实际颜色与预设颜色不符。终端设备输出修正提醒信息之后,用户基于该修正提醒信息不断修正,以使修正后的妆容逐步逼近妆容效果图中的妆容,最终画出与妆容效果图中的妆容相同的妆容。
下面详细说明终端设备在辅助用户画眼影妆和画腮红妆时,如何进行妆容评估以及如何基于妆容评估结果给出修正提醒:当化妆区域为眼影区域时,终端设备基于用户的人脸图像,检测用户在眼影区域画的眼影是否超出叠加显示的眼影轮廓,还可以检测用户画的眼影的颜色是否与眼影轮廓对应的颜色相符。当在人脸图像中检测到用户画的眼影超出显示的眼影轮廓时,可以通过语音提醒用户,也可以用醒目颜色标记眼影轮廓,还可以确定超出眼影轮廓的像素点的位置信息,并基于该像素点的位置信息用醒目颜色标记靠近该像素点附近的眼影轮廓,方便用户修正。
其中,假设眼影轮廓包括3个区域,第一区域对应浅棕色、第二区域对应棕色、第三区域对应褐色,眼影妆容效果图中显示有每个区域的预设颜色,终端设备可以将人脸图像中叠加显示的眼影轮廓的第一区域的图像与眼影妆容效果图中第一区域的图像进行比较,从而确定人脸图像中眼影轮廓的第一区域的实际颜色与眼影妆容效果图中第一区域的预设颜色是否相同。按照同样的方法分别确定第二区域和第三区域分别对应的实际颜色和预设颜色是否相同。当眼影轮廓的第一区域中的任意像素点的实际颜色与第一区域对应的预设颜色不同时,用醒目颜色标记该像素点,以便用户修改。
终端设备还可以获取人脸图像中眼影轮廓的每个区域的RGB实际值,以及获取眼影妆容效果图中每个区域的RGB预设值或RGB预设范围,分别将每个区域对应的RGB实际值与每个区域对应的RGB预设值或RGB预设范围进行比较,从而确定每个区域对应的RGB实际值是否与其对应的RGB预设值相同,或者确定每个区域对应的RGB实际值是否属于其对应的RGB预设范围。当眼影轮廓的每个区域的RGB实际值与其对应的RGB预设值相同,或者眼影轮廓的每个区域的RGB实际值属于各自对应的RGB预设范围时,认为眼影轮廓内的实际颜色与预设颜色相符,即用户画的眼影的颜色与眼影轮廓对应的颜色相符。
当化妆区域为腮红区域时,终端设备基于用户的人脸图像,检测用户在腮红区域画的眼影是否超出叠加显示的腮红轮廓,还可以检测用户画的腮红的颜色是否与腮红轮廓对应的颜色相符。腮红区域的具体检测方法与眼影区域的检测方法类似,此处不赘述。
可以理解的是,在本实施例中各妆容轮廓的形状可根据实际情况设置,还可以根据实际需要将各妆容轮廓划分为多个区域,此处不做限制。
需要说明的是,终端设备在获取到针对用户的整个脸部的目标妆容效果图时,目标妆容效果图对应的妆容轮廓可以包括眉妆轮廓、眼影轮廓以及腮红轮廓,将目标妆容效果图对应的妆容轮廓适应性叠加至用户的人脸图像之后的图像,可以如图6所示,以辅助用户画整体妆。辅助用户画整体妆的方法与辅助用户画眉妆、画眼影妆、画腮红妆等方法类似,具体实现过程请参阅前文相关的描述,此处不赘述。
上述方案,终端设备获取用户在化妆过程中的人脸图像,并该人脸图像中叠加的妆容轮廓内外的颜色进行识别,从而检测用户画的妆容是否超出妆容轮廓,以及检测妆容轮廓内的实际颜色与妆容效果图中各妆容轮廓对应的预设颜色是否相符,从而确定用户画的妆容是否与妆容效果图中的妆容相符,以实现对用户化妆准确性的评估。
终端设备还可以在检测到用户画的妆容超出妆容轮廓时标记该妆容轮廓,在检测到妆容轮廓内的任一区域的实际颜色与相应的预设颜色不符时,标记该区域的妆容颜色,以提醒用户修正,实现了在化妆过程中进行实时指导、实时评估和提醒,以便用户及时修正,使用户尽可能画出与妆容效果图相同的妆容。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的辅助化妆方法,图7示出了本申请实施例提供的辅助化妆装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图7,该辅助化妆装置包括:
显示单元710,用于显示摄像头采集的用户的人脸图像;
获取单元720,用于获取目标妆容效果图对应的妆容轮廓;
辅助化妆单元730,用于从所述人脸图像中识别所述妆容轮廓对应的化妆区域,将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域,用于辅助所述用户化妆。
在一种可能的实现方式中,所述目标妆容效果图为所述用户选择的妆容效果图。
在一种可能的实现方式中,所述目标妆容效果图为辅助化妆装置基于所述人脸图像、利用人工智能技术推荐的妆容效果图。
在一种可能的实现方式中,辅助化妆装置还可以包括:
检测单元,用于在所述辅助化妆单元将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域之后,检测到所述人脸图像移动;
妆容轮廓调整单元,用于控制所述妆容轮廓跟随所述人脸图像适应性移动。
在一种可能的实现方式中,辅助化妆装置还可以包括:
妆容评估单元,用于在所述辅助化妆单元将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域之后,基于所述人脸图像,对每个所述妆容轮廓对应的妆容进行评估,得到妆容评估结果。
在一种可能的实现方式中,辅助化妆装置还可以包括:
提醒单元,用于当所述妆容评估结果表示所述人脸图像中任意化妆区域对应的妆容与所述目标妆容效果图中的妆容不符时,基于所述妆容评估结果输出修正提醒信息。
在一种可能的实现方式中,所述提醒单元具体用于:在所述人脸图像中用醒目颜色标记目标区域,所述目标区域为与所述目标妆容效果图中的妆容不符的化妆区域。
在一种可能的实现方式中,所述获取单元还可以用于:获取所述目标妆容效果图对应的化妆指导信息;
相应的,所述辅助化妆单元在将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域之后,还可以用于:显示或语音播报所述化妆指导信息。
在一种可能的实现方式中,所述妆容评估单元可以包括:
第一评估单元,用于检测所述人脸图像中每个化妆区域的妆容是否超出所述妆容轮廓,其中,当任一所述化妆区域的妆容超出所述妆容轮廓时,表示所述化妆区域对应的妆容与所述目标妆容效果图中的妆容不符。
在一种可能的实现方式中,所述妆容评估单元还可以包括:
第二评估单元,用于检测所述人脸图像中的每个所述妆容轮廓内的实际颜色是否与所述目标妆容效果图的每个妆容轮廓内的预设颜色相符,其中,当任一所述化妆区域的妆容超出所述妆容轮廓,或任一所述妆容轮廓内的实际颜色与预设颜色不符时,表示所述化妆区域对应的妆容与所述目标妆容效果图中的妆容不符。
在一种可能的实现方式中,所述第一评估单元具体用于:
获取所述人脸图像中的每个化妆区域的妆容轮廓外的实际颜色信息,以及获取所述目标妆容效果图中的每个妆容轮廓外的预设颜色信息;
当任一所述化妆区域的妆容轮廓外对应的实际颜色与预设颜色不同时,该化妆区域的妆容超出所述妆容轮廓。
在一种可能的实现方式中,所述第一评估单元还用于:
确定所述人脸图像中的每个所述妆容轮廓对应的轮廓实际区域和轮廓判定区域,所述轮廓实际区域包括妆容轮廓,所述轮廓判定区域是所述轮廓实际区域按预设比例放大之后得到;
获取每个所述妆容轮廓对应的轮廓判定区域中除轮廓实际区域之外的区域的颜色,得到所述妆容轮廓外的实际颜色。
在一种可能的实现方式中,所述妆容轮廓包括眉妆轮廓、眼影轮廓、腮红轮廓以及唇妆轮廓中的至少一种。
在一种可能的实现方式中,所述眼影轮廓和/或腮红轮廓包括多个区域。
在一种可能的实现方式中,所述用户界面中显示的妆容效果图是终端设备在检测到用户选中目标妆容类型之后,从服务器中获取得到。
在本实施例中,该辅助化妆装置可以是终端设备,或者是终端设备中的芯片,或者是集成在终端设备中的功能模块。其中,该芯片或者该功能模块可以位于终端设备的控制中心(例如,控制台),控制终端设备实现本申请提供的辅助化妆方法。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与上述辅助化妆方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见辅助化妆方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种终端设备,该终端设备包括:至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时使得使所述终端设备执行上述任意各个辅助化妆方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使得使所述终端设备执行上述各个辅助化妆方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时执行上述各个辅助化妆方法实施例中的步骤。
需要说明的是,本申请的各实施方式可以任意进行组合,以实现不同的技术效果。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可以用硬件实现,或固件实现,或它们的组合方式来实现。当使用软件实现时,可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是计算机能够存取的任何可用介质。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (18)

1.一种辅助化妆方法,其特征在于,包括:
显示摄像头采集的用户的人脸图像;
获取目标妆容效果图对应的妆容轮廓;
从所述人脸图像中识别所述妆容轮廓对应的化妆区域,将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域,用于辅助所述用户化妆。
2.如权利要求1所述的辅助化妆方法,其特征在于,所述目标妆容效果图为所述用户选择的妆容效果图。
3.如权利要求1所述的辅助化妆方法,其特征在于,所述目标妆容效果图为终端设备基于所述人脸图像、利用人工智能技术推荐的妆容效果图。
4.如权利要求1-3任一项所述的辅助化妆方法,其特征在于,所述将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域之后,还包括:
检测到所述人脸图像移动;
控制所述妆容轮廓跟随所述人脸图像适应性移动。
5.如权利要求1-4任一项所述的辅助化妆方法,其特征在于,所述将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域之后,还包括:
基于所述人脸图像,对每个所述妆容轮廓对应的妆容进行评估,得到妆容评估结果。
6.如权利要求5所述的辅助化妆方法,其特征在于,所述得到妆容评估结果之后,还包括:
当所述人脸图像中任意化妆区域对应的妆容与所述目标妆容效果图中的妆容不符时,基于所述妆容评估结果输出修正提醒信息。
7.如权利要求1-6任一项所述的辅助化妆方法,其特征在于,所述显示摄像头采集的用户的人脸图像之后,还包括:
获取所述目标妆容效果图对应的化妆指导信息;
相应的,所述将所述妆容轮廓适应性叠加显示于所述妆容轮廓对应的化妆区域之后,还包括:
显示或语音播报所述化妆指导信息。
8.如权利要求5所述的辅助化妆方法,其特征在于,所述对每个所述妆容轮廓对应的妆容进行评估,包括:
检测所述人脸图像中每个化妆区域的妆容是否超出所述妆容轮廓,其中,当任一所述化妆区域的妆容超出所述妆容轮廓时,表示所述化妆区域对应的妆容与所述目标妆容效果图中的妆容不符。
9.如权利要求8所述的辅助化妆方法,其特征在于,所述对每个所述妆容轮廓对应的妆容进行评估,还包括:
检测所述人脸图像中的每个所述妆容轮廓内的实际颜色是否与所述目标妆容效果图的每个妆容轮廓内的预设颜色相符,其中,当任一所述化妆区域的妆容超出所述妆容轮廓,或任一所述妆容轮廓内的实际颜色与预设颜色不符时,表示所述化妆区域对应的妆容与所述目标妆容效果图中的妆容不符。
10.如权利要求8所述的辅助化妆方法,其特征在于,所述检测所述人脸图像中每个化妆区域的妆容是否超出所述妆容轮廓,包括:
获取所述人脸图像中的每个化妆区域的妆容轮廓外的实际颜色信息,以及获取所述目标妆容效果图中的每个妆容轮廓外的预设颜色信息;
当任一所述化妆区域的妆容轮廓外对应的实际颜色与预设颜色不同时,该化妆区域的妆容超出所述妆容轮廓。
11.如权利要求10所述的辅助化妆方法,其特征在于,所述获取所述人脸图像中的每个化妆区域的妆容轮廓外的实际颜色信息,包括:
确定所述人脸图像中的每个所述妆容轮廓对应的轮廓实际区域和轮廓判定区域,所述轮廓实际区域包括妆容轮廓,所述轮廓判定区域是所述轮廓实际区域按预设比例放大之后得到;
获取每个所述妆容轮廓对应的轮廓判定区域中除轮廓实际区域之外的区域的颜色,得到所述妆容轮廓外的实际颜色。
12.如权利要求6所述的辅助化妆方法,其特征在于,所述基于所述妆容评估结果输出修正提醒信息,包括:
在所述人脸图像中用醒目颜色标记目标区域,所述目标区域为与所述目标妆容效果图中的妆容不符的化妆区域。
13.如权利要求1所述的辅助化妆方法,其特征在于,所述妆容轮廓包括眉妆轮廓、眼影轮廓、腮红轮廓以及唇妆轮廓中的至少一种。
14.如权利要求13所述的辅助化妆方法,其特征在于,所述眼影轮廓和/或腮红轮廓包括多个区域。
15.如权利要求2所述的辅助化妆方法,其特征在于,所述用户界面中显示的妆容效果图是终端设备在检测到用户选中目标妆容类型之后,从服务器中获取得到。
16.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时使得所述终端设备执行如权利要求1至15任一项所述的辅助化妆方法。
17.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时使得终端设备执行如权利要求1至15任一项所述的辅助化妆方法。
18.一种计算机程序产品,其特征在于,当所述计算机程序产品在终端设备上运行时,所述终端设备执行如权利要求1至15任一项所述的辅助化妆方法。
CN202010251470.0A 2020-04-01 2020-04-01 辅助化妆方法、终端设备、存储介质及程序产品 Pending CN113496459A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010251470.0A CN113496459A (zh) 2020-04-01 2020-04-01 辅助化妆方法、终端设备、存储介质及程序产品
US17/916,378 US20230154083A1 (en) 2020-04-01 2021-03-25 Method for Assisting Makeup, Terminal Device, Storage Medium, and Program Product
PCT/CN2021/082920 WO2021197186A1 (zh) 2020-04-01 2021-03-25 辅助化妆方法、终端设备、存储介质及程序产品
EP21781902.8A EP4116923A4 (en) 2020-04-01 2021-03-25 AUXILIARY MAKEUP METHOD, TERMINAL DEVICE, STORAGE MEDIA AND PROGRAM PRODUCT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010251470.0A CN113496459A (zh) 2020-04-01 2020-04-01 辅助化妆方法、终端设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN113496459A true CN113496459A (zh) 2021-10-12

Family

ID=77927712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010251470.0A Pending CN113496459A (zh) 2020-04-01 2020-04-01 辅助化妆方法、终端设备、存储介质及程序产品

Country Status (4)

Country Link
US (1) US20230154083A1 (zh)
EP (1) EP4116923A4 (zh)
CN (1) CN113496459A (zh)
WO (1) WO2021197186A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486054A (zh) * 2023-06-25 2023-07-25 四川易景智能终端有限公司 一种ar虚拟美妆镜及其工作方法
CN117315165A (zh) * 2023-11-28 2023-12-29 成都白泽智汇科技有限公司 一种基于显示界面的化妆智能辅助显示方法
CN117495664A (zh) * 2023-12-25 2024-02-02 成都白泽智汇科技有限公司 一种智能辅助化妆系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024508267A (ja) * 2021-02-23 2024-02-26 北京市商▲湯▼科技▲開▼▲發▼有限公司 画像処理方法及び装置、電子機器並びに記憶媒体

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及系统
US20150254501A1 (en) * 2013-08-30 2015-09-10 Panasonic Intellectual Property Management Co., Ltd. Makeup supporting device, makeup supporting system, makeup supporting method, and non-transitory computer-readable recording medium
US20150262403A1 (en) * 2014-03-13 2015-09-17 Panasonic Intellectual Property Management Co., Ltd. Makeup support apparatus and method for supporting makeup
CN107463936A (zh) * 2016-06-02 2017-12-12 宗经投资股份有限公司 自动脸部化妆方法
CN109063671A (zh) * 2018-08-20 2018-12-21 三星电子(中国)研发中心 用于智能化妆的方法及装置
CN109427078A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 身体信息分析装置及其唇妆分析方法
EP3457318A1 (en) * 2017-09-15 2019-03-20 Cal-Comp Big Data Inc Body information analysis apparatus and blush analysis method thereof
CN109890245A (zh) * 2016-10-24 2019-06-14 松下知识产权经营株式会社 图像处理装置、图像处理方法以及图像处理程序
CN110543875A (zh) * 2019-09-25 2019-12-06 西安理工大学 一种辅助化妆装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004015987A1 (ja) * 2002-08-09 2004-02-19 Sharp Kabushiki Kaisha 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
RU2367577C1 (ru) * 2005-08-12 2009-09-20 Рик Б. ЙЕГЕР Система и способ для нанесения изменяющего отражательную способность вещества в целях улучшения визуальной привлекательности человеческой кожи
CN101350102B (zh) * 2008-08-29 2012-10-10 北京中星微电子有限公司 一种化妆辅助方法及系统
JP5991536B2 (ja) * 2013-02-01 2016-09-14 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2016081441A (ja) * 2014-10-22 2016-05-16 パナソニックIpマネジメント株式会社 美容支援装置、美容支援システムおよび美容支援方法
US10083345B2 (en) * 2015-05-05 2018-09-25 Myongsu Choe Makeup supporting methods for creating and applying a makeup guide content to makeup user's face on a real-time basis
CN105787981A (zh) * 2016-02-25 2016-07-20 上海斐讯数据通信技术有限公司 移动终端辅助化妆的方法及系统
TWI573093B (zh) * 2016-06-14 2017-03-01 Asustek Comp Inc 建立虛擬彩妝資料的方法、具備建立虛擬彩妝資料之方法的電子裝置以及其非暫態電腦可讀取記錄媒體
WO2018159231A1 (ja) * 2017-02-28 2018-09-07 パナソニックIpマネジメント株式会社 メイクシミュレーション装置、方法、及び、非一時的な記憶媒体
JP6677221B2 (ja) * 2017-06-06 2020-04-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
EP3652701A4 (en) * 2017-07-13 2021-11-03 Shiseido Company, Limited VIRTUAL FACE MAKEUP REMOVAL, FAST FACE RECOGNITION AND LANDMARK TRACKING
CN107361564B (zh) * 2017-07-17 2019-03-22 深圳前海维度新科有限公司 可自动虚拟上妆的智能镜系统
CN109712065A (zh) * 2017-10-25 2019-05-03 丽宝大数据股份有限公司 身体信息分析装置及其脸形模拟方法
CN108765268A (zh) * 2018-05-28 2018-11-06 京东方科技集团股份有限公司 一种辅助化妆方法、装置及智能镜
EP3628187A1 (en) * 2018-09-26 2020-04-01 Chanel Parfums Beauté Method for simulating the rendering of a make-up product on a body area
US11178956B1 (en) * 2018-10-29 2021-11-23 Andrew Lawrence Prout System, method and mobile application for cosmetic and skin analysis
US11069094B1 (en) * 2019-05-13 2021-07-20 Facebook, Inc. Generating realistic makeup in a digital video stream

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及系统
US20150254501A1 (en) * 2013-08-30 2015-09-10 Panasonic Intellectual Property Management Co., Ltd. Makeup supporting device, makeup supporting system, makeup supporting method, and non-transitory computer-readable recording medium
US20150262403A1 (en) * 2014-03-13 2015-09-17 Panasonic Intellectual Property Management Co., Ltd. Makeup support apparatus and method for supporting makeup
CN107463936A (zh) * 2016-06-02 2017-12-12 宗经投资股份有限公司 自动脸部化妆方法
CN109890245A (zh) * 2016-10-24 2019-06-14 松下知识产权经营株式会社 图像处理装置、图像处理方法以及图像处理程序
CN109427078A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 身体信息分析装置及其唇妆分析方法
EP3457318A1 (en) * 2017-09-15 2019-03-20 Cal-Comp Big Data Inc Body information analysis apparatus and blush analysis method thereof
CN109063671A (zh) * 2018-08-20 2018-12-21 三星电子(中国)研发中心 用于智能化妆的方法及装置
CN110543875A (zh) * 2019-09-25 2019-12-06 西安理工大学 一种辅助化妆装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486054A (zh) * 2023-06-25 2023-07-25 四川易景智能终端有限公司 一种ar虚拟美妆镜及其工作方法
CN116486054B (zh) * 2023-06-25 2023-09-12 四川易景智能终端有限公司 一种ar虚拟美妆镜及其工作方法
CN117315165A (zh) * 2023-11-28 2023-12-29 成都白泽智汇科技有限公司 一种基于显示界面的化妆智能辅助显示方法
CN117315165B (zh) * 2023-11-28 2024-03-12 成都白泽智汇科技有限公司 一种基于显示界面的化妆智能辅助显示方法
CN117495664A (zh) * 2023-12-25 2024-02-02 成都白泽智汇科技有限公司 一种智能辅助化妆系统
CN117495664B (zh) * 2023-12-25 2024-04-09 成都白泽智汇科技有限公司 一种智能辅助化妆系统

Also Published As

Publication number Publication date
US20230154083A1 (en) 2023-05-18
EP4116923A4 (en) 2023-08-16
WO2021197186A1 (zh) 2021-10-07
EP4116923A1 (en) 2023-01-11

Similar Documents

Publication Publication Date Title
EP4116923A1 (en) Auxiliary makeup method, terminal device, storage medium and program product
CN110929651A (zh) 图像处理方法、装置、电子设备及存储介质
WO1998039735A1 (fr) Procede de correction de l'image du visage, procede de simulation du maquillage, procede de maquillage, dispositif de support du maquillage et film de transfert du fond de teint
CN113723385B (zh) 视频处理方法及装置、神经网络的训练方法及装置
CN110691279A (zh) 一种虚拟直播的方法、装置、电子设备及存储介质
CN110263617B (zh) 三维人脸模型获取方法及装置
WO2022227393A1 (zh) 图像拍摄方法及装置、电子设备和计算机可读存储介质
CN111047511A (zh) 一种图像处理方法及电子设备
US11776187B2 (en) Digital makeup artist
CN112799508A (zh) 显示方法与装置、电子设备及存储介质
CN111539882A (zh) 辅助化妆的交互方法、终端、计算机存储介质
CN113610723B (zh) 图像处理方法及相关装置
CN114007099A (zh) 一种视频处理方法、装置和用于视频处理的装置
CN109035151A (zh) 图像处理装置、图像处理方法和存储介质
US11961169B2 (en) Digital makeup artist
CN113810627B (zh) 视频处理方法、装置、移动终端及可读存储介质
CN114187166A (zh) 图像处理方法、智能终端及存储介质
CN112184540A (zh) 图像处理方法、装置、电子设备和存储介质
CN114466133A (zh) 拍照方法及装置
CN113850709A (zh) 图像变换方法和装置
KR101507410B1 (ko) 모바일 단말의 라이브 메이크업 촬영 방법 및 장치
CN110933354A (zh) 一种可定制的多风格多媒体处理方法及其终端
CN110298904A (zh) 一种信息处理方法及装置
CN114915722B (zh) 处理视频的方法和装置
CN115273196A (zh) 基于人脸关键点的肤色识别方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination