CN111783511A - 美妆处理方法、装置、终端以及存储介质 - Google Patents

美妆处理方法、装置、终端以及存储介质 Download PDF

Info

Publication number
CN111783511A
CN111783511A CN201911051262.XA CN201911051262A CN111783511A CN 111783511 A CN111783511 A CN 111783511A CN 201911051262 A CN201911051262 A CN 201911051262A CN 111783511 A CN111783511 A CN 111783511A
Authority
CN
China
Prior art keywords
makeup
target
processing
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911051262.XA
Other languages
English (en)
Inventor
姚军勇
卢毓智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201911051262.XA priority Critical patent/CN111783511A/zh
Publication of CN111783511A publication Critical patent/CN111783511A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/053Detail-in-context presentations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种美妆处理方法、装置、终端以及存储介质,其中的方法包括:对采集的用户图像进行人脸识别,获取第一人脸特征信息;基于美妆模板的第二人脸特征信息与第一人脸特征信息之间的匹配结果从多个美妆模板中选取与用户图像相匹配的目标美妆模板;确定需要进行妆容处理的目标处理区域,获取与目标美妆模板相对应的美妆信息,生成与目标图片贴图,将目标图片贴图与相对应的目标处理区域进行融合处理,用以对用户图像进行美妆处理。本公开的方法、装置、终端以及存储介质,能够根据用户的面部特征智能地推荐适合的妆容并进行虚拟上妆,提供更精确、更真实的试妆体验,能够提高AR美妆的效率和效果,提高用户的使用感受度。

Description

美妆处理方法、装置、终端以及存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种美妆处理方法、装置、终端以及存储介质。
背景技术
增强现实(Augmented Reality,简称AR)是将真实世界信息和虚拟世界信息“无缝”集成的新技术,可以在屏幕上把虚拟世界套在现实世界并进行互动。AR技术的用途越来越广,例如AR化妆应用等。用户在使用AR化妆应用时,通过虚拟化妆台可以选择不同颜色的口红、眼妆等,可快速实现用户对化妆方面的体验需求。但是,使用现有的AR化妆应用时,需要用户具备一定的专业化妆知识,并且由用户自己选择多种妆容进行组合,使得用户选择适合自己的妆容比较困难、繁琐。
发明内容
有鉴于此,本发明要解决的一个技术问题是提供一种美妆处理方法、装置、终端以及存储介质。
根据本公开的一个方面,提供一种美妆处理方法,包括:对采集的用户图像进行人脸识别,获取第一人脸特征信息;获取与预设的美妆模板相对应的第二人脸特征信息,基于所述第二人脸特征信息与所述第一人脸特征信息之间的匹配结果从多个所述美妆模板中选取与所述用户图像相匹配的目标美妆模板;在所述用户图像中确定需要进行妆容处理的目标处理区域,获取与所述目标美妆模板相对应的美妆信息,基于所述美妆信息生成与所述目标处理区域相对应的目标图片贴图;将所述目标图片贴图与相对应的所述目标处理区域进行融合处理,用以对所述用户图像进行美妆处理。
可选地,所述在所述用户图像中确定需要进行妆容处理的目标处理区域包括:对所述用户图像进行人脸检测处理,提取人脸特征点并确定所述目标处理区域;其中,所述人脸特征点包括:与面部五官相对应的多个特征点;所述目标处理区域包括:面部五官图像区域。
可选地,所述基于所述美妆信息生成与所述目标处理区域相对应的目标图片贴图包括:在所述用户图像中获取与所述目标处理区域相对应的目标图像;基于所述美妆信息和所述目标图像制作所述目标图片贴纸;其中,所述美妆信息包括:美妆类型、美妆工具信息、美妆图像色彩和厚度信息;所述目标图片贴纸包括:面部五官图片贴纸。
可选地,所述将所述目标图片贴图与相对应的所述目标处理区域进行融合处理包括:基于所述人脸特征点对所述目标图片贴纸进行变形处理,以使所述目标图片贴纸与相对应的所述目标处理区域对齐;将进行变形处理后的所述目标图片贴纸与相对应的所述目标处理区域进行图层融合处理。
可选地,对所述用户图像进行检测,获取光照强度信息;基于所述光照强度信息对进行美妆处理后的所述用户图像进行光平衡处理;对进行光平衡处理后的所述用户图像进行图像渲染处理。
可选地,所述第一人脸特征信息包括:第一人脸五官特征向量;所述第二人脸特征信息包括:第二人脸五官特征向量;所述基于所述第二人脸特征信息与所述第一人脸特征信息之间的匹配结果从多个所述美妆模板中选取与所述用户图像相匹配的目标美妆模板包括:获取第一人脸五官特征向量与所述第二人脸五官特征向量之间的相似度;基于所述相似度从多个所述美妆模板中选取所述目标美妆模板。
可选地,在选取所述目标美妆模板后,生成用于向用户显示的美妆推荐信息;其中,所述美妆推荐信息包括:美妆类型、美妆工具信息和美妆工具商品链接信息。
根据本公开的另一方面,提供一种美妆处理装置,包括:人脸识别模块,用于对采集的用户图像进行人脸识别,获取第一人脸特征信息;模板选取模块,用于获取与预设的美妆模板相对应的第二人脸特征信息,基于所述第二人脸特征信息与所述第一人脸特征信息之间的匹配结果从多个所述美妆模板中选取与所述用户图像相匹配的目标美妆模板;贴图生成模块,用于在所述用户图像中确定需要进行妆容处理的目标处理区域,获取与所述目标美妆模板相对应的美妆信息,基于所述美妆信息生成与所述目标处理区域相对应的目标图片贴图;图像处理模块,用于将所述目标图片贴图与相对应的所述目标处理区域进行融合处理,用以对所述用户图像进行美妆处理。
可选地,所述贴图生成模块,包括:区域确定单元,用于对所述用户图像进行人脸检测处理,提取人脸特征点并确定所述目标处理区域;其中,所述人脸特征点包括:与面部五官相对应的多个特征点;所述目标处理区域包括:面部五官图像区域。
可选地,所述贴图生成模块,包括:图片制作单元,用于在所述用户图像中获取与所述目标处理区域相对应的目标图像,基于所述美妆信息和所述目标图像制作所述目标图片贴纸;其中,所述美妆信息包括:美妆类型、美妆工具信息、美妆图像色彩和厚度信息;所述目标图片贴纸包括:面部五官图片贴纸。
可选地,所述图像处理模块,用于基于所述人脸特征点对所述目标图片贴纸进行变形处理,以使所述目标图片贴纸与相对应的所述目标处理区域对齐;将进行变形处理后的所述目标图片贴纸与相对应的所述目标处理区域进行图层融合处理。
可选地,图像处理模块,用于对所述用户图像进行检测,获取光照强度信息;基于所述光照强度信息对进行美妆处理后的所述用户图像进行光平衡处理;对进行光平衡处理后的所述用户图像进行图像渲染处理。
可选地,所述第一人脸特征信息包括:第一人脸五官特征向量;所述第二人脸特征信息包括:第二人脸五官特征向量;所述模板选取模块,用于获取第一人脸五官特征向量与所述第二人脸五官特征向量之间的相似度;基于所述相似度从多个所述美妆模板中选取所述目标美妆模板。
可选地,美妆推荐模块,用于在选取所述目标美妆模板后,生成用于向用户显示的美妆推荐信息;其中,所述美妆推荐信息包括:美妆类型、美妆工具信息和美妆工具商品链接信息。
根据本公开的又一方面,提供一种美妆处理装置,包括:存储器;以及耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如上所述的方法。
根据本公开的又一方面,提供一种终端,包括:如上所述的美妆处理装置。
根据本公开的再一方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述指令被处理器执行如上所述的方法。
本公开的美妆处理方法、装置、终端以及存储介质,根据与美妆模板的第二人脸特征信息与用户图像的第一人脸特征信息之间的匹配结果选取目标美妆模板,基于与目标美妆模板的美妆信息生成目标图片贴图,通过将目标图片贴图与目标处理区域进行融合处理,实现对用户图像的美妆处理;能够根据用户的面部特征智能地推荐适合的妆容并进行虚拟上妆,提供更精确、更真实的试妆体验,能够提高AR美妆的效率和效果。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本公开的美妆处理方法的一个实施例的流程示意图;
图2为根据本公开的美妆处理方法的一个实施例中的选取目标美妆模板的流程示意图;
图3A为手机的摄像头采集的用户图像;图3B为与用户图像相似度较高的明星图像;
图4为根据本公开的美妆处理方法的一个实施例中的制作图片贴纸的流程示意图;
图5为通过人脸检测获得的人脸关键点的示意图;
图6为根据本公开的美妆处理方法的一个实施例中的进行融合处理的流程示意图;
图7为根据本公开的美妆处理装置的一个实施例的模块示意图;
图8为根据本公开的美妆处理装置的另一个实施例的模块示意图;
图9为根据本公开的美妆处理装置的一个实施例中的贴图生成模块的模块示意图;
图10为根据本公开的美妆处理装置的又一个实施例的模块示意图。
具体实施方式
下面参照附图对本公开进行更全面的描述,其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
下文中的“第一”、“第二”等仅用于描述上相区别,并没有其它特殊的含义。
图1为根据本公开的美妆处理方法的一个实施例的流程示意图,如图1所示:
步骤101,对采集的用户图像进行人脸识别,获取第一人脸特征信息。
在一实施例中,通过手机的摄像头采集用户图像,对用户图像进行人脸识别,识别出用户的五官并获取第一人脸特征信息,人脸特征信息可以为人脸五官特征向量等。
步骤102,获取与预设的美妆模板相对应的第二人脸特征信息,基于第二人脸特征信息与第一人脸特征信息之间的匹配结果从多个美妆模板中选取与用户图像相匹配的目标美妆模板。
在一实施例中,预先通过人工收集或者爬虫抓取等方式收集美妆模板,获取美妆模板中的人物图像的第二人脸特征信息,第二人脸特征信息可以为人脸五官特征向量等,建立人脸五官特征向量库。获取与美妆模板相对应的美妆信息(AR妆容信息),包括口红、腮红、美瞳、眉笔、眼影、眼线、睫毛膏、粉底以及发型等的化妆和技巧信息,基于AR妆容信息以及美妆模板建立AR妆容库。
将第二人脸特征信息(第二人脸五官特征向量)与第一人脸特征信息(第一人脸五官特征向量)进行匹配,基于匹配结果从AR妆容库中的多个美妆模板中选取与用户图像相匹配的目标美妆模板。
步骤103,在用户图像中确定需要进行妆容处理的目标处理区域,获取与目标美妆模板相对应的美妆信息,基于美妆信息生成与目标处理区域相对应的目标图片贴图。
在一实施例中,目标处理区域可以是与用户图像中的眼睛、鼻子、嘴、脸颊等相对应的图像区域,目标处理区域的形状可以是矩形等。获取与目标美妆模板相对应的美妆信息,美妆信息包括关于口红、腮红、粉底、眼妆、美瞳等的美妆信息,基于美妆信息生成与用户图像中的眼睛、鼻子、嘴等目标处理区域相对应的目标图片贴图,目标图片贴片为进行过口红、腮红、粉底、眼妆、美瞳等处理的、与嘴、脸颊、鼻子、眼睛等相对应的图片贴图。
步骤104,将目标图片贴图与相对应的目标处理区域进行融合处理,用以对用户图像进行美妆处理。
在一实施例中,将进行过口红、腮红、粉底、眼妆、美瞳等处理的、与嘴、脸颊、鼻子、眼睛等相对应的图片贴图与用户图像中的嘴、脸颊、鼻子、眼睛等的目标处理区域进行融合处理,对用户图像完成虚拟上妆处理。
第一人脸特征信息包括第一人脸五官特征向量等,第二人脸特征信息包括第二人脸五官特征向量等。图2为根据本公开的美妆处理方法的一个实施例中的选取目标美妆模板的流程示意图,如图2所示:
步骤201,获取第一人脸五官特征向量与第二人脸五官特征向量之间的相似度。
步骤202,基于相似度从多个美妆模板中选取目标美妆模板。
在一实施例中,从用户图像中提取第一人脸五官特征向量,将第一人脸五官特征向量与人脸五官特征向量库中预置的第二人脸五官特征向量进行比对,获取相似度较高的人脸五官,基于相似度从多个美妆模板中选取目标美妆模板。
提取人脸五官特征向量可以采用现有的多种方法。例如,人脸五官包括眉毛、眼睛、耳朵、鼻子和嘴巴等,获取用户图像中的人脸区域的五官位置或坐标,划分眉毛、眼睛、耳朵、鼻子和嘴巴等所处区域,提取眉毛、眼睛、耳朵、鼻子和嘴巴等所处区域的图像。
提取用户图像中的眉毛、眼睛、耳朵、鼻子和嘴巴所处区域的特征信息,特征信息包括五官的位置、大小、形状、颜色和纹理,特征信息用向量的形式表示,形成第一人脸五官特征向量。第一人脸五官特征向量可以分别为与眉毛、眼睛、耳朵、鼻子和嘴巴相对应的特征向量。
将第一人脸五官特征向量与美妆模板的第二人脸五官特征向量进行比对,得到与每个器官相对应的相似度。与两个人脸图像中的同一个器官的相似信息越接近,说明两个人脸图像中的该器官相似度越高。相似度可采用余弦相似度等,例如,相似度A=a·b/(||a||·||b||);其中,a为第一人脸五官特征向量,b为第二人脸五官特征向量。A值越接近1说明相似度越高。从多个美妆模板中选取相似度最高的美妆模板作为目标美妆模板。
如图3A所示,通过手机的摄像头采集用户的脸部图像。获取与用户的脸部图像相对应的第一人脸五官特征向量,计算第一人脸五官特征向量与美妆模板的第二人脸五官特征向量之间的相似度,从多个美妆模板中选取相似度最高的美妆模板作为目标美妆模板。
如图3B所示,目标美妆模板的图像可以为具有美妆效果的明星图像等,目标美妆模板的人物图像的五官与用户的脸部图像中的五官相似度较高。获取与目标美妆模板中的明星相对应的美妆信息,即该明星所使用的妆容信息,包括口红、腮红、粉底、眼妆、美瞳等美妆信息,基于美妆信息生成与用户图像中的目标处理区域相对应的目标图片贴图,用以对用户图像完成虚拟上妆。
在选取目标美妆模板后,生成用于向用户显示的美妆推荐信息,美妆推荐信息包括:美妆类型、美妆工具信息和美妆工具商品链接信息等。美妆类型可以包括:涂口红、上腮红、打粉底、加美瞳等美妆类型。美妆工具信息可以为美妆模板中的明星所使用的口红、眉笔、粉底等的品牌、规格、价格、图片等信息。美妆工具商品链接信息可以为口红、眉笔、粉底等的电商购买链接、购物车链接等。
图4为根据本公开的美妆处理方法的一个实施例中的制作图片贴纸的流程示意图,如图4所示:
步骤401,对用户图像进行人脸检测处理,提取人脸特征点并确定目标处理区域。人脸特征点包括:与面部五官相对应的多个特征点;目标处理区域包括:面部五官图像区域。
在一实施例中,可以使用现有的多种AR面部检测技术对用户图像进行人脸检测处理,通过AR面部检测技术可以获得面部图像中超过100个的人脸特征点,并可以识别微小的面部细节和动作,如图5所示。人脸特征点提取可以使用多种检测算法,例如显性形状回归ESR、3D-ESR、LBF(Local Binary Features)等。通过检测算法得到人脸特征点的相对位置,可以获得用户的面部表情,表情可以为愤怒、喜悦、惊讶等。
步骤402,在用户图像中获取与目标处理区域相对应的目标图像。
在一实施例中,目标处理区域可以为与用户图像中的眼睛、鼻子、嘴、脸颊等相对应的矩形图像区域,获取矩形图像区域中的目标图像,目标图像可以为眼睛、鼻子、嘴、脸颊等图像。
步骤403,基于美妆信息和目标图像制作目标图片贴纸。美妆信息包括:美妆类型、美妆工具信息、美妆图像色彩和厚度信息等;目标图片贴纸包括:面部五官图片贴纸等。
在一实施例中,获取美妆信息,包括用户需要进行美瞳、眉笔、眼妆等美妆处理的工具信息,以及口红、腮红等的色值以及厚度信息等。可以使Photoshop等编辑软件,基于美妆信息和用户图像中的眼睛、鼻子、嘴、脸颊等图像制作想应的面部五官图片贴纸。
图6为根据本公开的美妆处理方法的一个实施例中的进行融合处理的流程示意图,如图6所示:
步骤601,基于人脸特征点对目标图片贴纸进行变形处理,以使目标图片贴纸与相对应的目标处理区域对齐。
在一实施例中,可以使用现有的Dlib,OpenCV等软件对用户图像进行人脸检测和人脸对齐处理,通过获得多个人脸特征点,基于人脸特征点对目标图片贴纸进行变形处理,以使目标图片贴纸与相对应的目标处理区域对齐,完成上妆处理。对目标图片贴纸进行变形处理可以采用现有的多种现有的变形算法,包括IDW变换算法、MLS变换算法、RMLS变换算法等。
步骤602,将进行变形处理后的目标图片贴纸与相对应的目标处理区域进行图层融合处理。
在一实施例中,对目标图片贴纸进行变形处理后,进行目标图片贴纸与目标处理区域的图层融合处理。图层融合处理可以采用现有的多种融合方法,例如alpha融合方法等。由于每个人的五官不尽相同,人会有说话、眨眼等多种动作,导致坐标变化以及移动,并且,人体五官是立体的,因此需要将眼妆、眉笔等目标图片贴纸进行变形处理,从而可以更好地完成上妆效果。
对用户图像进行检测,获取光照强度信息,基于光照强度信息对进行美妆处理后的用户图像进行光平衡处理,采用现有的多种3D渲染软件对进行光平衡处理后的用户图像进行图像渲染处理。光平衡可以利用现有的AR引擎实时检测照明条件,获得摄像头图像的平均光强度以及色彩校正,可以使用与周围环境相同的光照对进行美妆处理后的用户图像进行光平衡处理,提升真实感。通过进行3D渲染、光平衡等处理,可以确保逼真的化妆效果,可以提供更精确、更真实的试妆体验。
在一个实施例中,如图7所示,本公开提供一种美妆处理装置70,包括:人脸识别模块71、模板选取模块72、贴图生成模块73和图像处理模块74。人脸识别模块71对采集的用户图像进行人脸识别,获取第一人脸特征信息。模板选取模块72获取与预设的美妆模板相对应的第二人脸特征信息,基于第二人脸特征信息与第一人脸特征信息之间的匹配结果从多个美妆模板中选取与用户图像相匹配的目标美妆模板。
第一人脸特征信息包括第一人脸五官特征向量等;第二人脸特征信息包括第二人脸五官特征向量等。模板选取模块72获取第一人脸五官特征向量与第二人脸五官特征向量之间的相似度,基于相似度从多个美妆模板中选取目标美妆模板。
贴图生成模块73在用户图像中确定需要进行妆容处理的目标处理区域,获取与目标美妆模板相对应的美妆信息,基于美妆信息生成与目标处理区域相对应的目标图片贴图。图像处理模块74将目标图片贴图与相对应的目标处理区域进行融合处理,用以对用户图像进行美妆处理。
在一个实施例中,如图8所示,美妆处理装置70包括:图像处理模块75和美妆推荐模块76。图像处理模块75对用户图像进行检测,获取光照强度信息。图像处理模块75基于光照强度信息对进行美妆处理后的用户图像进行光平衡处理,对进行光平衡处理后的用户图像进行图像渲染处理。美妆推荐模块76在选取目标美妆模板后,生成用于向用户显示的美妆推荐信息,美妆推荐信息包括:美妆类型、美妆工具信息和美妆工具商品链接信息等。
在一个实施例中,如图9所示,贴图生成模块73包括:区域确定单元731和图片制作单元732。区域确定单元731对用户图像进行人脸检测处理,提取人脸特征点并确定目标处理区域。人脸特征点包括与面部五官相对应的多个特征点,目标处理区域包括面部五官图像区域。
图片制作单元732在用户图像中获取与目标处理区域相对应的目标图像,基于美妆信息和目标图像制作目标图片贴纸,美妆信息包括:美妆类型、美妆工具信息、美妆图像色彩和厚度信息等,目标图片贴纸包括:面部五官图片贴纸等。图像处理模块74基于人脸特征点对目标图片贴纸进行变形处理,以使目标图片贴纸与相对应的目标处理区域对齐,将进行变形处理后的目标图片贴纸与相对应的目标处理区域进行图层融合处理。
图10为根据本公开的美妆处理装置的另一个实施例的模块示意图。如图10所示,该装置可包括存储器1001、处理器1002、通信接口1003以及总线1004。存储器1001用于存储指令,处理器1002耦合到存储器1001,处理器1002被配置为基于存储器1001存储的指令执行实现上述的美妆处理方法。
存储器1001可以为高速RAM存储器、非易失性存储器(non-volatile memory)等,存储器1001也可以是存储器阵列。存储器1001还可能被分块,并且块可按一定的规则组合成虚拟卷。处理器1002可以为中央处理器CPU,或专用集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本公开的美妆处理方法的一个或多个集成电路。
在一个实施例中,本公开提供一种终端,包括如上任一实施例的美妆处理装置。终端可以为手机、平板电脑等。
在一个实施例中,本公开提供一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,指令被处理器执行时实现如上任一个实施例中的物流分拣方法。
上述实施例中提供的美妆处理方法、装置、终端以及存储介质,根据与美妆模板的第二人脸特征信息与用户图像的第一人脸特征信息之间的匹配结果选取目标美妆模板,基于与目标美妆模板的美妆信息生成目标图片贴图,通过将目标图片贴图与目标处理区域进行融合处理,实现对用户图像的美妆处理;能够根据用户的面部特征智能地推荐适合的妆容并进行虚拟上妆,提供更精确、更真实的试妆体验,实现逼真的化妆效果,能够提高AR美妆的效率和效果,提高用户的使用感受度。
可能以许多方式来实现本公开的方法和系统。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用,并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (17)

1.一种美妆处理方法,包括:
对采集的用户图像进行人脸识别,获取第一人脸特征信息;
获取与预设的美妆模板相对应的第二人脸特征信息,基于所述第二人脸特征信息与所述第一人脸特征信息之间的匹配结果从多个所述美妆模板中选取与所述用户图像相匹配的目标美妆模板;
在所述用户图像中确定需要进行妆容处理的目标处理区域,获取与所述目标美妆模板相对应的美妆信息,基于所述美妆信息生成与所述目标处理区域相对应的目标图片贴图;
将所述目标图片贴图与相对应的所述目标处理区域进行融合处理,用以对所述用户图像进行美妆处理。
2.如权利要求1所述的方法,所述在所述用户图像中确定需要进行妆容处理的目标处理区域包括:
对所述用户图像进行人脸检测处理,提取人脸特征点并确定所述目标处理区域;
其中,所述人脸特征点包括:与面部五官相对应的多个特征点;所述目标处理区域包括:面部五官图像区域。
3.如权利要求2所述的方法,所述基于所述美妆信息生成与所述目标处理区域相对应的目标图片贴图包括:
在所述用户图像中获取与所述目标处理区域相对应的目标图像;
基于所述美妆信息和所述目标图像制作所述目标图片贴纸;
其中,所述美妆信息包括:美妆类型、美妆工具信息、美妆图像色彩和厚度信息;所述目标图片贴纸包括:面部五官图片贴纸。
4.如权利要求3所述的方法,所述将所述目标图片贴图与相对应的所述目标处理区域进行融合处理包括:
基于所述人脸特征点对所述目标图片贴纸进行变形处理,以使所述目标图片贴纸与相对应的所述目标处理区域对齐;
将进行变形处理后的所述目标图片贴纸与相对应的所述目标处理区域进行图层融合处理。
5.如权利要求1所述的方法,还包括:
对所述用户图像进行检测,获取光照强度信息;
基于所述光照强度信息对进行美妆处理后的所述用户图像进行光平衡处理;
对进行光平衡处理后的所述用户图像进行图像渲染处理。
6.如权利要求1所述的方法,所述第一人脸特征信息包括:第一人脸五官特征向量;所述第二人脸特征信息包括:第二人脸五官特征向量;所述基于所述第二人脸特征信息与所述第一人脸特征信息之间的匹配结果从多个所述美妆模板中选取与所述用户图像相匹配的目标美妆模板包括:
获取第一人脸五官特征向量与所述第二人脸五官特征向量之间的相似度;
基于所述相似度从多个所述美妆模板中选取所述目标美妆模板。
7.如权利要求1所述的方法,还包括:
在选取所述目标美妆模板后,生成用于向用户显示的美妆推荐信息;
其中,所述美妆推荐信息包括:美妆类型、美妆工具信息和美妆工具商品链接信息。
8.一种美妆处理装置,包括:
人脸识别模块,用于对采集的用户图像进行人脸识别,获取第一人脸特征信息;
模板选取模块,用于获取与预设的美妆模板相对应的第二人脸特征信息,基于所述第二人脸特征信息与所述第一人脸特征信息之间的匹配结果从多个所述美妆模板中选取与所述用户图像相匹配的目标美妆模板;
贴图生成模块,用于在所述用户图像中确定需要进行妆容处理的目标处理区域,获取与所述目标美妆模板相对应的美妆信息,基于所述美妆信息生成与所述目标处理区域相对应的目标图片贴图;
图像处理模块,用于将所述目标图片贴图与相对应的所述目标处理区域进行融合处理,用以对所述用户图像进行美妆处理。
9.如权利要求8所述的装置,其中,
所述贴图生成模块,包括:
区域确定单元,用于对所述用户图像进行人脸检测处理,提取人脸特征点并确定所述目标处理区域;其中,所述人脸特征点包括:与面部五官相对应的多个特征点;所述目标处理区域包括:面部五官图像区域。
10.如权利要求9所述的装置,其中,
所述贴图生成模块,包括:
图片制作单元,用于在所述用户图像中获取与所述目标处理区域相对应的目标图像,基于所述美妆信息和所述目标图像制作所述目标图片贴纸;其中,所述美妆信息包括:美妆类型、美妆工具信息、美妆图像色彩和厚度信息;所述目标图片贴纸包括:面部五官图片贴纸。
11.如权利要求10所述的装置,其中,
所述图像处理模块,用于基于所述人脸特征点对所述目标图片贴纸进行变形处理,以使所述目标图片贴纸与相对应的所述目标处理区域对齐;将进行变形处理后的所述目标图片贴纸与相对应的所述目标处理区域进行图层融合处理。
12.如权利要求8所述的装置,还包括:
图像处理模块,用于对所述用户图像进行检测,获取光照强度信息;基于所述光照强度信息对进行美妆处理后的所述用户图像进行光平衡处理;对进行光平衡处理后的所述用户图像进行图像渲染处理。
13.如权利要求8所述的装置,所述第一人脸特征信息包括:第一人脸五官特征向量;所述第二人脸特征信息包括:第二人脸五官特征向量;
所述模板选取模块,用于获取第一人脸五官特征向量与所述第二人脸五官特征向量之间的相似度;基于所述相似度从多个所述美妆模板中选取所述目标美妆模板。
14.如权利要求8所述的装置,还包括:
美妆推荐模块,用于在选取所述目标美妆模板后,生成用于向用户显示的美妆推荐信息;其中,所述美妆推荐信息包括:美妆类型、美妆工具信息和美妆工具商品链接信息。
15.一种美妆处理装置,包括:
存储器;以及耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求1至7中任一项所述的方法。
16.一种终端,包括:
如权利要求8至14中任一项所述的美妆处理装置。
17.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述指令被处理器执行如权利要求1至7中任一项所述的方法。
CN201911051262.XA 2019-10-31 2019-10-31 美妆处理方法、装置、终端以及存储介质 Pending CN111783511A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911051262.XA CN111783511A (zh) 2019-10-31 2019-10-31 美妆处理方法、装置、终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911051262.XA CN111783511A (zh) 2019-10-31 2019-10-31 美妆处理方法、装置、终端以及存储介质

Publications (1)

Publication Number Publication Date
CN111783511A true CN111783511A (zh) 2020-10-16

Family

ID=72755595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911051262.XA Pending CN111783511A (zh) 2019-10-31 2019-10-31 美妆处理方法、装置、终端以及存储介质

Country Status (1)

Country Link
CN (1) CN111783511A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508777A (zh) * 2020-12-18 2021-03-16 咪咕文化科技有限公司 一种美颜方法、电子设备及存储介质
CN112819718A (zh) * 2021-02-01 2021-05-18 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN113592591A (zh) * 2021-07-28 2021-11-02 张士娟 一种基于面部识别的妆容推荐系统
CN113724353A (zh) * 2021-08-31 2021-11-30 天津泰讯视动科技有限责任公司 虚拟演播图像生成方法、系统、终端及存储介质
CN113837020A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN114418837A (zh) * 2022-04-02 2022-04-29 荣耀终端有限公司 一种妆容迁移方法及电子设备
CN114463217A (zh) * 2022-02-08 2022-05-10 口碑(上海)信息技术有限公司 一种图像处理方法以及装置
CN114581291A (zh) * 2022-03-04 2022-06-03 合众新能源汽车有限公司 座舱内呈现人脸美妆图像的方法和系统
CN114648375A (zh) * 2020-12-21 2022-06-21 阿里巴巴集团控股有限公司 一种对象提供方法、装置、计算机设备和计算机可读介质
WO2022179025A1 (zh) * 2021-02-23 2022-09-01 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
WO2023273247A1 (zh) * 2021-06-28 2023-01-05 展讯通信(上海)有限公司 人脸图像处理方法及装置、计算机可读存储介质、终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170348982A1 (en) * 2016-06-02 2017-12-07 Zong Jing Investment, Inc. Automatic facial makeup method
CN107945188A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 基于场景分割的人物装扮方法及装置、计算设备
CN108171143A (zh) * 2017-12-25 2018-06-15 深圳市美丽控电子商务有限公司 美妆方法、智能镜及存储介质
CN108924440A (zh) * 2018-08-01 2018-11-30 Oppo广东移动通信有限公司 贴纸显示方法、装置、终端及计算机可读存储介质
CN110110118A (zh) * 2017-12-27 2019-08-09 广东欧珀移动通信有限公司 妆容推荐方法、装置、存储介质及移动终端
CN110120053A (zh) * 2019-05-15 2019-08-13 北京市商汤科技开发有限公司 脸部妆容处理方法、装置及设备
CN110390632A (zh) * 2019-07-22 2019-10-29 北京七鑫易维信息技术有限公司 基于妆容模板的图像处理方法、装置、存储介质及终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170348982A1 (en) * 2016-06-02 2017-12-07 Zong Jing Investment, Inc. Automatic facial makeup method
CN107945188A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 基于场景分割的人物装扮方法及装置、计算设备
CN108171143A (zh) * 2017-12-25 2018-06-15 深圳市美丽控电子商务有限公司 美妆方法、智能镜及存储介质
CN110110118A (zh) * 2017-12-27 2019-08-09 广东欧珀移动通信有限公司 妆容推荐方法、装置、存储介质及移动终端
CN108924440A (zh) * 2018-08-01 2018-11-30 Oppo广东移动通信有限公司 贴纸显示方法、装置、终端及计算机可读存储介质
CN110120053A (zh) * 2019-05-15 2019-08-13 北京市商汤科技开发有限公司 脸部妆容处理方法、装置及设备
CN110390632A (zh) * 2019-07-22 2019-10-29 北京七鑫易维信息技术有限公司 基于妆容模板的图像处理方法、装置、存储介质及终端

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508777A (zh) * 2020-12-18 2021-03-16 咪咕文化科技有限公司 一种美颜方法、电子设备及存储介质
CN114648375A (zh) * 2020-12-21 2022-06-21 阿里巴巴集团控股有限公司 一种对象提供方法、装置、计算机设备和计算机可读介质
CN112819718A (zh) * 2021-02-01 2021-05-18 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及存储介质
WO2022179025A1 (zh) * 2021-02-23 2022-09-01 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
WO2023273247A1 (zh) * 2021-06-28 2023-01-05 展讯通信(上海)有限公司 人脸图像处理方法及装置、计算机可读存储介质、终端
CN113592591A (zh) * 2021-07-28 2021-11-02 张士娟 一种基于面部识别的妆容推荐系统
CN113592591B (zh) * 2021-07-28 2024-02-02 张士娟 一种基于面部识别的妆容推荐系统
CN113724353A (zh) * 2021-08-31 2021-11-30 天津泰讯视动科技有限责任公司 虚拟演播图像生成方法、系统、终端及存储介质
CN113837020B (zh) * 2021-08-31 2024-02-02 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN113837020A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN114463217A (zh) * 2022-02-08 2022-05-10 口碑(上海)信息技术有限公司 一种图像处理方法以及装置
CN114581291A (zh) * 2022-03-04 2022-06-03 合众新能源汽车有限公司 座舱内呈现人脸美妆图像的方法和系统
CN114418837A (zh) * 2022-04-02 2022-04-29 荣耀终端有限公司 一种妆容迁移方法及电子设备

Similar Documents

Publication Publication Date Title
CN111783511A (zh) 美妆处理方法、装置、终端以及存储介质
CN109690617B (zh) 用于数字化妆镜的系统和方法
CN108229279B (zh) 人脸图像处理方法、装置和电子设备
JP6435516B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
CN107220960B (zh) 一种试妆方法、系统及设备
JP6375480B2 (ja) メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム
CN110363867B (zh) 虚拟装扮系统、方法、设备及介质
JP6368919B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP3984191B2 (ja) 仮想化粧装置及びその方法
JP4435809B2 (ja) 仮想化粧装置及びその方法
CN110688948B (zh) 视频中人脸性别变换方法、装置、电子设备和存储介质
JP2020526809A (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
US20130169827A1 (en) Method and system for make-up simulation on portable devices having digital cameras
CN108932654B (zh) 一种虚拟试妆指导方法及装置
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
JP2010507854A (ja) ビデオイメージシーケンスを仮想シミュレーションする方法及び装置
CN113362263B (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
CN108664884B (zh) 一种虚拟试妆方法及装置
CN111862116A (zh) 动漫人像的生成方法及装置、存储介质、计算机设备
CN113628327A (zh) 一种头部三维重建方法及设备
CN110866139A (zh) 一种化妆处理方法、装置及设备
CN107808372B (zh) 图像穿越处理方法、装置、计算设备及计算机存储介质
Anbarjafari et al. 3D face reconstruction with region based best fit blending using mobile phone for virtual reality based social media
CN110458121B (zh) 一种人脸图像生成的方法及装置
CN114155569B (zh) 一种化妆进度检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination