CN107153805A - 定制化美妆辅助装置和方法 - Google Patents

定制化美妆辅助装置和方法 Download PDF

Info

Publication number
CN107153805A
CN107153805A CN201610119687.XA CN201610119687A CN107153805A CN 107153805 A CN107153805 A CN 107153805A CN 201610119687 A CN201610119687 A CN 201610119687A CN 107153805 A CN107153805 A CN 107153805A
Authority
CN
China
Prior art keywords
cosmetic
region
user
facial image
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610119687.XA
Other languages
English (en)
Inventor
曾莞晴
于子杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Beautiful Technology Co Ltd
Original Assignee
Beijing Beautiful Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Beautiful Technology Co Ltd filed Critical Beijing Beautiful Technology Co Ltd
Priority to CN201610119687.XA priority Critical patent/CN107153805A/zh
Publication of CN107153805A publication Critical patent/CN107153805A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种定制化美妆辅助装置及相应方法,所述装置包括:用户特征提取模块,被配置为获取用户的人脸图像,并通过第一机器学习模型获得用户的人脸图像中的面部特征关键点列表;化妆区域识别模块,被配置为根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域;妆容拆解模块,被配置为针对所述至少一个化妆区域确定化妆流程的步骤;以及化妆流程呈现模块,被配置为将所述化妆流程的步骤呈现给用户。

Description

定制化美妆辅助装置和方法
技术领域
本发明涉及美妆领域,具体涉及一种定制化美妆辅助装置和方法。
背景技术
伴随时代发展,人们尤其是女性越来越重视美妆尤其是面部美妆的运用。传统上,人们通常通过书籍、互联网、口口相传等等获得美妆技巧。如此获得的美妆技巧通常并不考虑用户自身的五官特点,因此无法满足用户对时尚妆容的个性化需要。用户希望能获得基于自己这张独一无二的脸而量身定做的美妆妆容方法,从而最大限度地彰显自身个性魅力。
随着互联网相关技术能力的不断增长,机器学习和人脸识别相关技术也不断取得突破。然而,目前本领域中并不存在通过将机器学习和人脸识别相关技术应用到美妆领域来提供完整的定制化美妆辅助解决方案的技术。
可见,本领域中需要一种基于机器学习和人脸识别技术来提供定制化美妆辅助解决方案的技术。
发明内容
在本发明的一个方面,提供了一种定制化美妆辅助装置,包括:用户特征提取模块,被配置为获取用户的人脸图像,并通过第一机器学习模型获得用户的人脸图像中的面部特征关键点列表;化妆区域识别模块,被配置为根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域;妆容拆解模块,被配置为针对所述至少一个化妆区域确定化妆流程的步骤;以及化妆流程呈现模块,被配置为将所述化妆流程的步骤呈现给用户。
在本发明的另一个方面,提供了一种定制化美妆辅助方法,包括:获取用户的人脸图像,并通过第一机器学习模型获得用户的人脸图像中的面部特征关键点列表;根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域;针对所述至少一个化妆区域确定化妆流程的步骤;以及将所述化妆流程的步骤呈现给用户。
本发明的通过机器学习技术实现了针对用户自身特点的美妆辅助的定制化和个性化,能够为用户迅速便捷地提供美妆辅助解决方案,更好地满足了用户的美妆需求。
附图说明
图1示出了根据本发明的实施例的一种定制化美妆辅助装置;
图2示意性地示出了根据本发明的实施例的化妆区域识别模块所识别出的用户人脸图像上的多个化妆区域的示例;
图3示意性地示出了根据本发明的实施例的化妆流程呈现模块103所呈现给用户的化妆流程的步骤的多媒体片段的示例;以及
图4示出根据本发明的实施例的定制化美妆辅助方法。
具体实施方式
下面将参照附图更详细地描述本公开的具体实施方式。虽然附图和描述中示出了本公开的具体实施方式,然而应该理解,可以以其他各种形式实现本发明而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了更清楚地说明本发明的原理,并且能够将本发明的范围完整地传达给本领域的技术人员。
现参照图1,其示出了根据本发明的实施例的一种定制化美妆辅助装置100。如图所示,该定制化美妆辅助装置100包括:用户特征提取模块101,化妆区域识别模块102,妆容拆解模块103,以及化妆流程呈现模块104,其中,所述用户特征提取模块101被配置为获取用户的人脸图像,并通过第一机器学习模型获得用户的人脸图像中的面部特征关键点列表,所述化妆区域识别模块102被配置为根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域,所述妆容拆解模块103被配置为针对所述至少一个化妆区域确定化妆流程的步骤,所述化妆流程呈现模块104被配置为将化妆流程的步骤呈现给用户。
根据本发明的实施例的定制化美妆辅助装置100通过机器学习模型识别和定位用户人脸图像中的面部特征,并基于此来确定用户人脸图像中的至少一个化妆区域,然后针对每个化妆区域确定化妆流程的步骤并呈现给用户,实现了针对用户自身特点的美妆辅助的定制化和个性化,更好地满足了用户的美妆需求。此外,根据本发明的实施例的定制化美妆辅助装置100可以自动和迅速地根据用户自身特点生成和向用户呈现化妆流程辅助解决方案,极大地方便了用户。
所述用户特征提取模块101可以通过任何方式获取用户的人脸图像。例如,所述定制化美妆辅助装置100可以位于可通过互联网访问的一服务器上;用户可通过数字照机、手机、与个人计算机连接的摄像机等拍摄自己的人脸图像,然后将该人脸图像的数字文件通过互联网传递给位于该服务器上的所述定制化美妆辅助装置100的用户特征提取模块101。再例如,所述定制化美妆辅助装置100也可以位于一本地计算机上;用户可以将使用数字相机等拍摄的自己的人脸图像的数字文件以无线或有线网络、或有线连接方式传输给该本地计算机上的定制化美妆辅助装置100的用户特征提取模块101。
在本发明的一示例性实施中,所述用户特征提取模块101被配置为获取用户的睁眼和闭眼两种人脸图像。通过获取用户的睁眼和闭眼两种人脸图像,可以更全面地反映用户的五官特征,从而可以为用户提供更全面的定制化美妆辅助解决方案。
所述第一机器学习模型可以是任何可以对人脸及其五官特征进行识别和定位的机器学习模型,例如主动外观模型(Active Appearance Model,AAM)、Hmax+神经网络分类等。该机器学习模型的算法的基本思路是:通过人脸的纹理特征和各个特征点之间的位置约束,在一个完整图像中识别出人脸区域,并在该区域中针对各五官特征进行定位点搜索,最终确定面部中各个五官特征的区域。
根据本发明的一示例性实施例,所述用户特征提取模块102还被配置为:
收集多个人脸图像样本;
接收对所述多个人脸图像样本中的面部特征关键点的标注,从而获得多个标注的人脸图像样本;以及
使用所述多个标注的人脸图像样本对所述第一机器学习模型进行训练,从而获得第一机器学习模型的实例,以用于获得用户的人脸图像中的面部特征关键点列表。
也就是说,所述第一机器学习模型可以使用大量具有标注的人脸图像样本来进行训练。为此,可以首先收集大量的人脸图像样本,所述人脸图像样本同样可以包括睁眼和闭眼两种人脸形态的图像。当收集到大量人脸图像样本之后,可以人工对各人脸图像样本进行标注,即人工标出表示整个人脸图像及其各五官特征区域的关键点及其坐标。然后,可以使用大量具有所述标注的人脸图像样本对所述第一机器学习模型进行训练,得到训练后的第一机器学习模型,即第一机器学习模型的实例。然后,将当前用户的人脸图像输入到该第一机器学习模型的实例中,就可以获得该用户的人脸图像中的面部特征关键点列表。
在本发明的一示例性实施例中,所述第一机器学习模型为主动外观模型(AAM)。AAM的工作原理可简述如下:
a)形状建模。AAM形状建模实现步骤如下:
(1)选择一些适合的学习样本;
(2)对选择的学习样本进行手工特征点标记,使得标记好的v个特征点位置的集合能够构成形状S,S=(x1,y1,x2,y2,...xv,yv);
(3)对形状进行归一化,归一化是指把所有用于学习的人脸形状去除旋转、缩放和平移等全局变换;
(4)对归一化的形状进行主成分分析(PCA)变换,得到对应训练集的平均形状S0和前n个特征值对应的形状特征向量Si
(5)任意人脸形状S就可以用线性方程进行表达:
这样就完成了对形状的建模。
b)纹理建模。AAM纹理建模的实现步骤如下:
(1)将S0和训练集中的人脸形状,分别Delaunay三角化
(2)通过分段线性仿射的方法将样本集人脸形状中的纹理信息映射到平均形状S0中去,实现对纹理归一化
(3)对归一化后的纹理信息进行PCA变换,得到平均纹理A0和前m个特征值对应的纹理特征向量Ai。
(4)纹理与形状非常相似,任意人脸的纹理信息也可以用线性表达式表示:
这样也就完成了对纹理的建模。
c)AAM模型实例生成
AAM模型实例的生成步骤如下,先得到任意一组形状参数p后,用形状模型进行线性表示,就能够得到一个对应的形状S,接着得到一组纹理参数γi后,用纹理模型进行线性表示,得到一个对应纹理实例A(x)。最后将平均形状S0中的纹理信息A(x)映射到当前的形状S中去,这样就生成了一个AAM的模型实例。
当经过训练生成AAM模型实例之后,将当前用户的人脸图像输入到AAM模型实例,就可以对该人脸图像进行人脸和五官特征的识别和定位,生成表示人脸及五官的面部特征关键点列表。例如,在本发明的一示例性实施例中,针对一个人脸图像,通过AAM模型可以生成68个面部特征关键点的列表,包括眼部区域左右各6个关键点、眉部区域左右各5个关键点、唇部区域20个关键点、鼻部区域9个关键点、脸部区域17个关键点。
根据本发明的一示例性实施例,所述用户特征提取模块101还被配置为通过第二机器学习模型根据所述面部特征关键点列表将用户的至少一个面部特征划分为类别;并且
所述化妆区域识别模块102还被配置为根据所述面部特征关键点列表以及所述至少一个面部特征的类别识别人脸图像中的至少一个化妆区域。
根据本发明的一进一步的示例性实施例,所述用户特征提取模块101进一步被配置为将用户的面部特征脸型、眉形、眼形、下巴形状中的至少一个划分为类别。
例如,用户的各面部特征的类别可以如下表中所示:
所述第二机器学习模型可以为任何一种适当的分类模块,例如支持向量机模型(Support Vector Model,SVM)、K-最邻近模型等。
根据本发明的一示例性实施例,所述用户特征提取模块101还被配置为:
接收对所述多个标注的人脸图像样本的面部特征类别的进一步标注,从而获得多个进一步标注的人脸图像样本;
使用所述多个进一步标注的人脸图像样本对所述第二机器学习模型进行训练,从而获得第二机器学习模型的实例,以用于将用户的至少一个面部特征划分为类别。
也就是说,对于如上所述已标注了人脸及五官特征关键点的大量人脸图像样本中的每一个样本,可以进一步人工标注出其各面部特征的类别,并使用这种进一步标注的大量人脸图像的样本对第二机器学习模型进行训练,获得第二机器学习模型的实例。然后,将当前用户的人脸图像的已获得的面部特征关键点列表输入到该第二机器学习模型实例,就可以将该用户的面部特征划分为类别。
第二机器模型所采用的计算因子主要包括图像纹理特征、五官比例特征、脸部长宽比例、双眼眼头和眼尾比例、眼球高点同眼尾终点和眼头起点斜率、鼻子长度同鼻头到下巴比例、眉峰及眉尾和眉头斜度、眉长同眉毛斜度等等。在第二机器模型的训练阶段,这些计算因子来自于人工标注样本的各面部特征的关键点,而在第二机器模型的识别阶段,这些计算因子来自于由第一机器模型获得的当前用户的面部特征关键点列表。
例如,以采用SVM分类模型进行眼形分类的训练和识别为例,步骤如下:
a)先将样本的脸部特征点归一化:二维坐标在三维空间中平移、旋转、缩放,使得脸部特征归一为正面朝前;
b)选取影响样本的眼形的(标注产生的)关键点;
c)对样本的关键点进行特征提取,如:眼部高度,眼部宽度、眼角和眼头相对位置等,并标注出样本所属的眼形类别;
d)使用所有样本的标注数据(即所提取的特征和对应的眼形类别)对SVM模型进行训练,产生SVM模型实例;
其基本向量计算公式如下:
e)将当前用户的人脸图像的已获得的关键点列表输入到SVM模型实例,就可以将当前用户的面部特征划分为类别。
根据本发明的一示例性实施例,所述用户特征提取模块101还被配置为:
接收用户关于肤质和/或肤色的输入;以及
将用户的肤质和/或肤色划分为类别。
例如,用户的肤质和肤色的类别可以如下表所示:
肤质 干性肤质,油性肤质,混合性肤质
肤色 小麦色,黄色,白色,粉色,黑色
不同的用户肤质和/或肤色可以影响到妆容拆解模块103对所确定的化妆流程的步骤中颜色的选取等,如下文中所述。
根据本发明的一示例性实施例,当所述用户特征提取模块101已经通过第一机器学习模型获得用户的面部特征关键点列表,并通过第二机器学习模型获得用户的至少一个面部特征的类别之后,所述化妆区域识别模块102就可以根据所述面部特征关键点列表以及所述至少一个面部特征的类别识别人脸图像中的至少一个化妆区域,即识别所述化妆区域轮廓中的若干关键点。
根据本发明的一示例性实施例,所述化妆区域识别模块102被配置为识别人脸图像中的至少一个化妆区域包括:
所述化妆区域识别模块102被配置为识别眼影底妆区域、眼影上色区域、眼影提亮区域、下眼线上色区域、腮红区域、修容提亮区域、修容暗影区域、特定妆容区域中的至少一个。所述特定妆容区域例如为烟熏妆重色区域、复古妆眉形区域等。
当然,所述化妆区域识别模块102所能识别的化妆区域不限于以上几种,例如还可以包括以下各种化妆区域中的一个或多个:T形区,右脸颊腮红区,左脸颊腮红区,右脸颊阴影区,左脸颊阴影区,右脸颊提亮区,左脸颊提亮区,右眼下部三角提亮区,左眼下部三角提亮区,下巴提亮区,右眼上眼影1区,左眼上眼影1区,右眼上眼影2区,左眼上眼影2区,右眼上眼影3区,左眼上眼影3区,右眼提亮区,左眼提亮区,右眼V区,左眼V区,右眼上眼线区,左眼上眼线区,右眼下眼线区,左眼下眼线区,右眼下眼影区,左眼下眼影区,右眉区,左眉区,上嘴唇区,下嘴唇区,摇滚烟熏右眼上眼影3区,摇滚烟熏左眼上眼影3区,摇滚烟熏右眼下眼线区,摇滚烟熏左眼下眼线区,摇滚烟熏右眼下眼影区,摇滚烟熏左眼下眼影区,上唇唇珠区,上唇唇珠边界区,上唇唇峰区,下唇唇峰区,左脸颊圆形腮红区,右脸颊圆形腮红区,鼻左侧阴影区,鼻右侧阴影区,跨鼻腮红区,森女妆左眼上眼影2区,森女妆右眼上眼影2区,左眼中长下眼线区,右眼中长下眼线区,左眼微长下眼线区,右眼微长下眼线区,左眼中长下眼影区,眼中长下眼影区,左眼微长下眼影区,右眼微长下眼影区,冷艳抹茶左眼上眼影3区,冷艳抹茶右眼上眼影3区,等等。上述各个区域的名称、含义、范围等可以根据化妆师的化妆领域的现有知识来确定,故在此不再详述。
根据本发明的一示例性实施例,所述至少一个化妆区域的形状参数硬编码在所述化妆区域识别模块中。也就是说,该化妆区域识别模块由计算机软件代码模块来实现,且所述软件代码模块规定了根据所述关键点列表以及所述面部特征的类别识别每个化妆区域的具体算法。应指出的是,所述每个化妆区域的具体算法是可以根据化妆师关于化妆区域的现有知识来确定的。
以下列出了几个典型化妆区域的示例性算法。
根据本发明的另一示例性实施例,所述化妆区域识别模块102还被配置为:接收对所述至少一个化妆区域的形状参数的配置,以及根据所述配置改变所述至少一个化妆区域的形状参数。也就是说,在该实施例中,化妆区域的形状参数并非全部硬编码在所述化妆区域识别模块中,至少部分形状参数是可配置的,这样可以在本发明的美妆辅助装置100的实际运行过程中,根据需要调整化妆区域的识别,从而更方便灵活地满足用户的美妆需求。
根据本发明的一示例性实施例,所述化妆区域识别模块102还被配置为根据妆容类型调整或识别至少一个化妆区域。所述妆容类型例如可以由用户选择,并将其所选择的妆容类型提供给所述化妆区域识别模块102或者装置100的其他模块。所述妆容类型也可以由装置100默认,或由装置100为用户选择。所述妆容类型例如可包括如下妆容类型:优雅生活妆、魅惑晚宴妆、清新韩式妆、魅力桃花妆、奢华复古妆、甜美日系妆、电眼芭比妆、冷艳抹茶妆、温婉森女妆、时尚烟熏妆,等等。当然,以上妆容类型仅是示例性的,而不是对本发明的化妆区域识别模块102的功能的任何限制。不同妆容类型所对应的化妆区域可以是不同的。所述不同妆容类型的含义及其所对应的化妆区域可以根据化妆师的化妆领域的现有知识来确定。
图2示意性地示出了根据本发明的实施例的化妆区域识别模块102所识别出的用户人脸图像上的多个化妆区域的示例。
当化妆区域识别模块102识别了至少一个化妆区域之后,就可以由所述妆容拆解模块103针对所述至少一个化妆区域确定化妆流程。
根据本发明的一示例性实施例,所述妆容拆解模块103被配置为针对所述至少一个化妆区域确定化妆流程的步骤包括:所述妆容拆解模块103被配置为根据妆容类型和/或用户的肤质和/或肤色,针对所述至少一个化妆区域确定化妆流程的步骤。
根据本发明的一示例性实施例,所述妆容拆解模块103被配置为针对所述至少一个化妆区域确定化妆流程的步骤包括:所述妆容拆解模块103被配置为针对所述至少一个化妆区域,确定底妆、眼妆、眼线、睫毛、美妆、唇妆、修容步骤的化妆材料、工具、手法及注意事项。
也就是说,在妆容拆解模块103中,创新性的制定了标准化的化妆流程,包括底妆、眼妆、眼线、睫毛、美妆、唇妆、修容等,并在各个步骤中进行辅助化妆所需的材料、颜色选取、适用的化妆区域、工具、手法及注意事项等内容的生成,从而方便用户用最少的时间掌握基本的化妆技巧。
这样,所述妆容拆解模块103根据特征提取模块102识别的用户人脸图像中的化妆区域以及用户面部特征分类,并结合妆容类型(例如由用户所偏好和选择的妆容类型)和/或肤质和/或肤色,生成针对特定用户的独一无二的美妆辅助解决方案,其中,化妆流程的各个步骤中围绕范围、颜色、技巧三方面要点,将个性化与通用性和标准化有机组合起来,方便快捷地满足了用户的个性的美妆需求。
应指出的是,所述妆容拆解模块103根据特定妆容类型和/或用户的肤质和/或肤色,针对所识别的各化妆区域,确定底妆、眼妆、眼线、睫毛、美妆、唇妆、修容步骤的具体的化妆材料、工具、手法及注意事项,是可以根据化妆师的化妆领域的现有知识实现的。并且,通过综合和协调多个化妆师的相关知识,并将其纳入妆容拆解模块103的实现中,可以形成更好的和标准化的化妆流程。
例如,下表中示例性地示出了妆容拆解模块103所确定的化妆流程。
应指出的是,上表中所列的妆容拆解模块103所确定的化妆流程的具体内容仅为对妆容拆解模块103的功能的示例性说明,而不是对妆容拆解模块103的功能的限制。
当妆容拆解模块103确定了化妆流程的步骤之后,就可以由化妆流程呈现模块将所述化妆流程的步骤呈现给用户。
根据本发明的一示例性实施例,所述化妆流程呈现模块103被配置为将所述化妆流程的步骤呈现给用户包括:所述化妆流程呈现模块104被配置为以多媒体形式将所述化妆流程的步骤呈现给用户。也就是说,所述化妆流程呈现模块103可通过声音、图像、视频等多媒体方式将妆容拆解模块103所确定的化妆流程的步骤呈现给用户。例如,化妆流程呈现模块103可生成关于所述化妆流程步骤的文字和图片说明、PPT演示、视频演示等,并将其通过网络等方式提供给用户。
图3示意性地示出了根据本发明的实施例的化妆流程呈现模块103所呈现给用户的化妆流程的步骤的多媒体片段的示例。
以上参照附图描述了根据本发明的实施例的定制化美妆辅助装置100,应指出的是,以上描述仅为示例,而不是对本发明的限制。在本发明的其他实施例中,该装置可具有更多、更不或不同的模块,且各模块之间的连接、包含、功能等关系可以与所描述和图示的不同。例如,通常,由一个模块执行的功能也可以由另一个模块执行,多个模块可以合并为一个更大的模块,同一个模块也可以拆分为多个不同的模块。另外,各模块的名称仅为方便叙述而定,而不是对本发明的装置的任何限制。
在本发明的另一个方面,还提供了一种定制化美妆辅助方法。该方法的各步骤对应于上述根据本发明的实施例的定制化美妆辅助装置的各模块的功能,为简明起见,在以下描述中省略了与以上描述重复的部分细节,因此可参见以上描述获得对根据本发明的实施例的定制化美妆辅助方法的更详细的了解。
现参照图4,其示出根据本发明的实施例的定制化美妆辅助方法。如图4中所示,该方法包括以下步骤:
在步骤401,获取用户的人脸图像,并通过第一机器学习模型获得用户的人脸图像中的面部特征关键点列表;
在步骤402,根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域;
在步骤403,针对所述至少一个化妆区域确定化妆流程的步骤;以及
在步骤404,将所述化妆流程的步骤呈现给用户。
根据本发明的一示例性实施例,所述方法还包括以下可选步骤:
通过第二机器学习模型根据所述面部特征关键点列表将用户的至少一个面部特征划分为类别;并且
所述根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域包括:
根据所述面部特征关键点列表以及所述至少一个面部特征的类别识别人脸图像中的至少一个化妆区域。
根据本发明的一示例性实施例,所述第一机器学习模型为主动外观模型AAM。
根据本发明的一示例性实施例,所述第二机器学习模型为支持向量机模型SVM。
根据本发明的一示例性实施例,所述获取用户的人脸图像包括获取用户的睁眼和闭眼两种人脸图像。
根据本发明的一示例性实施例,所述方法还包括以下可选步骤:
收集多个人脸图像样本;
接收对所述多个人脸图像样本中的面部特征关键点的标注,从而获得多个标注的人脸图像样本;
使用所述多个标注的人脸图像样本对所述第一机器学习模型进行训练,从而获得第一机器学习模型的实例,以用于获得用户的人脸图像中的面部特征关键点列表。
根据本发明的一示例性实施例,所述方法还包括以下可选步骤:
接收对所述多个标注的人脸图像样本的面部特征类别的进一步标注,从而获得多个进一步标注的人脸图像样本;
使用所述多个进一步标注的人脸图像样本对所述第二机器学习模型进行训练,从而获得第二机器学习模型的实例,以用于将用户的至少一个面部特征划分为类别。
根据本发明的一示例性实施例,所述将用户的至少一个面部特征划分为类别包括:将用户的脸型、眉形、眼形、下巴形状中的至少一个分为类别。
根据本发明的一示例性实施例,所述方法还包括以下可选步骤:
接收用户关于肤质和/或肤色的输入;以及
将用户的肤质和/或肤色划分为类别。
根据本发明的一示例性实施例,所述至少一个化妆区域的形状参数是硬编码的。
根据本发明的一示例性实施例,所述方法还包括以下可选步骤:
接收对所述至少一个化妆区域的形状参数的配置,以及
根据所述配置改变所述至少一个化妆区域的形状参数。
根据本发明的一示例性实施例,所述识别人脸图像中的至少一个化妆区域包括:识别眼影底妆区域、眼影上色区域、眼影提亮区域、下眼线上色区域、腮红区域、修容提亮区域、修容暗影区域、特定妆容区域中的至少一个。
根据本发明的一示例性实施例,所述方法还包括以下可选步骤:根据妆容类型调整或识别至少一个化妆区域。
根据本发明的一示例性实施例,针对所述至少一个化妆区域确定化妆流程的步骤403包括:根据妆容类型和/或用户的肤质和/或肤色,针对所述至少一个化妆区域确定化妆流程的步骤。
根据本发明的一示例性实施例,针对所述至少一个化妆区域确定化妆流程的步骤403包括:针对所述至少一个化妆区域,确定底妆、眼影、眼线、睫毛、眉毛、腮红、唇妆、修容步骤的化妆材料、工具、手法及注意事项。
根据本发明的一示例性实施例,将所述化妆流程的步骤呈现给用户的步骤404包括:以多媒体形式将化妆流程的步骤呈现给用户。
以上参照附图描述了根据本发明的实施例的定制化美妆辅助方法,应指出的是,以上描述仅为示例,而不是对本发明的定制化美妆辅助方法的限制。在本发明的其他实施例中,该方法可具有更多、更少或不同的步骤,且各步骤之间的顺序、包含、功能等关系可以与所描述和图示的不同。
本发明的装置和方法可以硬件、软件、或硬件与软件的结合的方式实现。本发明可以集中的方式在一个计算机系统中实现,或以分布方式实现,在这种分布方式中,不同的部件分布在若干互连的计算机系统中。适于执行本文中描述的各方法的任何计算机系统或其它装置都是合适的。一种典型的硬件和软件的组合可以是带有计算机程序的通用计算机系统,当该计算机程序被加载和执行时,控制该计算机系统而使其执行本发明的方法,或者构成本发明的装置。
本发明也可体现在计算机程序产品中,该程序产品包含使能实现本文中描述的方法的所有特征,并且当其被加载到计算机系统中时,能够执行这些方法。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对现有技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (32)

1.一种定制化美妆辅助装置,包括:
用户特征提取模块,被配置为获取用户的人脸图像,并通过第一机器学习模型获得用户的人脸图像中的面部特征关键点列表;
化妆区域识别模块,被配置为根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域;
妆容拆解模块,被配置为针对所述至少一个化妆区域确定化妆流程的步骤;以及
化妆流程呈现模块,被配置为将所述化妆流程的步骤呈现给用户。
2.根据权利要求1的装置,其中,所述用户特征提取模块还被配置为通过第二机器学习模型根据所述面部特征关键点列表将用户的至少一个面部特征划分为类别;并且
所述化妆区域识别模块还被配置为根据所述面部特征关键点列表以及所述至少一个面部特征的类别识别人脸图像中的至少一个化妆区域。
3.根据权利要求1的装置,其中,所述第一机器学习模型为主动外观模型AAM。
4.根据权利要求2的装置,其中,所述第二机器学习模型为支持向量机模型SVM。
5.根据权利要求1的装置,其中,所述用户特征提取模块被配置为获取用户的睁眼和闭眼两种人脸图像。
6.根据权利要求2的装置,其中,所述用户特征提取模块还被配置为:
收集多个人脸图像样本;
接收对所述多个人脸图像样本中的面部特征关键点的标注,从而获得多个标注的人脸图像样本;
使用所述多个标注的人脸图像样本对所述第一机器学习模型进行训练,从而获得第一机器学习模型的实例,以用于获得用户的人脸图像中的面部特征关键点列表。
7.根据权利要求6的装置,其中,所述用户特征提取模块还被配置为:
接收对所述多个标注的人脸图像样本的面部特征类别的进一步标注,从而获得多个进一步标注的人脸图像样本;
使用所述多个进一步标注的人脸图像样本对所述第二机器学习模型进行训练,从而获得第二机器学习模型的实例,以用于将用户的至少一个面部特征划分为类别。
8.根据权利要求2的装置,其中,所述用户特征提取模块进一步被配置为将用户的脸型、眉形、眼形、下巴形状中的至少一个分为类别。
9.根据权利要求8的装置,其中,所述用户特征提取模块还被配置为:
接收用户关于肤质和/或肤色的输入;以及
将用户的肤质和/或肤色划分为类别。
10.根据权利要求1的装置,其中,所述至少一个化妆区域的形状参数硬编码在所述化妆区域识别模块中。
11.根据权利要求1的装置,其中,所述化妆区域识别模块还被配置为:
接收对所述至少一个化妆区域的形状参数的配置,以及
根据所述配置改变所述至少一个化妆区域的形状参数。
12.根据权利要求1的装置,其中,所述化妆区域识别模块被配置为识别人脸图像中的至少一个化妆区域包括:
所述化妆区域识别模块被配置为识别眼影底妆区域、眼影上色区域、眼影提亮区域、下眼线上色区域、腮红区域、修容提亮区域、修容暗影区域、特定妆容区域中的至少一个。
13.根据权利要求1的装置,其中,所述化妆区域识别模块还被配置为根据妆容类型调整或识别至少一个化妆区域。
14.根据权利要求1的装置,其中,所述妆容拆解模块被配置为针对所述至少一个化妆区域确定化妆流程的步骤包括:
所述妆容拆解模块被配置为根据妆容类型和/或用户的肤质和/或肤色,针对所述至少一个化妆区域确定化妆流程的步骤。
15.根据权利要求1的装置,其中,所述妆容拆解模块还被配置为针对所述至少一个化妆区域确定化妆流程的步骤包括:
所述妆容拆解模块被配置为针对所述至少一个化妆区域,确定底妆、眼影、眼线、睫毛、眉毛、腮红、唇妆、修容步骤的化妆材料、工具、手法及注意事项。
16.根据权利要求1的装置,其中,所述化妆流程呈现模块被配置为将所述化妆流程的步骤呈现给用户包括:
所述化妆流程呈现模块被配置为以多媒体形式将所述化妆流程的步骤呈现给用户。
17.一种定制化美妆辅助方法,包括:
获取用户的人脸图像,并通过第一机器学习模型获得用户的人脸图像中的面部特征关键点列表;
根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域;
针对所述至少一个化妆区域确定化妆流程的步骤;以及
将所述化妆流程的步骤呈现给用户。
18.根据权利要求17的方法,还包括:
通过第二机器学习模型根据所述面部特征关键点列表将用户的至少一个面部特征划分为类别;并且
所述根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域包括:
根据所述面部特征关键点列表以及所述至少一个面部特征的类别识别人脸图像中的至少一个化妆区域。
19.根据权利要求17的方法,其中,所述第一机器学习模型为主动外观模型AAM。
20.根据权利要求18的方法,其中,所述第二机器学习模型为支持向量机模型SVM。
21.根据权利要求17的方法,其中,所述获取用户的人脸图像包括获取用户的睁眼和闭眼两种人脸图像。
22.根据权利要求18的方法,还包括:
收集多个人脸图像样本;
接收对所述多个人脸图像样本中的面部特征关键点的标注,从而获得多个标注的人脸图像样本;
使用所述多个标注的人脸图像样本对所述第一机器学习模型进行训练,从而获得第一机器学习模型的实例,以用于获得用户的人脸图像中的面部特征关键点列表。
23.根据权利要求22的方法,还包括:
接收对所述多个标注的人脸图像样本的面部特征类别的进一步标注,从而获得多个进一步标注的人脸图像样本;
使用所述多个进一步标注的人脸图像样本对所述第二机器学习模型进行训练,从而获得第二机器学习模型的实例,以用于将用户的至少一个面部特征划分为类别。
24.根据权利要求18的方法,其中,所述将用户的至少一个面部特征划分为类别包括:
将用户的脸型、眉形、眼形、下巴形状中的至少一个分为类别。
25.根据权利要求24的方法,还包括:
接收用户关于肤质和/或肤色的输入;以及
将用户的肤质和/或肤色划分为类别。
26.根据权利要求17的方法,其中,所述至少一个化妆区域的形状参数是硬编码的。
27.根据权利要求17的方法,还包括:
接收对所述至少一个化妆区域的形状参数的配置,以及
根据所述配置改变所述至少一个化妆区域的形状参数。
28.根据权利要求17的方法,其中,所述识别人脸图像中的至少一个化妆区域包括:
识别眼影底妆区域、眼影上色区域、眼影提亮区域、下眼线上色区域、腮红区域、修容提亮区域、修容暗影区域、特定妆容区域中的至少一个。
29.根据权利要求17的方法,还包括:
根据妆容类型调整或识别至少一个化妆区域。
30.根据权利要求17的方法,其中,针对所述至少一个化妆区域确定化妆流程的步骤包括:
根据妆容类型和/或用户的肤质和/或肤色,针对所述至少一个化妆区域确定化妆流程的步骤。
31.根据权利要求17的方法,其中,针对所述至少一个化妆区域确定化妆流程的步骤包括:
针对所述至少一个化妆区域,确定底妆、眼影、眼线、睫毛、眉毛、腮红、唇妆、修容步骤的化妆材料、工具、手法及注意事项。
32.根据权利要求17的方法,其中,将所述化妆流程的步骤呈现给用户包括:
以多媒体形式将所述化妆流程的步骤呈现给用户。
CN201610119687.XA 2016-03-02 2016-03-02 定制化美妆辅助装置和方法 Pending CN107153805A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610119687.XA CN107153805A (zh) 2016-03-02 2016-03-02 定制化美妆辅助装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610119687.XA CN107153805A (zh) 2016-03-02 2016-03-02 定制化美妆辅助装置和方法

Publications (1)

Publication Number Publication Date
CN107153805A true CN107153805A (zh) 2017-09-12

Family

ID=59791987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610119687.XA Pending CN107153805A (zh) 2016-03-02 2016-03-02 定制化美妆辅助装置和方法

Country Status (1)

Country Link
CN (1) CN107153805A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563353A (zh) * 2017-09-26 2018-01-09 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN108062742A (zh) * 2017-12-31 2018-05-22 广州二元科技有限公司 一种利用数字图像处理和变形的眉毛更换方法
CN108564526A (zh) * 2018-03-30 2018-09-21 北京金山安全软件有限公司 一种图像处理方法、装置、电子设备及介质
CN108606453A (zh) * 2018-04-19 2018-10-02 郑蒂 一种智能化妆镜
CN109272473A (zh) * 2018-10-26 2019-01-25 维沃移动通信(杭州)有限公司 一种图像处理方法及移动终端
CN109359317A (zh) * 2017-11-02 2019-02-19 广东数相智能科技有限公司 一种口红配色选择的模型构建方法和口红配色选择方法
CN110069716A (zh) * 2019-04-29 2019-07-30 清华大学深圳研究生院 一种美妆推荐方法、系统及计算机可读存储介质
CN110136054A (zh) * 2019-05-17 2019-08-16 北京字节跳动网络技术有限公司 图像处理方法和装置
CN110334649A (zh) * 2019-07-04 2019-10-15 五邑大学 一种人工视觉智能中医面诊五脏状态诊测方法及装置
CN110853119A (zh) * 2019-09-15 2020-02-28 北京航空航天大学 一种鲁棒的基于参考图片的妆容迁移方法
CN111797306A (zh) * 2020-05-23 2020-10-20 同济大学 一种基于机器视觉和机器学习的智能化妆推荐系统
CN111862105A (zh) * 2019-04-29 2020-10-30 北京字节跳动网络技术有限公司 图像的区域处理方法、装置和电子设备
CN112347979A (zh) * 2020-11-24 2021-02-09 郑州阿帕斯科技有限公司 一种眼线绘制方法和装置
CN112486263A (zh) * 2020-11-30 2021-03-12 科珑诗菁生物科技(上海)有限公司 基于投影的护眼美妆方法、及投影美妆穿戴设备
CN115120077A (zh) * 2021-03-20 2022-09-30 海信集团控股股份有限公司 一种化妆镜及辅助上妆的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376100A (zh) * 2010-08-20 2012-03-14 北京盛开互动科技有限公司 基于单张照片的人脸动画方法
CN102542586A (zh) * 2011-12-26 2012-07-04 暨南大学 一种基于移动终端的个性化卡通肖像生成系统及方法
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及系统
CN104203042A (zh) * 2013-02-01 2014-12-10 松下电器产业株式会社 化妆辅助装置、化妆辅助方法、以及化妆辅助程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376100A (zh) * 2010-08-20 2012-03-14 北京盛开互动科技有限公司 基于单张照片的人脸动画方法
CN102542586A (zh) * 2011-12-26 2012-07-04 暨南大学 一种基于移动终端的个性化卡通肖像生成系统及方法
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及系统
CN104203042A (zh) * 2013-02-01 2014-12-10 松下电器产业株式会社 化妆辅助装置、化妆辅助方法、以及化妆辅助程序

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563353A (zh) * 2017-09-26 2018-01-09 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN107563353B (zh) * 2017-09-26 2020-06-23 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN109359317A (zh) * 2017-11-02 2019-02-19 广东数相智能科技有限公司 一种口红配色选择的模型构建方法和口红配色选择方法
CN108062742A (zh) * 2017-12-31 2018-05-22 广州二元科技有限公司 一种利用数字图像处理和变形的眉毛更换方法
CN108062742B (zh) * 2017-12-31 2021-05-04 广州二元科技有限公司 一种利用数字图像处理和变形的眉毛更换方法
CN108564526A (zh) * 2018-03-30 2018-09-21 北京金山安全软件有限公司 一种图像处理方法、装置、电子设备及介质
CN108606453A (zh) * 2018-04-19 2018-10-02 郑蒂 一种智能化妆镜
CN109272473A (zh) * 2018-10-26 2019-01-25 维沃移动通信(杭州)有限公司 一种图像处理方法及移动终端
CN109272473B (zh) * 2018-10-26 2021-01-15 维沃移动通信(杭州)有限公司 一种图像处理方法及移动终端
CN111862105A (zh) * 2019-04-29 2020-10-30 北京字节跳动网络技术有限公司 图像的区域处理方法、装置和电子设备
CN110069716B (zh) * 2019-04-29 2022-03-18 清华大学深圳研究生院 一种美妆推荐方法、系统及计算机可读存储介质
CN110069716A (zh) * 2019-04-29 2019-07-30 清华大学深圳研究生院 一种美妆推荐方法、系统及计算机可读存储介质
CN110136054A (zh) * 2019-05-17 2019-08-16 北京字节跳动网络技术有限公司 图像处理方法和装置
CN110136054B (zh) * 2019-05-17 2024-01-09 北京字节跳动网络技术有限公司 图像处理方法和装置
CN110334649A (zh) * 2019-07-04 2019-10-15 五邑大学 一种人工视觉智能中医面诊五脏状态诊测方法及装置
CN110853119A (zh) * 2019-09-15 2020-02-28 北京航空航天大学 一种鲁棒的基于参考图片的妆容迁移方法
CN110853119B (zh) * 2019-09-15 2022-05-20 北京航空航天大学 一种鲁棒的基于参考图片的妆容迁移方法
CN111797306A (zh) * 2020-05-23 2020-10-20 同济大学 一种基于机器视觉和机器学习的智能化妆推荐系统
CN112347979A (zh) * 2020-11-24 2021-02-09 郑州阿帕斯科技有限公司 一种眼线绘制方法和装置
CN112347979B (zh) * 2020-11-24 2024-03-15 郑州阿帕斯科技有限公司 一种眼线绘制方法和装置
CN112486263A (zh) * 2020-11-30 2021-03-12 科珑诗菁生物科技(上海)有限公司 基于投影的护眼美妆方法、及投影美妆穿戴设备
CN115120077A (zh) * 2021-03-20 2022-09-30 海信集团控股股份有限公司 一种化妆镜及辅助上妆的方法

Similar Documents

Publication Publication Date Title
CN107153805A (zh) 定制化美妆辅助装置和方法
US10799010B2 (en) Makeup application assist device and makeup application assist method
CN110443189B (zh) 基于多任务多标签学习卷积神经网络的人脸属性识别方法
CN104203042B (zh) 化妆辅助装置、化妆辅助方法、以及记录介质
CN109690617A (zh) 用于数字化妆镜的系统和方法
CN105787974B (zh) 仿生人脸衰老模型建立方法
JP2020526809A (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
JP4435809B2 (ja) 仮想化粧装置及びその方法
CN105426850A (zh) 一种基于人脸识别的关联信息推送设备及方法
US20100189357A1 (en) Method and device for the virtual simulation of a sequence of video images
JP2004094917A (ja) 仮想化粧装置及びその方法
CN109063671A (zh) 用于智能化妆的方法及装置
US11978242B2 (en) Systems and methods for improved facial attribute classification and use thereof
CN108537126A (zh) 一种人脸图像处理系统及方法
CN108932654B (zh) 一种虚拟试妆指导方法及装置
CN109890245A (zh) 图像处理装置、图像处理方法以及图像处理程序
Park et al. An automatic virtual makeup scheme based on personal color analysis
KR20230085931A (ko) 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템
Liu et al. Magic mirror: An intelligent fashion recommendation system
KR20020014844A (ko) 3차원 얼굴 모델링 방법
CN104898704A (zh) 基于dsp图像处理的智能描眉机装置
KR20020007744A (ko) 미래 자녀 얼굴 모델링 방법과 미래 얼굴 모델링 방법
AU2019364148A1 (en) Digital character blending and generation system and method
Ileni et al. Fast In-the-Wild Hair Segmentation and Color Classification.
CN110413818A (zh) 贴纸推荐方法、装置、计算机可读存储介质和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170912

RJ01 Rejection of invention patent application after publication