CN109671016B - 人脸模型的生成方法、装置、存储介质及终端 - Google Patents
人脸模型的生成方法、装置、存储介质及终端 Download PDFInfo
- Publication number
- CN109671016B CN109671016B CN201811586883.3A CN201811586883A CN109671016B CN 109671016 B CN109671016 B CN 109671016B CN 201811586883 A CN201811586883 A CN 201811586883A CN 109671016 B CN109671016 B CN 109671016B
- Authority
- CN
- China
- Prior art keywords
- face
- features
- feature
- visual
- human face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013507 mapping Methods 0.000 claims abstract description 123
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims description 90
- 210000001508 eye Anatomy 0.000 claims description 52
- 238000001514 detection method Methods 0.000 claims description 40
- 230000001815 facial effect Effects 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 210000000697 sensory organ Anatomy 0.000 claims description 16
- 238000012805 post-processing Methods 0.000 claims description 13
- 210000004709 eyebrow Anatomy 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 13
- 210000001331 nose Anatomy 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- SZGZILRQIYNODJ-UHFFFAOYSA-L disodium;7,12-dihydroquinoxalino[3,2-b]phenazine-2,9-disulfonate Chemical compound [Na+].[Na+].[O-]S(=O)(=O)C1=CC=C2N=C(C=C3C(NC4=CC=C(C=C4N3)S(=O)(=O)[O-])=C3)C3=NC2=C1 SZGZILRQIYNODJ-UHFFFAOYSA-L 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸模型的生成方法、装置、存储介质、处理器及终端。该方法包括:从至少一个维度对当前输入的人脸图像进行特征提取,得到多个人脸特征;根据多个人脸特征进行分类识别,得到人脸特征识别结果;获取人脸特征识别结果与当前捏脸系统中设置的捏脸参数之间的映射关系;根据人脸特征识别结果和映射关系生成对应的人脸模型。本发明解决了相关技术中在游戏内提供的手动捏脸功能既费时又费力、而且很难得到完全满足心理预期的捏脸效果的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种人脸模型的生成方法、装置、存储介质及终端。
背景技术
游戏中的捏脸操作通常是指对游戏中游戏角色的面部特征进行个性化调整。目前,游戏中提供的捏脸系统通常是指在建立脸部骨骼并在脸部骨骼上添加蒙皮之后,游戏玩家通过操作骨骼的缩放系数、位移参数来改变脸部外形。另外,较为复杂的捏脸系统时常还配备有妆容系统,以支持游戏玩家对眼影、嘴部唇彩、眉毛样式等部分进行修改。然而,手动捏脸过程虽然为游戏玩家提供了较大的自由度,但是需要游戏玩家具备一定的美学或图形学基础且整个过程既费时又费力。
由此可见,尽管相关技术中在不同类别的网络游戏中提供了多种类型的捏脸系统,这些网络游戏的捏脸系统在对脸部骨骼的操控方式、妆容元素样式种类等方面存在差别,但是,这些捏脸系统的本质仍然依赖于游戏玩家手动调整游戏角色的骨骼及妆容。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明至少部分实施例提供了一种人脸模型的生成方法、装置、存储介质、处理器及终端,以至少解决相关技术中在游戏内提供的手动捏脸功能既费时又费力、而且很难得到完全满足心理预期的捏脸效果的技术问题。
根据本发明其中一实施例,提供了一种人脸模型的生成方法,包括:
从至少一个维度对当前输入的人脸图像进行特征提取,得到多个人脸特征;根据多个人脸特征进行分类识别,得到人脸特征识别结果;获取人脸特征识别结果与当前捏脸系统中设置的捏脸参数之间的映射关系;根据人脸特征识别结果和映射关系生成对应的人脸模型。
可选地,至少一个维度包括以下至少之一:几何维度和图像视觉维度,从至少一个维度对人脸图像进行特征提取,得到多个人脸特征包括:检测并定位人脸图像中包含的多个人脸特征点;按照几何维度从多个人脸特征点中提取人脸几何特征,和/或,按照图像视觉维度从多个人脸特征点中提取人脸视觉特征;将人脸几何特征和人脸视觉特征中至少之一确定为多个人脸特征。
可选地,人脸几何特征包括以下至少之一:脸型特征、嘴部特征、鼻子特征、眉毛特征、眼睛特征、五官分布特征。
可选地,人脸视觉特征包括以下至少之一:眼影视觉特征、唇彩视觉特征、胡须视觉特征。
可选地,按照图像视觉维度从多个人脸特征点中提取眼影视觉特征包括:根据多个人脸特征点中的眼部特征点确定眼部区域;在眼部区域的周围设置多个锚点区域;通过计算多个锚点区域中的每个锚点区域与人脸皮肤颜色在亮度通道与饱和度通道上的差异,得到眼影视觉特征。
可选地,按照图像视觉维度从多个人脸特征点中提取唇彩视觉特征包括:根据多个人脸特征点中的嘴部特征点确定嘴部区域;计算嘴部区域内的颜色平均值,得到唇彩视觉特征。
可选地,按照图像视觉维度从多个人脸特征点中提取胡须视觉特征包括:根据多个人脸特征点中的嘴部特征点确定嘴部区域;依据嘴部区域上方的第一部分特征点确定第一检测区域,以及依据嘴部区域下方的第二部分特征点确定第二检测区域,其中,第一检测区域和第二检测区域为胡须生成区域;在第一检测区域和第二检测区域中分别计算区域平均亮度与人脸皮肤亮度的差异,得到胡须视觉特征。
可选地,根据多个人脸特征进行分类识别,得到人脸特征识别结果包括:为人脸图像中每个不同的人脸部位分别设置对应的分类器,其中,分类器用于按照不同人脸部位对多个人脸特征进行分类;采用分类器对多个人脸特征进行分类识别,得到人脸特征识别结果。
可选地,采用分类器对多个人脸特征进行分类识别,得到人脸特征识别结果包括以下至少之一:如果通过分类器确定多个人脸特征中的第一部分特征属于其中一个类别,则将第一部分特征划分至所属类别;如果通过分类器确定多个人脸特征中的第二部分特征属于其中多个类别,则将第二部分特征划分至优先级最高的类别;如果通过分类器确定多个人脸特征中的第三部分特征未属于其中任一类别,则将第三部分特征划分至默认类别。
可选地,上述方法还包括:构建人脸特征识别结果与捏脸参数中骨骼参数之间的第一子映射关系;构建人脸特征识别结果与捏脸参数中妆容参数之间的第二子映射关系;将第一子映射关系以及第二子映射关系确定为映射关系。
可选地,构建人脸特征识别结果与骨骼参数之间的第一子映射关系包括:从人脸特征识别结果中获取多个人脸部位类型特征,并从捏脸系统中确定与每个人脸部位对应的骨骼控制条和控制参数,得到五官类型映射;从人脸特征识别结果中获取与多个人脸部位类型相关的细节特征,并从捏脸系统中确定与细节特征对应的骨骼控制条和控制参数调整范围,得到精调参数映射;确定不同人脸部位类型对应的骨骼控制条之间的关联关系,得到后处理参数映射;将五官类型映射、精调参数映射以及后处理参数映射确定为第一子映射关系。
可选地,构建人脸特征识别结果与妆容参数之间的第二子映射关系包括:从人脸特征识别结果中获取多个妆容类别,并从捏脸系统中确定与每个妆容类别对应的妆容贴图编号,得到妆容类型映射;从捏脸系统中获取与妆容贴图编号对应的强度调整范围,得到妆容强度映射;将妆容类型映射与妆容强度映射确定为第二子映射关系。
根据本发明其中一实施例,还提供了一种人脸模型的生成装置,包括:
提取模块,用于从至少一个维度对当前输入的人脸图像进行特征提取,得到多个人脸特征;识别模块,用于根据多个人脸特征对人脸图像中不同人脸部位进行分类识别,得到人脸特征识别结果;处理模块,用于获取人脸特征识别结果与当前捏脸系统中设置的捏脸参数之间的映射关系;生成模块,用于根据人脸特征识别结果和映射关系生成对应的人脸模型。
可选地,至少一个维度包括以下至少之一:几何维度和图像视觉维度,提取模块包括:检测单元,用于检测并定位人脸图像中包含的多个人脸特征点;提取单元,用于按照几何维度从多个人脸特征点中提取人脸几何特征,和/或,按照图像视觉维度从多个人脸特征点中提取人脸视觉特征;第一确定单元,用于将人脸几何特征和人脸视觉特征中至少之一确定为多个人脸特征。
可选地,人脸几何特征包括以下至少之一:脸型特征、嘴部特征、鼻子特征、眉毛特征、眼睛特征、五官分布特征。
可选地,人脸视觉特征包括以下至少之一:眼影视觉特征、唇彩视觉特征、胡须视觉特征。
可选地,提取单元包括:第一确定子单元,用于根据多个人脸特征点中的眼部特征点确定眼部区域;设置子单元,用于在眼部区域的周围设置多个锚点区域;第一计算子单元,用于通过计算多个锚点区域中的每个锚点区域与人脸皮肤颜色在亮度通道与饱和度通道上的差异,得到眼影视觉特征。
可选地,提取单元包括:第二确定子单元,用于根据多个人脸特征点中的嘴部特征点确定嘴部区域;第二计算子单元,用于计算嘴部区域内的颜色平均值,得到唇彩视觉特征。
可选地,提取单元包括:第三确定子单元,用于根据多个人脸特征点中的嘴部特征点确定嘴部区域;第四确定子单元,用于依据嘴部区域上方的第一部分特征点确定第一检测区域,以及依据嘴部区域下方的第二部分特征点确定第二检测区域,其中,第一检测区域和第二检测区域为胡须生成区域;第三计算子单元,用于在第一检测区域和第二检测区域中分别计算区域平均亮度与人脸皮肤亮度的差异,得到胡须视觉特征。
可选地,识别模块包括:设置单元,用于为人脸图像中每个不同的人脸部位分别设置对应的分类器,其中,分类器用于按照不同人脸部位对多个人脸特征进行分类;识别单元,用于采用分类器对多个人脸特征进行分类识别,得到人脸特征识别结果。
可选地,识别单元包括:第一识别子单元,用于如果通过分类器确定多个人脸特征中的第一部分特征属于其中一个类别,则将第一部分特征划分至所属类别;第二识别子单元,用于如果通过分类器确定多个人脸特征中的第二部分特征属于其中多个类别,则将第二部分特征划分至优先级最高的类别;第三识别子单元,用于如果通过分类器确定多个人脸特征中的第三部分特征未属于其中任一类别,则将第三部分特征划分至默认类别。
可选地,上述装置还包括:构建模块,用于构建人脸特征识别结果与捏脸参数中骨骼参数之间的第一子映射关系以及构建人脸特征识别结果与捏脸参数中妆容参数之间的第二子映射关系,并将第一子映射关系以及第二子映射关系确定为映射关系。
可选地,构建模块包括:第一处理单元,用于从人脸特征识别结果中获取多个人脸部位类型特征,并从捏脸系统中确定与每个人脸部位对应的骨骼控制条和控制参数,得到五官类型映射;第二处理单元,用于从人脸特征识别结果中获取与多个人脸部位类型相关的细节特征,并从捏脸系统中确定与细节特征对应的骨骼控制条和控制参数调整范围,得到精调参数映射;第二确定单元,用于确定不同人脸部位类型对应的骨骼控制条之间的关联关系,得到后处理参数映射;第三确定单元,用于将五官类型映射、精调参数映射以及后处理参数映射确定为第一子映射关系。
可选地,构建模块包括:第三处理单元,用于从人脸特征识别结果中获取多个妆容类别,并从捏脸系统中确定与每个妆容类别对应的妆容贴图编号,得到妆容类型映射;获取单元,用于从捏脸系统中获取与妆容贴图编号对应的强度调整范围,得到妆容强度映射;第四确定单元,用于将妆容类型映射与妆容强度映射确定为第二子映射关系。
根据本发明其中一实施例,还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述任意一项的人脸模型的生成方法。
根据本发明其中一实施例,还提供了一种终端,包括:一个或多个处理器,存储器,显示装置以及一个或多个程序,其中,一个或多个程序被存储在存储器中,并且被配置为由一个或多个处理器执行,一个或多个程序用于执行上述任意一项的人脸模型的生成方法。
在本发明至少部分实施例中,采用从至少一个维度对当前输入的人脸图像进行特征提取以得到多个人脸特征的方式,通过多个人脸特征进行分类识别以得到人脸特征识别结果,以及通过获取人脸特征识别结果与当前捏脸系统中设置的捏脸参数之间的映射关系并根据人脸特征识别结果和映射关系生成对应的人脸模型,达到了通过游戏玩家上传的人脸图像,可以自动分析得到人脸特征及妆容并且驱动捏脸系统自动生成符合游戏玩家需求的捏脸结果(即生成人脸模型)的目的,从而实现了降低捏脸操作复杂度、提升捏脸效率、明显改善捏脸结果的技术效果,进而解决了相关技术中在游戏内提供的手动捏脸功能既费时又费力、而且很难得到完全满足心理预期的捏脸效果的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明其中一实施例的人脸模型的生成方法的流程图;
图2是根据本发明其中一可选实施例的人脸特征点检测结果示意图;
图3是根据本发明其中一可选实施例的获取眼影视觉特征的示意图;
图4是根据本发明其中一可选实施例的获取唇彩视觉特征的示意图;
图5是根据本发明其中一可选实施例的获取胡须视觉特征的示意图;
图6是根据本发明其中一实施例的人脸模型的生成装置的结构框图;
图7是根据本发明其中一可选实施例的人脸模型的生成装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明其中一实施例,提供了一种人脸模型的生成方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
该方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,移动终端可以包括一个或多个处理器(处理器可以包括但不限于中央处理器(CPU)、图形处理器(GPU)、数字信号处理(DSP)芯片、微处理器(MCU)或可编程逻辑器件(FPGA)等的处理装置)和用于存储数据的存储器。可选地,上述移动终端还可以包括用于通信功能的传输设备以及输入输出设备。本领域普通技术人员可以理解,上述结构描述仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比上述结构描述更多或者更少的组件,或者具有与上述结构描述不同的配置。
存储器可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的人脸模型的生成方法对应的计算机程序,处理器通过运行存储在存储器内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的人脸模型的生成方法。存储器可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输设备包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的人脸模型的生成方法的流程图,图1是根据本发明其中一实施例的人脸模型的生成方法的流程图,如图1所示,该方法包括如下步骤:
步骤S12,从至少一个维度对当前输入的人脸图像进行特征提取,得到多个人脸特征;
步骤S14,根据多个人脸特征进行分类识别,得到人脸特征识别结果;
步骤S16,获取人脸特征识别结果与当前捏脸系统中设置的捏脸参数之间的映射关系;
步骤S18,根据人脸特征识别结果和映射关系生成对应的人脸模型。
通过上述步骤,可以实现采用从至少一个维度对当前输入的人脸图像进行特征提取以得到多个人脸特征的方式,通过多个人脸特征进行分类识别以得到人脸特征识别结果,以及通过获取人脸特征识别结果与当前捏脸系统中设置的捏脸参数之间的映射关系并根据人脸特征识别结果和映射关系生成对应的人脸模型,达到了通过游戏玩家上传的人脸图像,可以自动分析得到人脸特征及妆容并且驱动捏脸系统自动生成符合游戏玩家需求的捏脸结果(即生成人脸模型)的目的,从而实现了降低捏脸操作复杂度、提升捏脸效率、明显改善捏脸结果的技术效果,进而解决了相关技术中在游戏内提供的手动捏脸功能既费时又费力、而且很难得到完全满足心理预期的捏脸效果的技术问题。
可选地,上述至少一个维度包括以下至少之一:几何维度和图像视觉维度,在步骤S12中,从至少一个维度对人脸图像进行特征提取,得到多个人脸特征可以包括以下执行步骤:
步骤S121,检测并定位人脸图像中包含的多个人脸特征点;
步骤S122,按照几何维度从多个人脸特征点中提取人脸几何特征,和/或,按照图像视觉维度从多个人脸特征点中提取人脸视觉特征;
步骤S123,将人脸几何特征和人脸视觉特征中至少之一确定为多个人脸特征。
在游戏玩家输入人脸图像之后,需要从至少一个维度(包括以下至少之一:几何和图像视觉)进行特征提取。对于人脸特征提取方面,针对不同的人脸部位从几何和图像视觉两个方面提取能够反映人脸特点且易于理解、能够解释的几何特征和视觉特征,由此解决相关技术中仅依据特征点确定人脸特征,缺乏实际物理含义的缺陷。
人脸特征点检测是提取人脸特征的基础。在本发明的一个可选实施例中,图2是根据本发明其中一可选实施例的人脸特征点检测结果示意图,如图2所示,检测并定位人脸中所包含68个特征点,其分别为:人脸轮廓17个特征点,眉毛10个特征点,眼睛12个特征点,鼻子9个特征点以及嘴巴20个特征点。由此,在特征点检测结果的基础上,从几何和图像视觉两个方面提取出能够反映人脸脸型、鼻型、嘴型、眼型、眉型、五官分布、眼影、唇彩、胡须等特点的多个人脸特征。
可选地,上述人脸几何特征可以包括但不限于以下至少之一:脸型特征、嘴部特征、鼻子特征、眉毛特征、眼睛特征、五官分布特征。
在本发明的一个可选实施例中,可以提取脸型特征、嘴部特征、鼻子特征、眉毛特征、眼睛特征、五官分布特征这六类人脸几何特征,这些特征的计算方法通常可以分为:长度特征,比值特征,斜率特征,面积特征和曲率特征。长度特征均采用欧式距离计算,比值特征为相应线段长度之间的比值,斜率特征为线段之间夹角的斜率,面积特征为轮廓点所围成的多边形面积,而曲率特征则根据下式计算:
其中,t点表示在所处线条中的位置,x(t)和y(t)则分别表示该t点处的横坐标与纵坐标。
可选地,上述人脸视觉特征可以包括但不限于以下至少之一:眼影视觉特征、唇彩视觉特征、胡须视觉特征。
在本发明的一个可选实施例中,除了提取上述人脸几何特征之外,还可以提取出眼影、唇彩和胡须这三类人脸图像的视觉特征,以引导对人脸妆容的识别分类。
可选地,在步骤S122中,按照图像视觉维度从多个人脸特征点中提取眼影视觉特征可以包括以下执行步骤:
步骤S1221,根据多个人脸特征点中的眼部特征点确定眼部区域;
步骤S1222,在眼部区域的周围设置多个锚点区域;
步骤S1223,通过计算多个锚点区域中的每个锚点区域与人脸皮肤颜色在亮度通道与饱和度通道上的差异,得到眼影视觉特征。
对于眼影视觉特征而言,图3是根据本发明其中一可选实施例的获取眼影视觉特征的示意图,如图3所示,可以先依据眼部特征点确定眼部区域,然后,在眼部区域周围设置多个(例如:12个,图中采用序号1至12来表示)锚点区域,并分别计算每个锚点区域与人脸皮肤颜色在亮度与饱和度通道的差异,以此来描述眼影视觉特征。
可选地,在步骤S122中,按照图像视觉维度从多个人脸特征点中提取唇彩视觉特征可以包括以下执行步骤:
步骤S1224,根据多个人脸特征点中的嘴部特征点确定嘴部区域;
步骤S1225,计算嘴部区域内的颜色平均值,得到唇彩视觉特征。
对于唇彩视觉特征而言,图4是根据本发明其中一可选实施例的获取唇彩视觉特征的示意图,如图4所示,可以先依据嘴部特征点确定嘴部区域(图中采用虚线表示),然后再将嘴部特征点所围成的多边形区域中图像的颜色平均值作为嘴部唇彩特征。
可选地,在步骤S122中,按照图像视觉维度从多个人脸特征点中提取胡须视觉特征可以包括以下执行步骤:
步骤S1226,根据多个人脸特征点中的嘴部特征点确定嘴部区域;
步骤S1227,依据嘴部区域上方的第一部分特征点确定第一检测区域,以及依据嘴部区域下方的第二部分特征点确定第二检测区域,其中,第一检测区域和第二检测区域为胡须生成区域;
步骤S1228,在第一检测区域和第二检测区域中分别计算区域平均亮度与人脸皮肤亮度的差异,得到胡须视觉特征。
对于胡须视觉特征而言,图5是根据本发明其中一可选实施例的获取胡须视觉特征的示意图,如图5所示,可以先依据嘴部特征点确定嘴部区域,然后为了检测不同的胡须种类,分别在嘴部上方和下方依据特征点设置两个检测区域(例如:嘴部上方与鼻子之间易生长胡须的区域为第一检测区域,嘴部下方的下巴周围易生长胡须的区域为第二检测区域),并在每个检测区域中分别计算区域平均亮度与人脸皮肤亮度的差异,得到胡须视觉特征。
综合上述分析,从几何和图像视觉两个方面,利用长度、比例、斜率、曲率、颜色、包围盒等多种特征计算提取出能够反映人脸脸型、鼻型、嘴型、眼型、眉型、五官分布、眼影、唇彩、胡须等特点的丰富多样的人脸特征。
可选地,在步骤S14中,根据多个人脸特征进行分类识别,得到人脸特征识别结果可以包括以下执行步骤:
步骤S141,为人脸图像中每个不同的人脸部位分别设置对应的分类器,其中,分类器用于按照不同人脸部位对多个人脸特征进行分类;
步骤S142,采用分类器对多个人脸特征进行分类识别,得到人脸特征识别结果。
对于五官及妆容识别方面,针对捏脸系统的实际需求,逐部位的人脸五官及妆容识别。具体地,在人脸特征提取的基础上,根据提取到的人脸特征可以为人脸的不同部位构建相应的分类器,按照不同部位分别对自然人脸中常见的脸型、嘴型、眼型、眉型、眼影、唇彩、胡须等进行分类识别,其识别结果能够直接引导后续的智能捏脸操作。由此,针对捏脸系统主要是通过调节不同五官形状、位置关系以及变换不同妆容产生多样人脸模型的特点,在总结自然人脸各个部位常见类别的基础上,结合提取得到的人脸特征,通过设置分类器识别出更多与智能捏脸相关的人脸部位的形状或颜色类别。
可选地,在步骤S142中,采用分类器对多个人脸特征进行分类识别,得到人脸特征识别结果可以包括以下至少之一执行步骤:
步骤S1421,如果通过分类器确定多个人脸特征中的第一部分特征属于其中一个类别,则将第一部分特征划分至所属类别;
步骤S1422,如果通过分类器确定多个人脸特征中的第二部分特征属于其中多个类别,则将第二部分特征划分至优先级最高的类别;
步骤S1423,如果通过分类器确定多个人脸特征中的第三部分特征未属于其中任一类别,则将第三部分特征划分至默认类别。
人脸五官及妆容识别的主要目的在于:依据提取到的特征对五官及妆容等进行分类,以引导后续的映射过程。分类器的设置过程可以包括以下步骤:
(1)对每个类别分别设置一个二分分类器,用于判别是否属于该种类别;
(2)将人脸图像分别送入不同类别分别对应的二分分类器进行判别,输出通过分类器判定的类别结果;
(3)如果存在一个部位通过多个分类器的判定,则按照事先设定的类别优先级输出优先级最高的类别;若没有通过任何分类器的判定,则输出一个默认的类别。
表1描述了脸型的二分分类器的设置、类别优先级设定及默认类别设定,如表1所示:
表1
可选地,在上述技术方案的基础上,在一个可选实施例中,上述方法可以按照以下方式构建上述映射关系:
第一步,构建人脸特征识别结果与捏脸参数中骨骼参数之间的第一子映射关系;
第二步,构建人脸特征识别结果与捏脸参数中妆容参数之间的第二子映射关系;
第三步,将第一子映射关系以及第二子映射关系确定为映射关系。
通过预先构建的映射关系驱动捏脸系统自动生成与输入对象具有相似人脸特征的人脸模型。在本实施方式中,通过离线生成人脸特征与不同游戏的捏脸系统中的捏脸参数的映射文件的方式实现预先构建映射关系的目的。需要说明的是,也可以通过其他的方式。即,将五官及妆容的识别结果与捏脸系统之间进行解耦,通过设置人脸特征及识别结果与捏脸参数之间的映射关系,使得该映射关系可以应用于不同类别的捏脸系统。在人脸特征与捏脸参数映射关系构建过程中,通过配置表的形式给出不同人脸特征及部位类别与实际捏脸系统中骨骼及妆容在变化方向、缩放尺度、妆容强度和类型之间的对应关系,在实际应用中通过修改配置表便可将整个智能捏脸系统应用于不同游戏中。由此,无需美术人员预制人脸素材,而是通过加入映射关系在识别结果与不同捏脸系统之间搭建关联关系,在应用于不同游戏的过程中根据对应捏脸系统中每个参数的取值范围修改映射关系配置表即可,从而显著地降低复用成本。
可选地,构建人脸特征识别结果与骨骼参数之间的第一子映射关系可以包括以下执行步骤:
步骤1,从人脸特征识别结果中获取多个人脸部位类型特征,并从捏脸系统中确定与每个人脸部位对应的骨骼控制条和控制参数,得到五官类型映射;
步骤2,从人脸特征识别结果中获取与多个人脸部位类型相关的细节特征,并从捏脸系统中确定与细节特征对应的骨骼控制条和控制参数调整范围,得到精调参数映射;
步骤3,确定不同人脸部位类型对应的骨骼控制条之间的关联关系,得到后处理参数映射;
步骤4,将五官类型映射、精调参数映射以及后处理参数映射确定为第一子映射关系。
对于映射关系构建而言,上述过程针对与捏脸相关的人脸特征和部位类别等人脸特征进行过提取和识别。而在应用于不同的捏脸系统时还需要构建这些人脸特征与具体捏脸参数之间的关联或映射关系才能利用已有捏脸系统执行自动捏脸操作。由于相关技术中所提供的捏脸系统通常是对人脸模型的骨骼或妆容进行修改,因此,映射关系也包含骨骼参数映射和妆容参数映射两个部分。
关于骨骼参数映射(相当于上述第一子映射关系),骨骼参数映射主要包括:五官类型映射、精调参数映射和后处理参数映射三个部分。首先,特定的人脸部位类别(例如:眼型),往往与多个捏脸系统中的骨骼控制条相关(例如:上睑、下睑、前关、睛明),因此五官类型映射需要记录不同人脸部位类别所对应的捏脸系统控制条和控制参数。其次,在本发明上述可选实施方式中,还提取到一些与人脸部位类型无关但也能够体现人脸特点的特征,例如:眼睛的旋转角度、鼻子面积等,精调参数映射则是记录该部分特征与对应的捏脸系统控制条和控制参数调整范围。最后,由于捏脸系统不同控制条之间往往存在相互影响关系,例如:调整鼻子位置时会影响鼻嘴距和鼻眼距等,因此,在本发明的一个可选实施例中,还引入了后处理参数映射,用于记录这种影响关系,对捏脸结果参数进行后处理。
可选地,构建人脸特征识别结果与妆容参数之间的第二子映射关系可以包括以下执行步骤:
步骤1,从人脸特征识别结果中获取多个妆容类别,并从捏脸系统中确定与每个妆容类别对应的妆容贴图编号,得到妆容类型映射;
步骤2,从捏脸系统中获取与妆容贴图编号对应的强度调整范围,得到妆容强度映射;
步骤3,将妆容类型映射与妆容强度映射确定为第二子映射关系。
关于妆容参数映射(相当于上述第二子映射关系),妆容参数映射主要包括:妆容类型映射和妆容强度映射两部分。首先,妆容类型映射负责记录人脸不同的妆容类别(例如:唇彩类型)与捏脸系统中对应的妆容贴图的编号。其次,由于大多捏脸系统不但允许修改妆容类型还允许对妆容的强度进行调整,因此妆容强度映射负责记录捏脸系统中贴图编号与其对应的强度调整范围。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种人脸模型的生成装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明其中一实施例的人脸模型的生成装置的结构框图,如图6所示,该装置包括:提取模块10,用于从至少一个维度对当前输入的人脸图像进行特征提取,得到多个人脸特征;识别模块20,用于根据多个人脸特征进行分类识别,得到人脸特征识别结果;处理模块30,用于获取人脸特征识别结果与当前捏脸系统中设置的捏脸参数之间的映射关系;生成模块40,用于根据人脸特征识别结果和映射关系生成对应的人脸模型。
可选地,至少一个维度包括以下至少之一:几何维度和图像视觉维度,提取模块10包括:检测单元(图中未示出),用于检测并定位人脸图像中包含的多个人脸特征点;提取单元(图中未示出),用于按照几何维度从多个人脸特征点中提取人脸几何特征,和/或,按照图像视觉维度从多个人脸特征点中提取人脸视觉特征;第一确定单元(图中未示出),用于将人脸几何特征和人脸视觉特征中至少之一确定为多个人脸特征。
可选地,人脸几何特征包括以下至少之一:脸型特征、嘴部特征、鼻子特征、眉毛特征、眼睛特征、五官分布特征。
可选地,人脸视觉特征包括以下至少之一:眼影视觉特征、唇彩视觉特征、胡须视觉特征。
可选地,提取单元(图中未示出)包括:第一确定子单元(图中未示出),用于根据多个人脸特征点中的眼部特征点确定眼部区域;设置子单元(图中未示出),用于在眼部区域的周围设置多个锚点区域;第一计算子单元(图中未示出),用于通过计算多个锚点区域中的每个锚点区域与人脸皮肤颜色在亮度通道与饱和度通道上的差异,得到眼影视觉特征。
可选地,提取单元(图中未示出)包括:第二确定子单元(图中未示出),用于根据多个人脸特征点中的嘴部特征点确定嘴部区域;第二计算子单元(图中未示出),用于计算嘴部区域内的颜色平均值,得到唇彩视觉特征。
可选地,提取单元(图中未示出)包括:第三确定子单元(图中未示出),用于根据多个人脸特征点中的嘴部特征点确定嘴部区域;第四确定子单元(图中未示出),用于依据嘴部区域上方的第一部分特征点确定第一检测区域,以及依据嘴部区域下方的第二部分特征点确定第二检测区域,其中,第一检测区域和第二检测区域为胡须生成区域;第三计算子单元(图中未示出),用于在第一检测区域和第二检测区域中分别计算区域平均亮度与人脸皮肤亮度的差异,得到胡须视觉特征。
可选地,识别模块20包括:设置单元(图中未示出),用于为人脸图像中每个不同的人脸部位分别设置对应的分类器,其中,分类器用于按照不同人脸部位对多个人脸特征进行分类;识别单元(图中未示出),用于采用分类器对多个人脸特征进行分类识别,得到人脸特征识别结果。
可选地,识别单元(图中未示出)包括:第一识别子单元(图中未示出),用于如果通过分类器确定多个人脸特征中的第一部分特征属于其中一个类别,则将第一部分特征划分至所属类别;第二识别子单元(图中未示出),用于如果通过分类器确定多个人脸特征中的第二部分特征属于其中多个类别,则将第二部分特征划分至优先级最高的类别;第三识别子单元(图中未示出),用于如果通过分类器确定多个人脸特征中的第三部分特征未属于其中任一类别,则将第三部分特征划分至默认类别。
可选地,图7是根据本发明其中一可选实施例的人脸模型的生成装置的结构框图,如图7所示,上述装置还包括:构建模块50,用于构建人脸特征识别结果与捏脸参数中骨骼参数之间的第一子映射关系以及构建人脸特征识别结果与捏脸参数中妆容参数之间的第二子映射关系,并将第一子映射关系以及第二子映射关系确定为映射关系。
可选地,构建模块50包括:第一处理单元(图中未示出),用于从人脸特征识别结果中获取多个人脸部位,并从捏脸系统中确定与每个人脸部位对应的骨骼控制条和控制参数,得到五官类型映射;第二处理单元(图中未示出),用于从人脸特征识别结果中获取与多个人脸部位类型相关的细节特征,并从捏脸系统中确定与细节特征对应的骨骼控制条和控制参数调整范围,得到精调参数映射;第二确定单元(图中未示出),用于确定不同人脸部位对应的骨骼控制条之间的关联关系,得到后处理参数映射;第三确定单元(图中未示出),用于将五官类型映射、精调参数映射以及后处理参数映射确定为第一子映射关系。
可选地,构建模块50包括:第三处理单元(图中未示出),用于从人脸特征识别结果中获取多个妆容类别,并从捏脸系统中确定与每个妆容类别对应的妆容贴图编号,得到妆容类型映射;获取单元(图中未示出),用于从捏脸系统中获取与妆容贴图编号对应的强度调整范围,得到妆容强度映射;第四确定单元(图中未示出),用于将妆容类型映射与妆容强度映射确定为第二子映射关系。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,从至少一个维度对当前输入的人脸图像进行特征提取,得到多个人脸特征;
S2,根据多个人脸特征进行分类识别,得到人脸特征识别结果;
S3,获取人脸特征识别结果与当前捏脸系统中设置的捏脸参数之间的映射关系;
S4,根据人脸特征识别结果和映射关系生成对应的人脸模型。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种处理器,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,从至少一个维度对当前输入的人脸图像进行特征提取,得到多个人脸特征;
S2,根据多个人脸特征进行分类识别,得到人脸特征识别结果;
S3,获取人脸特征识别结果与当前捏脸系统中设置的捏脸参数之间的映射关系;
S4,根据人脸特征识别结果和映射关系生成对应的人脸模型。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (14)
1.一种人脸模型的生成方法,其特征在于,包括:
从至少一个维度对当前输入的人脸图像进行特征提取,得到多个人脸特征;
根据所述多个人脸特征进行分类识别,得到人脸特征识别结果;
获取人脸特征与当前捏脸系统中设置的捏脸参数之间的映射关系;
根据所述人脸特征识别结果和所述映射关系生成对应的人脸模型;
其中,所述至少一个维度包括以下至少之一:几何维度和图像视觉维度;从所述至少一个维度对所述人脸图像进行特征提取,得到所述多个人脸特征包括:检测并定位所述人脸图像中包含的多个人脸特征点;按照所述几何维度从所述多个人脸特征点中提取人脸几何特征和按照所述图像视觉维度从所述多个人脸特征点中提取人脸视觉特征;将所述人脸几何特征和所述人脸视觉特征中至少之一确定为所述多个人脸特征。
2.根据权利要求1所述的方法,其特征在于,所述人脸几何特征包括以下至少之一:脸型特征、嘴部特征、鼻子特征、眉毛特征、眼睛特征、五官分布特征。
3.根据权利要求1所述的方法,其特征在于,所述人脸视觉特征包括以下至少之一:眼影视觉特征、唇彩视觉特征、胡须视觉特征。
4.根据权利要求3所述的方法,其特征在于,按照所述图像视觉维度从所述多个人脸特征点中提取眼影视觉特征包括:
根据所述多个人脸特征点中的眼部特征点确定眼部区域;
在所述眼部区域的周围设置多个锚点区域;
通过计算所述多个锚点区域中的每个锚点区域与人脸皮肤颜色在亮度通道与饱和度通道上的差异,得到所述眼影视觉特征。
5.根据权利要求3所述的方法,其特征在于,按照所述图像视觉维度从所述多个人脸特征点中提取唇彩视觉特征包括:
根据所述多个人脸特征点中的嘴部特征点确定嘴部区域;
计算所述嘴部区域内的颜色平均值,得到所述唇彩视觉特征。
6.根据权利要求3所述的方法,其特征在于,按照所述图像视觉维度从所述多个人脸特征点中提取胡须视觉特征包括:
根据所述多个人脸特征点中的嘴部特征点确定嘴部区域;
依据所述嘴部区域上方的第一部分特征点确定第一检测区域,以及依据所述嘴部区域下方的第二部分特征点确定第二检测区域,其中,所述第一检测区域和所述第二检测区域为胡须生成区域;
在所述第一检测区域和所述第二检测区域中分别计算区域平均亮度与人脸皮肤亮度的差异,得到所述胡须视觉特征。
7.根据权利要求1所述的方法,其特征在于,根据所述多个人脸特征进行分类识别,得到所述人脸特征识别结果包括:
为所述人脸图像中每个不同的人脸部位分别设置对应的分类器,其中,所述分类器用于按照不同人脸部位对所述多个人脸特征进行分类;
采用所述分类器对所述多个人脸特征进行分类识别,得到所述人脸特征识别结果。
8.根据权利要求7所述的方法,其特征在于,采用所述分类器对所述多个人脸特征进行分类识别,得到所述人脸特征识别结果包括以下至少之一:
如果通过所述分类器确定所述多个人脸特征中的第一部分特征属于其中一个类别,则将所述第一部分特征划分至所属类别;
如果通过所述分类器确定所述多个人脸特征中的第二部分特征属于其中多个类别,则将所述第二部分特征划分至优先级最高的类别;
如果通过所述分类器确定所述多个人脸特征中的第三部分特征未属于其中任一类别,则将所述第三部分特征划分至默认类别。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
构建所述人脸特征与所述捏脸参数中骨骼参数之间的第一子映射关系;
构建所述人脸特征与所述捏脸参数中妆容参数之间的第二子映射关系;
将所述第一子映射关系以及所述第二子映射关系确定为所述映射关系。
10.根据权利要求9所述的方法,其特征在于,构建所述人脸特征与所述骨骼参数之间的所述第一子映射关系包括:
从所述人脸特征中获取多个人脸部位类型特征,并从所述捏脸系统中确定与每个人脸部位对应的骨骼控制条和控制参数,得到五官类型映射;
从所述人脸特征中获取与所述多个人脸部位类型相关的细节特征,并从所述捏脸系统中确定与所述细节特征对应的骨骼控制条和控制参数调整范围,得到精调参数映射;
确定不同所述人脸部位类型对应的骨骼控制条之间的关联关系,得到后处理参数映射;
将所述五官类型映射、所述精调参数映射以及所述后处理参数映射确定为所述第一子映射关系。
11.根据权利要求9所述的方法,其特征在于,构建所述人脸特征识别结果与所述妆容参数之间的所述第二子映射关系包括:
从所述人脸特征识别结果中获取多个妆容类别,并从所述捏脸系统中确定与每个妆容类别对应的妆容贴图编号,得到妆容类型映射;
从所述捏脸系统中获取与所述妆容贴图编号对应的强度调整范围,得到妆容强度映射;
将所述妆容类型映射与所述妆容强度映射确定为所述第二子映射关系。
12.一种人脸模型的生成装置,其特征在于,包括:
提取模块,用于从至少一个维度对当前输入的人脸图像进行特征提取,得到多个人脸特征;
识别模块,用于根据所述多个人脸特征对所述人脸图像中不同人脸部位进行分类识别,得到人脸特征识别结果;
处理模块,用于获取所述人脸特征识别结果与当前捏脸系统中设置的捏脸参数之间的映射关系;
生成模块,用于根据所述人脸特征识别结果和所述映射关系生成对应的人脸模型;
其中,至少一个维度包括以下至少之一:几何维度和图像视觉维度,所述提取模块包括:检测单元,用于检测并定位所述人脸图像中包含的多个人脸特征点;提取单元,用于按照所述几何维度从所述多个人脸特征点中提取人脸几何特征和按照所述图像视觉维度从所述多个人脸特征点中提取人脸视觉特征;第一确定单元,用于将所述人脸几何特征和所述人脸视觉特征中至少之一确定为所述多个人脸特征。
13.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至11中任意一项所述的人脸模型的生成方法。
14.一种终端,其特征在于,包括:一个或多个处理器,存储器,显示装置以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序用于执行权利要求1至11中任意一项所述的人脸模型的生成方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811586883.3A CN109671016B (zh) | 2018-12-25 | 2018-12-25 | 人脸模型的生成方法、装置、存储介质及终端 |
PCT/CN2019/085236 WO2020133863A1 (zh) | 2018-12-25 | 2019-04-30 | 人脸模型的生成方法、装置、存储介质及终端 |
US16/632,395 US11328455B2 (en) | 2018-12-25 | 2019-04-30 | Method and apparatus for generating face model, storage medium, and terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811586883.3A CN109671016B (zh) | 2018-12-25 | 2018-12-25 | 人脸模型的生成方法、装置、存储介质及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109671016A CN109671016A (zh) | 2019-04-23 |
CN109671016B true CN109671016B (zh) | 2019-12-17 |
Family
ID=66146111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811586883.3A Active CN109671016B (zh) | 2018-12-25 | 2018-12-25 | 人脸模型的生成方法、装置、存储介质及终端 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11328455B2 (zh) |
CN (1) | CN109671016B (zh) |
WO (1) | WO2020133863A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109671016B (zh) | 2018-12-25 | 2019-12-17 | 网易(杭州)网络有限公司 | 人脸模型的生成方法、装置、存储介质及终端 |
CN110111418B (zh) * | 2019-05-15 | 2022-02-25 | 北京市商汤科技开发有限公司 | 创建脸部模型的方法、装置及电子设备 |
CN111738087B (zh) * | 2020-05-25 | 2023-07-25 | 完美世界(北京)软件科技发展有限公司 | 一种游戏角色面部模型的生成方法和装置 |
CN112257512B (zh) * | 2020-09-25 | 2023-04-28 | 福建天泉教育科技有限公司 | 间接型眼部状态检测方法及计算机可读存储介质 |
CN112337092B (zh) * | 2020-12-01 | 2021-10-26 | 腾讯科技(深圳)有限公司 | 一种云游戏处理方法、装置、设备及存储介质 |
CN112973122A (zh) * | 2021-03-02 | 2021-06-18 | 网易(杭州)网络有限公司 | 游戏角色上妆方法、装置及电子设备 |
CN114519757A (zh) * | 2022-02-17 | 2022-05-20 | 巨人移动技术有限公司 | 一种捏脸处理方法 |
CN117455940B (zh) * | 2023-12-25 | 2024-02-27 | 四川汉唐云分布式存储技术有限公司 | 基于云值守的顾客行为检测方法、系统、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780681A (zh) * | 2016-12-01 | 2017-05-31 | 北京像素软件科技股份有限公司 | 一种角色动作生成方法和装置 |
EP3176727A1 (en) * | 2015-11-27 | 2017-06-07 | Xiaomi Inc. | Image classification method and device |
CN107316340A (zh) * | 2017-06-28 | 2017-11-03 | 河海大学常州校区 | 一种基于单张照片的快速人脸建模方法 |
US9824262B1 (en) * | 2014-10-04 | 2017-11-21 | Jon Charles Daniels | System and method for laterality adjusted identification of human attraction compatibility |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6807290B2 (en) * | 2000-03-09 | 2004-10-19 | Microsoft Corporation | Rapid computer modeling of faces for animation |
CN1266642C (zh) * | 2003-10-09 | 2006-07-26 | 重庆大学 | 基于多类别的人脸分类识别方法 |
JP4767718B2 (ja) * | 2006-02-24 | 2011-09-07 | 富士フイルム株式会社 | 画像処理方法および装置ならびにプログラム |
US8660319B2 (en) * | 2006-05-05 | 2014-02-25 | Parham Aarabi | Method, system and computer program product for automatic and semi-automatic modification of digital images of faces |
CN101968892A (zh) * | 2009-07-28 | 2011-02-09 | 上海冰动信息技术有限公司 | 根据一张人脸照片自动调整三维人脸模型的方法 |
US9224248B2 (en) * | 2012-07-12 | 2015-12-29 | Ulsee Inc. | Method of virtual makeup achieved by facial tracking |
IL226047A (en) * | 2013-04-29 | 2017-12-31 | Hershkovitz Reshef May | A method and system for giving personal expressions |
US9508197B2 (en) * | 2013-11-01 | 2016-11-29 | Microsoft Technology Licensing, Llc | Generating an avatar from real time image data |
EP3017755A1 (en) * | 2014-11-04 | 2016-05-11 | Samsung Electronics Co., Ltd. | Electronic device, and method for analyzing face information in electronic device |
CN104715447B (zh) * | 2015-03-02 | 2019-08-30 | 百度在线网络技术(北京)有限公司 | 图像合成方法和装置 |
CN105512614A (zh) * | 2015-11-26 | 2016-04-20 | 北京像素软件科技股份有限公司 | 一种游戏角色生成方法及装置 |
US10339365B2 (en) * | 2016-03-31 | 2019-07-02 | Snap Inc. | Automated avatar generation |
US9928408B2 (en) | 2016-06-17 | 2018-03-27 | International Business Machines Corporation | Signal processing |
CN107633542A (zh) | 2016-07-19 | 2018-01-26 | 珠海金山网络游戏科技有限公司 | 一种捏脸编辑和动画附加融合方法和系统 |
US10028070B1 (en) * | 2017-03-06 | 2018-07-17 | Microsoft Technology Licensing, Llc | Systems and methods for HRTF personalization |
CN108479070A (zh) * | 2018-03-30 | 2018-09-04 | 百度在线网络技术(北京)有限公司 | 虚拟模型生成方法和装置 |
CN108765551B (zh) * | 2018-05-15 | 2022-02-01 | 福建省天奕网络科技有限公司 | 一种实现3d模型捏脸的方法及终端 |
CN108875594B (zh) * | 2018-05-28 | 2023-07-18 | 腾讯科技(深圳)有限公司 | 一种人脸图像的处理方法、装置以及存储介质 |
US20200020173A1 (en) * | 2018-07-16 | 2020-01-16 | Zohirul Sharif | Methods and systems for constructing an animated 3d facial model from a 2d facial image |
US11189070B2 (en) * | 2018-09-28 | 2021-11-30 | Snap Inc. | System and method of generating targeted user lists using customizable avatar characteristics |
CN109636886B (zh) * | 2018-12-19 | 2020-05-12 | 网易(杭州)网络有限公司 | 图像的处理方法、装置、存储介质和电子装置 |
US20200202604A1 (en) * | 2018-12-20 | 2020-06-25 | Imvu, Inc. | System and method for extracting characteristics from a digital photo and automatically generating a three-dimensional avatar |
CN109671016B (zh) | 2018-12-25 | 2019-12-17 | 网易(杭州)网络有限公司 | 人脸模型的生成方法、装置、存储介质及终端 |
-
2018
- 2018-12-25 CN CN201811586883.3A patent/CN109671016B/zh active Active
-
2019
- 2019-04-30 US US16/632,395 patent/US11328455B2/en active Active
- 2019-04-30 WO PCT/CN2019/085236 patent/WO2020133863A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9824262B1 (en) * | 2014-10-04 | 2017-11-21 | Jon Charles Daniels | System and method for laterality adjusted identification of human attraction compatibility |
EP3176727A1 (en) * | 2015-11-27 | 2017-06-07 | Xiaomi Inc. | Image classification method and device |
CN106780681A (zh) * | 2016-12-01 | 2017-05-31 | 北京像素软件科技股份有限公司 | 一种角色动作生成方法和装置 |
CN107316340A (zh) * | 2017-06-28 | 2017-11-03 | 河海大学常州校区 | 一种基于单张照片的快速人脸建模方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020133863A1 (zh) | 2020-07-02 |
US20210366162A1 (en) | 2021-11-25 |
CN109671016A (zh) | 2019-04-23 |
US11328455B2 (en) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109671016B (zh) | 人脸模型的生成方法、装置、存储介质及终端 | |
CN104834898B (zh) | 一种人物摄影图像的质量分类方法 | |
CN101779218B (zh) | 化妆模拟系统及其化妆模拟方法 | |
CN106056064B (zh) | 一种人脸识别方法及人脸识别装置 | |
US10789748B2 (en) | Image processing device, image processing method, and non-transitory computer-readable recording medium storing image processing program | |
KR101259662B1 (ko) | 얼굴 분류 방법, 얼굴 분류 장치, 분류맵, 얼굴 분류프로그램, 및 상기 프로그램이 기록된 기록매체 | |
CN108629339B (zh) | 图像处理方法及相关产品 | |
CN109952594A (zh) | 图像处理方法、装置、终端及存储介质 | |
CN108012081A (zh) | 智能美颜方法、装置、终端和计算机可读存储介质 | |
CN101477696A (zh) | 一种人物漫画图像生成方法及装置 | |
KR20060056805A (ko) | 다중스케일 가변영역분할 홍채인식 방법 및 시스템 | |
CN108875540A (zh) | 图像处理方法、装置和系统及存储介质 | |
CN108171789A (zh) | 一种虚拟形象生成方法和系统 | |
CN110755847B (zh) | 虚拟操作对象的生成方法和装置、存储介质及电子装置 | |
KR101967814B1 (ko) | 개인별 컬러 매칭 장치 및 방법 | |
CN108921856B (zh) | 图像裁剪方法、装置、电子设备及计算机可读存储介质 | |
CN109063671A (zh) | 用于智能化妆的方法及装置 | |
CN110866139A (zh) | 一种化妆处理方法、装置及设备 | |
CN108460398A (zh) | 图像处理方法、装置、云处理设备和计算机程序产品 | |
CN109584153A (zh) | 修饰眼部的方法、装置和系统 | |
CN104794693A (zh) | 一种人脸关键区域自动检测蒙版的人像优化方法 | |
CN109447031A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113344837B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
CN109035380A (zh) | 基于三维重建的人脸修饰方法、装置、设备及存储介质 | |
CN114155569B (zh) | 一种化妆进度检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |