CN107610239A - 一种脸谱的虚拟试戴方法及装置 - Google Patents

一种脸谱的虚拟试戴方法及装置 Download PDF

Info

Publication number
CN107610239A
CN107610239A CN201710829563.5A CN201710829563A CN107610239A CN 107610239 A CN107610239 A CN 107610239A CN 201710829563 A CN201710829563 A CN 201710829563A CN 107610239 A CN107610239 A CN 107610239A
Authority
CN
China
Prior art keywords
facial
types
beijing operas
model
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710829563.5A
Other languages
English (en)
Other versions
CN107610239B (zh
Inventor
张晓民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Paxoi Software Development Co Ltd
Original Assignee
Guangzhou Paxoi Software Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Paxoi Software Development Co Ltd filed Critical Guangzhou Paxoi Software Development Co Ltd
Priority to CN201710829563.5A priority Critical patent/CN107610239B/zh
Publication of CN107610239A publication Critical patent/CN107610239A/zh
Application granted granted Critical
Publication of CN107610239B publication Critical patent/CN107610239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Cosmetics (AREA)

Abstract

本发明公开了一种脸谱的虚拟试戴方法及装置，该方法包括：构建脸谱模型；获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集；依据所述脸部特征点坐标集构建面部三维网格模型；从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。该发明的有益效果为：通过脸部特征点将脸谱与用户的脸型完美匹配，可实时地使用用户的表情驱动所试戴的脸谱图像，使得脸谱可以在用户的面部上生动地表现，提升用户的试戴体验。

Description

一种脸谱的虚拟试戴方法及装置
技术领域
本技术涉及图像处理技术领域，具体涉及一种脸谱的虚拟试戴方法及装置。
背景技术
近来通过摄像头试戴卡通面具、戏剧脸谱的应用越来越多，但是大多数脸谱的虚拟试戴都存在不能和用户的脸型完全匹配，无法用用户的表情去驱动脸谱的问题，使得试戴效果看起来非常僵硬。
发明内容
本发明的目的在于解决现有技术中大多数脸谱的虚拟试戴都存在不能和用户的脸型完全匹配，无法用用户的表情去驱动脸谱的问题，提供一种脸谱的虚拟试戴方法及装置。
本发明解决其技术问题所采用的技术方案是：
提供一种脸谱的虚拟试戴方法，包括：
构建脸谱模型；
获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集；
依据所述脸部特征点坐标集构建面部三维网格模型；
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
在本发明所述的虚拟试戴方法中，所述构建脸谱模型，包括：
通过摄像头获取样本面部图像，并从所述样本面部图像中提取多个面部特征点；
依据多个所述面部特征点构建样本面部网格模型；
对所述样本面部网格模型展开为多个顶点纹理坐标；
依据多个所述顶点纹理坐标进行贴图操作，从而形成脸谱模型。
在本发明所述的虚拟试戴方法中，所述获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集，包括：
通过摄像头获取用户的脸部图像；
依据AAM算法识别所述脸部图像，并从所述脸部图像中提取多个面部特征点，从而形成脸部特征点坐标集。
在本发明所述的虚拟试戴方法中，所述依据所述脸部特征点坐标集构建面部三维网格模型，包括：
依据所述面部特征点集实时地构建多个所述面部特征点对应的面部三维网格模型；
依据所述面部三维网格模型构建三角形图片列表。
在本发明所述的虚拟试戴方法中，所述从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配所述脸谱模型，从而实现实时地脸谱虚拟试戴，包括：
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标；
依据所述顶点纹理坐标及所述三角形图片列表构建实时的面部3D网格模型；
将所述面部3D网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
另一方面，提供一种脸谱的虚拟试戴装置，其中存储有多条指令，所述指令适于由处理器加载并执行，包括：
构建脸谱模型；
获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集；
依据所述脸部特征点坐标集构建面部三维网格模型；
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
在本发明所述的虚拟试戴装置中，所述构建脸谱模型，包括：
通过摄像头获取样本面部图像，并从所述样本面部图像中提取多个面部特征点；
依据多个所述面部特征点构建样本面部网格模型；
对所述样本面部网格模型展开为多个顶点纹理坐标；
依据多个所述顶点纹理坐标进行贴图操作，从而形成脸谱模型。
在本发明所述的虚拟试戴装置中，所述获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集，包括：
通过摄像头获取用户的脸部图像；
依据AAM算法识别所述脸部图像，并从所述脸部图像中提取多个面部特征点，从而形成脸部特征点坐标集。
在本发明所述的虚拟试戴装置中，所述依据所述脸部特征点坐标集构建面部三维网格模型，包括：
依据所述面部特征点集实时地构建多个所述面部特征点对应的面部三维网格模型；
依据所述面部三维网格模型构建三角形图片列表。
在本发明所述的虚拟试戴装置中，所述从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配所述脸谱模型，从而实现实时地脸谱虚拟试戴，包括：
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标；
依据所述顶点纹理坐标及所述三角形图片列表构建实时的面部3D网格模型；
将所述面部3D网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
上述公开的一种脸谱的虚拟试戴方法及装置具有以下有益效果：通过脸部特征点将脸谱与用户的脸型完美匹配，可实时地使用用户的表情驱动所试戴的脸谱图像，使得脸谱可以在用户的面部上生动地表现，提升用户的试戴体验。
附图说明
图1为本发明一实施例提供的一种脸谱的虚拟试戴方法的流程图；
图2为本发明一实施例提供的构建脸谱模型的流程图；
图3为本发明一实施例提供的虚拟试戴的细节流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供了一种脸谱的虚拟试戴方法及装置，其目的在于，用户通过使用Webcam使用AR技术试戴脸谱的时候，脸谱可以和用户的脸型完美匹配，而且可以使用用户的表情来驱动试戴的脸谱，例如使得脸谱就像绘制在用户脸上的京剧脸谱一样，用户脸部的细微表情可以在脸谱上表现出来，提升用户的试戴体验。
参见图1，图1为本发明一实施例提供的一种脸谱的虚拟试戴方法的流程图，该脸谱的虚拟试戴方法可通过计算机程序实现，具体包括以下步骤S1-S4：
S1、构建脸谱模型；参见图2，图2为本发明一实施例提供的构建脸谱模型的流程图，步骤S1包括子步骤S11-S14：
S11、通过摄像头获取样本面部图像，并从所述样本面部图像中提取多个面部特征点；使用主动外观模型法，对摄像头捕获的面部图像进行分析，提取用户的面部的关键特征点。面部特征点可以根据实际需求设定，一般在面部的五官上均设置有面部特征点，通过面部特征点可用于描述一个面部图像。
S12、依据多个所述面部特征点构建样本面部网格模型；即使用这些特征点构建一个基本的面部网格模型作为脸谱模型的基本模型。
S13、对所述样本面部网格模型展开为多个顶点纹理坐标；例如使用3DMAX等建模软件对所有的脸谱都在该模型上展开UV坐标。UV坐标是指所有的图象文件都是二维的一个平面。水平方向是U，垂直方向是V，通过这个平面的，二维的UV坐标系。
S14、依据多个所述顶点纹理坐标进行贴图操作，从而形成脸谱模型。对UV坐标进行贴图操作，之后将该模型导出作为每个脸谱模型资源。
S2、获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集；参见图3，图3为本发明一实施例提供的虚拟试戴的细节流程图，步骤S2包括子步骤S21-S22：
S21、通过摄像头获取用户的脸部图像；摄像头捕获到其他的用户的时候，关键特征点的熟练度不会发生改变，特征点的坐标因人而异有所改变，使用摄像头实时捕获的关键特征点数据。
S22、依据AAM(Active Appreance Model)算法识别所述脸部图像，并从所述脸部图像中提取多个面部特征点，从而形成脸部特征点坐标集。
S3、依据所述脸部特征点坐标集构建面部三维网格模型；参见图3，步骤S3包括子步骤S31-S32：
S31、依据所述面部特征点集实时地构建多个所述面部特征点对应的面部三维网格模型；实时构建关键特征点的面部三维网格模型。
S32、依据所述面部三维网格模型构建三角形图片列表。
S4、从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。参见图3，步骤S4包括子步骤S41-S43：
S41、从所述脸谱模型中读取多个面部特征点的顶点纹理坐标；从对应的脸谱资源模型中读取出每个特征点的顶点纹理坐标(即UV坐标)。
S42、依据所述顶点纹理坐标及所述三角形图片列表构建实时的面部3D网格模型。
S43、将所述面部3D网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。将对应的脸谱纹理赋给网格模型，即可完成脸谱与用户脸型的匹配。用户关键特征点数据是从用户的实时图像中获取的，用户的面部的细微改变都会驱动3D网格模型的改变，所以用户的表情也就可以驱动脸谱改变。
综上所述，该脸谱的虚拟试戴方法及装置具有以下有益效果：脸谱于试戴者的面部更加温和；可使用户的实时表情驱动脸谱发生改变，从而获得更好的用户体验。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (10)

1.一种脸谱的虚拟试戴方法，其特征在于，包括：
构建脸谱模型；
获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集；
依据所述脸部特征点坐标集构建面部三维网格模型；
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
2.根据权利要求1所述的虚拟试戴方法，其特征在于，所述构建脸谱模型，包括：
通过摄像头获取样本面部图像，并从所述样本面部图像中提取多个面部特征点；
依据多个所述面部特征点构建样本面部网格模型；
对所述样本面部网格模型展开为多个顶点纹理坐标；
依据多个所述顶点纹理坐标进行贴图操作，从而形成脸谱模型。
3.根据权利要求2所述的虚拟试戴方法，其特征在于，所述获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集，包括：
通过摄像头获取用户的脸部图像；
依据AAM算法识别所述脸部图像，并从所述脸部图像中提取多个面部特征点，从而形成脸部特征点坐标集。
4.根据权利要求3所述的虚拟试戴方法，其特征在于，所述依据所述脸部特征点坐标集构建面部三维网格模型，包括：
依据所述面部特征点集实时地构建多个所述面部特征点对应的面部三维网格模型；
依据所述面部三维网格模型构建三角形图片列表。
5.根据权利要求4所述的虚拟试戴方法，其特征在于，所述从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配所述脸谱模型，从而实现实时地脸谱虚拟试戴，包括：
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标；
依据所述顶点纹理坐标及所述三角形图片列表构建实时的面部3D网格模型；
将所述面部3D网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
6.一种脸谱的虚拟试戴装置，其中存储有多条指令，所述指令适于由处理器加载并执行，其特征在于，包括：
构建脸谱模型；
获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集；
依据所述脸部特征点坐标集构建面部三维网格模型；
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
7.根据权利要求6所述的虚拟试戴装置，其特征在于，所述构建脸谱模型，包括：
通过摄像头获取样本面部图像，并从所述样本面部图像中提取多个面部特征点；
依据多个所述面部特征点构建样本面部网格模型；
对所述样本面部网格模型展开为多个顶点纹理坐标；
依据多个所述顶点纹理坐标进行贴图操作，从而形成脸谱模型。
8.根据权利要求7所述的虚拟试戴装置，其特征在于，所述获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集，包括：
通过摄像头获取用户的脸部图像；
依据AAM算法识别所述脸部图像，并从所述脸部图像中提取多个面部特征点，从而形成脸部特征点坐标集。
9.根据权利要求8所述的虚拟试戴装置，其特征在于，所述依据所述脸部特征点坐标集构建面部三维网格模型，包括：
依据所述面部特征点集实时地构建多个所述面部特征点对应的面部三维网格模型；
依据所述面部三维网格模型构建三角形图片列表。
10.根据权利要求9所述的虚拟试戴装置，其特征在于，所述从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配所述脸谱模型，从而实现实时地脸谱虚拟试戴，包括：
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标；
依据所述顶点纹理坐标及所述三角形图片列表构建实时的面部3D网格模型；
将所述面部3D网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
CN201710829563.5A 2017-09-14 2017-09-14 一种脸谱的虚拟试戴方法及装置 Active CN107610239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710829563.5A CN107610239B (zh) 2017-09-14 2017-09-14 一种脸谱的虚拟试戴方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710829563.5A CN107610239B (zh) 2017-09-14 2017-09-14 一种脸谱的虚拟试戴方法及装置

Publications (2)

Publication Number Publication Date
CN107610239A true CN107610239A (zh) 2018-01-19
CN107610239B CN107610239B (zh) 2020-11-03

Family

ID=61063386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710829563.5A Active CN107610239B (zh) 2017-09-14 2017-09-14 一种脸谱的虚拟试戴方法及装置

Country Status (1)

Country Link
CN (1) CN107610239B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664884A (zh) * 2018-03-17 2018-10-16 广州帕克西软件开发有限公司 一种虚拟试妆方法及装置
CN108830919A (zh) * 2018-03-24 2018-11-16 广州帕克西软件开发有限公司 一种多色眼影的仿真方法及装置
CN108876713A (zh) * 2018-06-28 2018-11-23 北京字节跳动网络技术有限公司 二维模板图像的映射方法、装置、终端设备和存储介质
CN109410298A (zh) * 2018-11-02 2019-03-01 北京恒信彩虹科技有限公司 一种虚拟模型的制作方法及表情变化方法
CN109671317A (zh) * 2019-01-30 2019-04-23 重庆康普达科技有限公司 基于ar的脸谱互动教学方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140204084A1 (en) * 2012-02-21 2014-07-24 Mixamo, Inc. Systems and Methods for Animating the Faces of 3D Characters Using Images of Human Faces
CN104715447A (zh) * 2015-03-02 2015-06-17 百度在线网络技术（北京）有限公司 图像合成方法和装置
US20150235428A1 (en) * 2012-05-23 2015-08-20 Glasses.Com Systems and methods for generating a 3-d model of a user for a virtual try-on product
CN105893984A (zh) * 2016-04-29 2016-08-24 北京工业大学 一种基于面部特征的脸谱的人脸投影方法
CN106447739A (zh) * 2016-09-30 2017-02-22 北京美到家科技有限公司 化妆区域动态图像生成方法、美妆辅助方法及其装置
CN106952221A (zh) * 2017-03-15 2017-07-14 中山大学 一种三维京剧脸谱自动化妆方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140204084A1 (en) * 2012-02-21 2014-07-24 Mixamo, Inc. Systems and Methods for Animating the Faces of 3D Characters Using Images of Human Faces
US20150235428A1 (en) * 2012-05-23 2015-08-20 Glasses.Com Systems and methods for generating a 3-d model of a user for a virtual try-on product
CN104715447A (zh) * 2015-03-02 2015-06-17 百度在线网络技术（北京）有限公司 图像合成方法和装置
CN105893984A (zh) * 2016-04-29 2016-08-24 北京工业大学 一种基于面部特征的脸谱的人脸投影方法
CN106447739A (zh) * 2016-09-30 2017-02-22 北京美到家科技有限公司 化妆区域动态图像生成方法、美妆辅助方法及其装置
CN106952221A (zh) * 2017-03-15 2017-07-14 中山大学 一种三维京剧脸谱自动化妆方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664884A (zh) * 2018-03-17 2018-10-16 广州帕克西软件开发有限公司 一种虚拟试妆方法及装置
CN108664884B (zh) * 2018-03-17 2022-07-08 广州帕克西软件开发有限公司 一种虚拟试妆方法及装置
CN108830919A (zh) * 2018-03-24 2018-11-16 广州帕克西软件开发有限公司 一种多色眼影的仿真方法及装置
CN108876713A (zh) * 2018-06-28 2018-11-23 北京字节跳动网络技术有限公司 二维模板图像的映射方法、装置、终端设备和存储介质
CN108876713B (zh) * 2018-06-28 2022-07-22 北京字节跳动网络技术有限公司 二维模板图像的映射方法、装置、终端设备和存储介质
CN109410298A (zh) * 2018-11-02 2019-03-01 北京恒信彩虹科技有限公司 一种虚拟模型的制作方法及表情变化方法
CN109410298B (zh) * 2018-11-02 2023-11-17 北京恒信彩虹科技有限公司 一种虚拟模型的制作方法及表情变化方法
CN109671317A (zh) * 2019-01-30 2019-04-23 重庆康普达科技有限公司 基于ar的脸谱互动教学方法

Also Published As

Publication number Publication date
CN107610239B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
US10860838B1 (en) Universal facial expression translation and character rendering system
CN107610239A (zh) 一种脸谱的虚拟试戴方法及装置
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN105354876B (zh) 一种基于移动终端的实时立体试衣方法
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN112037320B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN104123749A (zh) 一种图像处理方法及系统
KR100896643B1 (ko) Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치
US20130127827A1 (en) Multiview Face Content Creation
JP2009020761A (ja) 画像処理装置及びその方法
CN103745206B (zh) 一种人脸识别方法及系统
US20210375045A1 (en) System and method for reconstructing a 3d human body under clothing
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN115049799A (zh) 3d模型和虚拟形象的生成方法和装置
CN111028354A (zh) 一种基于图像序列的模型形变人脸三维重建方案
CN114723888B (zh) 三维发丝模型生成方法、装置、设备、存储介质及产品
CN111667005A (zh) 一种采用rgbd视觉传感的人体交互系统
JP4474546B2 (ja) 顔形状モデリングシステムおよび顔形状モデリング方法
KR101696007B1 (ko) 3d 몽타주 생성 장치 및 방법
CN113808277A (zh) 一种图像处理方法及相关装置
Teng et al. Facial expressions recognition based on convolutional neural networks for mobile virtual reality
KR101787255B1 (ko) 랜드마크의 거리의 비율에 기반한 표정 인식 방법
CN114862716A (zh) 人脸图像的图像增强方法、装置、设备及存储介质
CN114758041A (zh) 虚拟对象展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant