CN107610239B - 一种脸谱的虚拟试戴方法及装置 - Google Patents
一种脸谱的虚拟试戴方法及装置 Download PDFInfo
- Publication number
- CN107610239B CN107610239B CN201710829563.5A CN201710829563A CN107610239B CN 107610239 B CN107610239 B CN 107610239B CN 201710829563 A CN201710829563 A CN 201710829563A CN 107610239 B CN107610239 B CN 107610239B
- Authority
- CN
- China
- Prior art keywords
- facial
- face
- model
- facial makeup
- constructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Cosmetics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种脸谱的虚拟试戴方法及装置，该方法包括：构建脸谱模型；获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集；依据所述脸部特征点坐标集构建面部三维网格模型；从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。该发明的有益效果为：通过脸部特征点将脸谱与用户的脸型完美匹配，可实时地使用用户的表情驱动所试戴的脸谱图像，使得脸谱可以在用户的面部上生动地表现，提升用户的试戴体验。
Description
技术领域
本技术涉及图像处理技术领域，具体涉及一种脸谱的虚拟试戴方法及装置。
背景技术
近来通过摄像头试戴卡通面具、戏剧脸谱的应用越来越多，但是大多数脸谱的虚拟试戴都存在不能和用户的脸型完全匹配，无法用用户的表情去驱动脸谱的问题，使得试戴效果看起来非常僵硬。
发明内容
本发明的目的在于解决现有技术中大多数脸谱的虚拟试戴都存在不能和用户的脸型完全匹配，无法用用户的表情去驱动脸谱的问题，提供一种脸谱的虚拟试戴方法及装置。
本发明解决其技术问题所采用的技术方案是：
提供一种脸谱的虚拟试戴方法，包括：
构建脸谱模型；
获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集；
依据所述脸部特征点坐标集构建面部三维网格模型；
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
在本发明所述的虚拟试戴方法中，所述构建脸谱模型，包括：
通过摄像头获取样本面部图像，并从所述样本面部图像中提取多个面部特征点；
依据多个所述面部特征点构建样本面部网格模型；
对所述样本面部网格模型展开为多个顶点纹理坐标；
依据多个所述顶点纹理坐标进行贴图操作，从而形成脸谱模型。
在本发明所述的虚拟试戴方法中，所述获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集，包括：
通过摄像头获取用户的脸部图像；
依据AAM算法识别所述脸部图像，并从所述脸部图像中提取多个面部特征点，从而形成脸部特征点坐标集。
在本发明所述的虚拟试戴方法中，所述依据所述脸部特征点坐标集构建面部三维网格模型，包括：
依据所述面部特征点集实时地构建多个所述面部特征点对应的面部三维网格模型；
依据所述面部三维网格模型构建三角形图片列表。
在本发明所述的虚拟试戴方法中，所述从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配所述脸谱模型，从而实现实时地脸谱虚拟试戴，包括：
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标；
依据所述顶点纹理坐标及所述三角形图片列表构建实时的面部3D网格模型；
将所述面部3D网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
另一方面，提供一种脸谱的虚拟试戴装置，其中存储有多条指令，所述指令适于由处理器加载并执行，包括：
构建脸谱模型；
获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集；
依据所述脸部特征点坐标集构建面部三维网格模型；
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
在本发明所述的虚拟试戴装置中，所述构建脸谱模型，包括：
通过摄像头获取样本面部图像，并从所述样本面部图像中提取多个面部特征点；
依据多个所述面部特征点构建样本面部网格模型；
对所述样本面部网格模型展开为多个顶点纹理坐标；
依据多个所述顶点纹理坐标进行贴图操作，从而形成脸谱模型。
在本发明所述的虚拟试戴装置中，所述获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集，包括：
通过摄像头获取用户的脸部图像；
依据AAM算法识别所述脸部图像，并从所述脸部图像中提取多个面部特征点，从而形成脸部特征点坐标集。
在本发明所述的虚拟试戴装置中，所述依据所述脸部特征点坐标集构建面部三维网格模型，包括：
依据所述面部特征点集实时地构建多个所述面部特征点对应的面部三维网格模型；
依据所述面部三维网格模型构建三角形图片列表。
在本发明所述的虚拟试戴装置中，所述从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配所述脸谱模型，从而实现实时地脸谱虚拟试戴，包括：
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标；
依据所述顶点纹理坐标及所述三角形图片列表构建实时的面部3D网格模型；
将所述面部3D网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
上述公开的一种脸谱的虚拟试戴方法及装置具有以下有益效果：通过脸部特征点将脸谱与用户的脸型完美匹配，可实时地使用用户的表情驱动所试戴的脸谱图像，使得脸谱可以在用户的面部上生动地表现，提升用户的试戴体验。
附图说明
图1为本发明一实施例提供的一种脸谱的虚拟试戴方法的流程图；
图2为本发明一实施例提供的构建脸谱模型的流程图；
图3为本发明一实施例提供的虚拟试戴的细节流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供了一种脸谱的虚拟试戴方法及装置，其目的在于，用户通过使用Webcam使用AR技术试戴脸谱的时候，脸谱可以和用户的脸型完美匹配，而且可以使用用户的表情来驱动试戴的脸谱，例如使得脸谱就像绘制在用户脸上的京剧脸谱一样，用户脸部的细微表情可以在脸谱上表现出来，提升用户的试戴体验。
参见图1，图1为本发明一实施例提供的一种脸谱的虚拟试戴方法的流程图，该脸谱的虚拟试戴方法可通过计算机程序实现，具体包括以下步骤S1-S4：
S1、构建脸谱模型；参见图2，图2为本发明一实施例提供的构建脸谱模型的流程图，步骤S1包括子步骤S11-S14：
S11、通过摄像头获取样本面部图像，并从所述样本面部图像中提取多个面部特征点；使用主动外观模型法，对摄像头捕获的面部图像进行分析，提取用户的面部的关键特征点。面部特征点可以根据实际需求设定，一般在面部的五官上均设置有面部特征点，通过面部特征点可用于描述一个面部图像。
S12、依据多个所述面部特征点构建样本面部网格模型；即使用这些特征点构建一个基本的面部网格模型作为脸谱模型的基本模型。
S13、对所述样本面部网格模型展开为多个顶点纹理坐标；例如使用3DMAX等建模软件对所有的脸谱都在该模型上展开UV坐标。UV坐标是指所有的图象文件都是二维的一个平面。水平方向是U，垂直方向是V，通过这个平面的，二维的UV坐标系。
S14、依据多个所述顶点纹理坐标进行贴图操作，从而形成脸谱模型。对UV坐标进行贴图操作，之后将该模型导出作为每个脸谱模型资源。
S2、获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集；参见图3，图3为本发明一实施例提供的虚拟试戴的细节流程图，步骤S2包括子步骤S21-S22：
S21、通过摄像头获取用户的脸部图像；摄像头捕获到其他的用户的时候，关键特征点的熟练度不会发生改变，特征点的坐标因人而异有所改变，使用摄像头实时捕获的关键特征点数据。
S22、依据AAM(Active Appreance Model)算法识别所述脸部图像，并从所述脸部图像中提取多个面部特征点，从而形成脸部特征点坐标集。
S3、依据所述脸部特征点坐标集构建面部三维网格模型；参见图3，步骤S3包括子步骤S31-S32：
S31、依据所述面部特征点集实时地构建多个所述面部特征点对应的面部三维网格模型；实时构建关键特征点的面部三维网格模型。
S32、依据所述面部三维网格模型构建三角形图片列表。
S4、从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。参见图3，步骤S4包括子步骤S41-S43：
S41、从所述脸谱模型中读取多个面部特征点的顶点纹理坐标；从对应的脸谱资源模型中读取出每个特征点的顶点纹理坐标(即UV坐标)。
S42、依据所述顶点纹理坐标及所述三角形图片列表构建实时的面部3D网格模型。
S43、将所述面部3D网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。将对应的脸谱纹理赋给网格模型，即可完成脸谱与用户脸型的匹配。用户关键特征点数据是从用户的实时图像中获取的，用户的面部的细微改变都会驱动3D网格模型的改变，所以用户的表情也就可以驱动脸谱改变。
综上所述，该脸谱的虚拟试戴方法及装置具有以下有益效果：脸谱于试戴者的面部更加温和；可使用户的实时表情驱动脸谱发生改变，从而获得更好的用户体验。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。
Claims (8)
1.一种脸谱的虚拟试戴方法，其特征在于，包括：
构建脸谱模型；
获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集；
依据所述脸部特征点坐标集构建面部三维网格模型；
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴；
其中，所述构建脸谱模型，包括：
通过摄像头获取样本面部图像，并从所述样本面部图像中提取多个面部特征点；
依据多个所述面部特征点构建样本面部网格模型；
对所述样本面部网格模型展开为多个顶点纹理坐标；
依据多个所述顶点纹理坐标进行贴图操作，从而形成脸谱模型。
2.根据权利要求1所述的虚拟试戴方法，其特征在于，所述获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集，包括：
通过摄像头获取用户的脸部图像；
依据AAM算法识别所述脸部图像，并从所述脸部图像中提取多个面部特征点，从而形成脸部特征点坐标集。
3.根据权利要求2所述的虚拟试戴方法，其特征在于，所述依据所述脸部特征点坐标集构建面部三维网格模型，包括：
依据所述面部特征点集实时地构建多个所述面部特征点对应的面部三维网格模型；
依据所述面部三维网格模型构建三角形图片列表。
4.根据权利要求3所述的虚拟试戴方法，其特征在于，所述从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配所述脸谱模型，从而实现实时地脸谱虚拟试戴，包括：
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标；
依据所述顶点纹理坐标及所述三角形图片列表构建实时的面部3D网格模型；
将所述面部3D网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
5.一种脸谱的虚拟试戴装置，其中存储有多条指令，所述指令适于由处理器加载并执行，其特征在于，包括：
构建脸谱模型；
获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集；
依据所述脸部特征点坐标集构建面部三维网格模型；
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴；
其中，所述构建脸谱模型，包括：
通过摄像头获取样本面部图像，并从所述样本面部图像中提取多个面部特征点；
依据多个所述面部特征点构建样本面部网格模型；
对所述样本面部网格模型展开为多个顶点纹理坐标；
依据多个所述顶点纹理坐标进行贴图操作，从而形成脸谱模型。
6.根据权利要求5所述的虚拟试戴装置，其特征在于，所述获取脸部图像，并识别所述脸部图像以获取脸部特征点坐标集，包括：
通过摄像头获取用户的脸部图像；
依据AAM算法识别所述脸部图像，并从所述脸部图像中提取多个面部特征点，从而形成脸部特征点坐标集。
7.根据权利要求6所述的虚拟试戴装置，其特征在于，所述依据所述脸部特征点坐标集构建面部三维网格模型，包括：
依据所述面部特征点集实时地构建多个所述面部特征点对应的面部三维网格模型；
依据所述面部三维网格模型构建三角形图片列表。
8.根据权利要求7所述的虚拟试戴装置，其特征在于，所述从所述脸谱模型中读取多个面部特征点的顶点纹理坐标，并将所述顶点纹理坐标通过所述面部三维网格模型匹配所述脸谱模型，从而实现实时地脸谱虚拟试戴，包括：
从所述脸谱模型中读取多个面部特征点的顶点纹理坐标；
依据所述顶点纹理坐标及所述三角形图片列表构建实时的面部3D网格模型；
将所述面部3D网格模型匹配至所述脸谱模型，从而实现实时地脸谱虚拟试戴。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710829563.5A CN107610239B (zh) | 2017-09-14 | 2017-09-14 | 一种脸谱的虚拟试戴方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710829563.5A CN107610239B (zh) | 2017-09-14 | 2017-09-14 | 一种脸谱的虚拟试戴方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107610239A CN107610239A (zh) | 2018-01-19 |
| CN107610239B true CN107610239B (zh) | 2020-11-03 |
Family
ID=61063386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710829563.5A Active CN107610239B (zh) | 2017-09-14 | 2017-09-14 | 一种脸谱的虚拟试戴方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107610239B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108664884B (zh) * | 2018-03-17 | 2022-07-08 | 广州帕克西软件开发有限公司 | 一种虚拟试妆方法及装置 |
| CN108830919A (zh) * | 2018-03-24 | 2018-11-16 | 广州帕克西软件开发有限公司 | 一种多色眼影的仿真方法及装置 |
| CN108876713B (zh) * | 2018-06-28 | 2022-07-22 | 北京字节跳动网络技术有限公司 | 二维模板图像的映射方法、装置、终端设备和存储介质 |
| CN109410298B (zh) * | 2018-11-02 | 2023-11-17 | 北京恒信彩虹科技有限公司 | 一种虚拟模型的制作方法及表情变化方法 |
| CN109671317B (zh) * | 2019-01-30 | 2021-05-25 | 重庆康普达科技有限公司 | 基于ar的脸谱互动教学方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104715447A (zh) * | 2015-03-02 | 2015-06-17 | 百度在线网络技术（北京）有限公司 | 图像合成方法和装置 |
| CN105893984A (zh) * | 2016-04-29 | 2016-08-24 | 北京工业大学 | 一种基于面部特征的脸谱的人脸投影方法 |
| CN106447739A (zh) * | 2016-09-30 | 2017-02-22 | 北京美到家科技有限公司 | 化妆区域动态图像生成方法、美妆辅助方法及其装置 |
| CN106952221A (zh) * | 2017-03-15 | 2017-07-14 | 中山大学 | 一种三维京剧脸谱自动化妆方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130215113A1 (en) * | 2012-02-21 | 2013-08-22 | Mixamo, Inc. | Systems and methods for animating the faces of 3d characters using images of human faces |
| US20130314401A1 (en) * | 2012-05-23 | 2013-11-28 | 1-800 Contacts, Inc. | Systems and methods for generating a 3-d model of a user for a virtual try-on product |
-
2017
- 2017-09-14 CN CN201710829563.5A patent/CN107610239B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104715447A (zh) * | 2015-03-02 | 2015-06-17 | 百度在线网络技术（北京）有限公司 | 图像合成方法和装置 |
| CN105893984A (zh) * | 2016-04-29 | 2016-08-24 | 北京工业大学 | 一种基于面部特征的脸谱的人脸投影方法 |
| CN106447739A (zh) * | 2016-09-30 | 2017-02-22 | 北京美到家科技有限公司 | 化妆区域动态图像生成方法、美妆辅助方法及其装置 |
| CN106952221A (zh) * | 2017-03-15 | 2017-07-14 | 中山大学 | 一种三维京剧脸谱自动化妆方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107610239A (zh) | 2018-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610239B (zh) | 一种脸谱的虚拟试戴方法及装置 | |
| US10460512B2 (en) | 3D skeletonization using truncated epipolar lines | |
| US10789453B2 (en) | Face reenactment | |
| US11928800B2 (en) | Image coordinate system transformation method and apparatus, device, and storage medium | |
| WO2021093453A1 (zh) | 三维表情基的生成方法、语音互动方法、装置及介质 | |
| US10860838B1 (en) | Universal facial expression translation and character rendering system | |
| US10599914B2 (en) | Method and apparatus for human face image processing | |
| JP2021008126A (ja) | ３ｄプリントされたカスタム着用物の生成 | |
| US8861800B2 (en) | Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction | |
| CN110119700B (zh) | 虚拟形象控制方法、虚拟形象控制装置和电子设备 | |
| CN113420719B (zh) | 生成动作捕捉数据的方法、装置、电子设备以及存储介质 | |
| WO2021082801A1 (zh) | 增强现实处理方法及装置、系统、存储介质和电子设备 | |
| CN112042182B (zh) | 通过面部表情操纵远程化身 | |
| US20130127827A1 (en) | Multiview Face Content Creation | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| EP3876204A2 (en) | Method and apparatus for generating human body three-dimensional model, device and storage medium | |
| CN116437137B (zh) | 直播处理方法、装置、电子设备及存储介质 | |
| US20140198177A1 (en) | Realtime photo retouching of live video | |
| CN113223125B (zh) | 一种虚拟形象的面部驱动方法、装置、设备和介质 | |
| CN112714337A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN111107264A (zh) | 图像处理方法、装置、存储介质以及终端 | |
| CN112866741B (zh) | 一种基于3d人脸动画重建的礼物动效展示方法及系统 | |
| KR101787255B1 (ko) | 랜드마크의 거리의 비율에 기반한 표정 인식 방법 | |
| CN114758041A (zh) | 虚拟对象展示方法、装置、电子设备及存储介质 | |
| CN114529649A (zh) | 图像处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |