CN110176052A - 一种面部表情模拟用模型 - Google Patents
一种面部表情模拟用模型 Download PDFInfo
- Publication number
- CN110176052A CN110176052A CN201910460492.5A CN201910460492A CN110176052A CN 110176052 A CN110176052 A CN 110176052A CN 201910460492 A CN201910460492 A CN 201910460492A CN 110176052 A CN110176052 A CN 110176052A
- Authority
- CN
- China
- Prior art keywords
- image
- facial expression
- model
- face
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 78
- 238000004088 simulation Methods 0.000 title claims abstract description 18
- 238000009877 rendering Methods 0.000 claims abstract description 17
- 230000014509 gene expression Effects 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000009499 grossing Methods 0.000 claims abstract description 7
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 21
- 210000004709 eyebrow Anatomy 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000003706 image smoothing Methods 0.000 claims 1
- 210000003205 muscle Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011437 continuous method Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及互联网技术领域，具体为一种面部表情模拟用模型，包括建立三维通用面部模型、输入基本表情图像、获取基本表情特征点、特征点与模型进行位置匹配、纹理映射和渲染处理生成表情模型，渲染包括Gouraud明暗处理、Phong明暗处理、Bezzier曲面磨光，图像预处理包括中值滤波、图像灰度化、Sobel边缘提取、对比度增强、相似度计算和二值化。本发明通过对基本表情图像的处理，将其与三维通用面部模型进行结合生成需要的面部表情模型，从二维图像生成三维的表情模型，建立一个和真人面部结构纹理相接近的面部表情模型，更具有真实感，通过纹理映射和图像渲染处理，使得三维面部表情模型更具有真实感。
Description
技术领域
本发明涉及互联网技术领域，具体为一种面部表情模拟用模型。
背景技术
面部表情(facial expression)是指通过眼部肌肉、颜面肌肉和口部肌肉的变化来表现各种情绪状态。比如眼睛不但可以传情还可以交流思想，面部表情是一种十分重要的非语言交往手段。艺术家们往往会通过对人物面部表情的描绘，来表现人物内心的情绪和情感，栩栩如生地展现人物的精神风貌。现如今的面部表情大多数采用二维平面进行显示，使用时显得不真实。鉴于此，我们提供一种面部表情模拟用模型。
发明内容
本发明的目的在于提供一种面部表情模拟用模型，以解决上述背景技术中提出现如今面部表情大多数采用二维平面进行显示，使用时显得不真实的问题。
为实现上述目的，本发明提供如下技术方案：
一种面部表情模拟用模型，包括建立三维通用面部模型、输入基本表情图像、获取基本表情特征点、特征点与模型进行位置匹配、纹理映射和渲染处理生成表情模型，具体步骤如下：
S1建立三维通用面部模型：利用建模工具根据人脸的尺寸建立通用的人脸面部模型；
S2输入基本表情图像：输入六大基本表情中的任一表情的图像；
S3获取基本表情特征点：对图像进行图像预处理，获取基本表情图像中眼、眉和嘴处特征点，同时获取基本表情图像中的面部纹理；
S4特征点与模型进行位置匹配：将基本表情图像中眼、眉和嘴处的特征点与通用的人脸面部模型进行位置匹配；
S5纹理映射：将基本表情图像中的面部纹理映射于通用的人脸面部模型上，得到初始面部表情模型；
S6渲染处理生成表情模型：建立空间三维网格通过渲染对初始面部表情模型的明暗度和光滑度进行调整，得到最终的面部表情模型。
作为优选，所述六大基本表情包括喜悦、悲伤、惊奇、恐惧、厌恶和愤怒，每个基本表情中眼、眉和嘴的外形结构均不相同。
作为优选，所述渲染包括Gouraud明暗处理、Phong明暗处理、Bezzier曲面磨光。
作为优选，所述Gouraud明暗处理将曲面表面的光亮度取为该曲面的各多边形顶点光亮度的双线性插值，多边形的光亮度产生层次或连续的变化。
作为优选，所述Phong明暗处理将离散的法向量作双线性插值，构造一个连续的法向量函数，将这一连续的法向量插值函数代入亮度计算公式，即可得到一个非线性的亮度插值公式。
作为优选，所述Bezzier曲面磨光包括网格的细化、控制点的计算和边界处理。
作为优选，所述图像预处理包括中值滤波、图像灰度化、Sobel边缘提取、对比度增强、相似度计算和二值化。
作为优选，所述中值滤波对图像进行平滑处理，降低图像的视觉噪声，所述图像灰度化将彩色图像转换为灰度图像，灰度图像在保留了人脸主要特征信息的基础上，减少总信息量，所述图像灰度化的处理方法包括最大值法、平均值法和加权平均值法。
作为优选，所述Sobel边缘提取采用梯度微分锐化图像，使图像边缘的噪声和条纹得到增强，Sobel边缘提取是相隔两行或两列之差分，使边缘两侧元素得到增强，边缘显得粗而亮，所述对比度增强对图像进行处理，将对比度拉开，使图像原本模糊的边缘变得清晰。
与现有技术相比，本发明的有益效果是：本面部表情模拟用模型通过对基本表情图像的处理，将其与三维通用面部模型进行结合生成需要的面部表情模型，从二维图像生成三维的表情模型，建立一个和真人面部结构纹理相接近的面部表情模型，更具有真实感，通过纹理映射和图像渲染处理，使得三维面部表情模型更具有真实感。
附图说明
图1为本发明的流程框图；
图2为本发明图像预处理的框图；
图3为本发明Phong明暗处理p点的数学模型图；
图4为本发明Phong明暗处理V点的数学模型图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4所示，本发明提供以下技术方案：
一种面部表情模拟用模型，如图1所示，包括建立三维通用面部模型、输入基本表情图像、获取基本表情特征点、特征点与模型进行位置匹配、纹理映射和渲染处理生成表情模型，具体步骤如下：
S1建立三维通用面部模型：利用建模工具根据人脸的尺寸建立通用的人脸面部模型；
S2输入基本表情图像：输入六大基本表情中的任一表情的图像；
S3获取基本表情特征点：对图像进行图像预处理，获取基本表情图像中眼、眉和嘴处特征点，同时获取基本表情图像中的面部纹理；
S4特征点与模型进行位置匹配：将基本表情图像中眼、眉和嘴处的特征点与通用的人脸面部模型进行位置匹配；
S5纹理映射：将基本表情图像中的面部纹理映射于通用的人脸面部模型上，得到初始面部表情模型；
S6渲染处理生成表情模型：建立空间三维网格通过渲染对初始面部表情模型的明暗度和光滑度进行调整，得到最终的面部表情模型。
六大基本表情包括喜悦、悲伤、惊奇、恐惧、厌恶和愤怒，每个基本表情中眼、眉和嘴的外形结构均不相同。
进一步的，渲染包括Gouraud明暗处理、Phong明暗处理、Bezzier曲面磨光。
具体的，Gouraud明暗处理将曲面表面的光亮度取为该曲面的各多边形顶点光亮度的双线性插值，多边形的光亮度产生层次或连续的变化，曲面人脸由三角形网格表示，己知各三角形的法向量，则对每一顶点，可取共享该顶点的各三角形法向量的平均值作为该顶点处曲面的法向量，然后把该法向量代入光照模型计算出该顶点处曲面的光亮度值。这种结果使整个多边形的亮度呈非常光滑地变化，其外观有强烈的现实感和立体感。
此外，Phong明暗处理将离散的法向量作双线性插值，构造一个连续的法向量函数，将这一连续的法向量插值函数代入亮度计算公式，即可得到一个非线性的亮度插值公式。
如图3所示，a点法向量Na为N1和N2的线性插值，b点的法向量Nb为N1和N3的线性插值，p点的法向量Np为Na和Nb的线性插值，计算多面体每个顶点处的法向量可用以该顶点作为公共顶点的诸面的法向量平均值作为该顶点的法向量，如图4所示，V点处的法向量为：
由公式可知，上述Phong明暗处理方法能处理由任意凸多边形表示的物体表面，三维人脸网格体是由空间三角形组成的，所以在Phong明暗处理中采用的是三角形插值，这时，插值公式具有更简单的形式。
进一步的，Bezzier曲面磨光包括网格的细化、控制点的计算和边界处理。
值得说明的是，如图2所示，图像预处理包括中值滤波、图像灰度化、Sobel边缘提取、对比度增强、相似度计算和二值化。
具体的，中值滤波对图像进行平滑处理，降低图像的视觉噪声，图像灰度化将彩色图像转换为灰度图像，灰度图像在保留了人脸主要特征信息的基础上，减少总信息量，图像灰度化的处理方法包括最大值法、平均值法和加权平均值法。
此外，Sobel边缘提取采用梯度微分锐化图像，使图像边缘的噪声和条纹得到增强，Sobel边缘提取是相隔两行或两列之差分，使边缘两侧元素得到增强，边缘显得粗而亮，对比度增强对图像进行处理，将对比度拉开，使图像原本模糊的边缘变得清晰。
值得注意的是，图像灰度化将彩色图像转换为灰度图像，灰度图像在保留了人脸主要特征信息的基础上，减少总信息量，图像灰度化的处理方法包括最大值法、平均值法和加权平均值法；
最大值法：使RGB的值等于三个值中的最大值即：
R＝G＝B＝max(R,G,B)，最大值法用于完成亮度很高的灰度；
平均值法：取R，G，B三个值的平均值即：
平均值法用于完成亮度柔和的灰度；
加权平均值法：根据重要性给R，G，B赋予不同的权值，并使RGB的加权值平均即：
R＝G＝B＝(WRR+WGG+WBB)/3，其中WR、WG和WB分别为R、G、B的权值，当WR/3＝0.3，WG/3＝0.59，WB/3＝0.11时，即：
R＝G＝B＝0.3R+0.59G+0.11B，得到最合理的灰度图像。
本发明通过对基本表情图像的处理，将其与三维通用面部模型进行结合生成需要的面部表情模型，从二维图像生成三维的表情模型，建立一个和真人面部结构纹理相接近的面部表情模型，更具有真实感，通过纹理映射和图像渲染处理，使得三维面部表情模型更具有真实感。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种面部表情模拟用模型，其特征在于：包括建立三维通用面部模型、输入基本表情图像、获取基本表情特征点、特征点与模型进行位置匹配、纹理映射和渲染处理生成表情模型，具体步骤如下：
S1建立三维通用面部模型：利用建模工具根据人脸的尺寸建立通用的人脸面部模型；
S2输入基本表情图像：输入六大基本表情中的任一表情的图像；
S3获取基本表情特征点：对图像进行图像预处理，获取基本表情图像中眼、眉和嘴处特征点，同时获取基本表情图像中的面部纹理；
S4特征点与模型进行位置匹配：将基本表情图像中眼、眉和嘴处的特征点与通用的人脸面部模型进行位置匹配；
S5纹理映射：将基本表情图像中的面部纹理映射于通用的人脸面部模型上，得到初始面部表情模型；
S6渲染处理生成表情模型：建立空间三维网格通过渲染对初始面部表情模型的明暗度和光滑度进行调整，得到最终的面部表情模型。
2.根据权利要求1所述的面部表情模拟用模型，其特征在于：所述六大基本表情包括喜悦、悲伤、惊奇、恐惧、厌恶和愤怒，每个基本表情中眼、眉和嘴的外形结构均不相同。
3.根据权利要求1所述的面部表情模拟用模型，其特征在于：所述渲染包括Gouraud明暗处理、Phong明暗处理、Bezzier曲面磨光。
4.根据权利要求3所述的面部表情模拟用模型，其特征在于：所述Gouraud明暗处理将曲面表面的光亮度取为该曲面的各多边形顶点光亮度的双线性插值，多边形的光亮度产生层次或连续的变化。
5.根据权利要求3所述的面部表情模拟用模型，其特征在于：所述Phong明暗处理将离散的法向量作双线性插值，构造一个连续的法向量函数，将这一连续的法向量插值函数代入亮度计算公式，即可得到一个非线性的亮度插值公式。
6.根据权利要求3所述的面部表情模拟用模型，其特征在于：所述Bezzier曲面磨光包括网格的细化、控制点的计算和边界处理。
7.根据权利要求1所述的面部表情模拟用模型，其特征在于：所述图像预处理包括中值滤波、图像灰度化、Sobel边缘提取、对比度增强、相似度计算和二值化。
8.根据权利要求7所述的面部表情模拟用模型，其特征在于：所述中值滤波对图像进行平滑处理，降低图像的视觉噪声，所述图像灰度化将彩色图像转换为灰度图像，灰度图像在保留了人脸主要特征信息的基础上，减少总信息量，所述图像灰度化的处理方法包括最大值法、平均值法和加权平均值法。
9.根据权利要求7所述的面部表情模拟用模型，其特征在于：所述Sobel边缘提取采用梯度微分锐化图像，使图像边缘的噪声和条纹得到增强，Sobel边缘提取是相隔两行或两列之差分，使边缘两侧元素得到增强，边缘显得粗而亮，所述对比度增强对图像进行处理，将对比度拉开，使图像原本模糊的边缘变得清晰。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910460492.5A CN110176052A (zh) | 2019-05-30 | 2019-05-30 | 一种面部表情模拟用模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910460492.5A CN110176052A (zh) | 2019-05-30 | 2019-05-30 | 一种面部表情模拟用模型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110176052A true CN110176052A (zh) | 2019-08-27 |
Family
ID=67696724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910460492.5A Pending CN110176052A (zh) | 2019-05-30 | 2019-05-30 | 一种面部表情模拟用模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110176052A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5936633A (en) * | 1996-07-23 | 1999-08-10 | International Business Machines Corporation | Rendering method and apparatus, and method and apparatus for smoothing intensity-value |
| CN1818977A (zh) * | 2006-03-16 | 2006-08-16 | 上海交通大学 | 由一幅正面图像实现快速人脸模型重建的方法 |
| US20100134487A1 (en) * | 2008-12-02 | 2010-06-03 | Shang-Hong Lai | 3d face model construction method |
| US20150279044A1 (en) * | 2014-03-31 | 2015-10-01 | Tricubics Inc. | Method and apparatus for obtaining 3d face model using portable camera |
| CN109118569A (zh) * | 2018-08-16 | 2019-01-01 | Oppo广东移动通信有限公司 | 基于三维模型的渲染方法和装置 |
| CN109584353A (zh) * | 2018-10-22 | 2019-04-05 | 北京航空航天大学 | 一种基于单目视频重建三维人脸表情模型的方法 |
-
2019
- 2019-05-30 CN CN201910460492.5A patent/CN110176052A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5936633A (en) * | 1996-07-23 | 1999-08-10 | International Business Machines Corporation | Rendering method and apparatus, and method and apparatus for smoothing intensity-value |
| CN1818977A (zh) * | 2006-03-16 | 2006-08-16 | 上海交通大学 | 由一幅正面图像实现快速人脸模型重建的方法 |
| US20100134487A1 (en) * | 2008-12-02 | 2010-06-03 | Shang-Hong Lai | 3d face model construction method |
| US20150279044A1 (en) * | 2014-03-31 | 2015-10-01 | Tricubics Inc. | Method and apparatus for obtaining 3d face model using portable camera |
| CN109118569A (zh) * | 2018-08-16 | 2019-01-01 | Oppo广东移动通信有限公司 | 基于三维模型的渲染方法和装置 |
| CN109584353A (zh) * | 2018-10-22 | 2019-04-05 | 北京航空航天大学 | 一种基于单目视频重建三维人脸表情模型的方法 |
Non-Patent Citations (3)
| Title |
|---|
| 丁宾等: "基于单张图像的三维人脸建模与表情动画", 《计算机工程与设计》 * |
| 李茹: "二维人脸的三维真实感重建", 《山西大学学报(自然科学版)》 * |
| 阮晓波: "基于MATLAB的车牌图像预处理的研究", 《仪器仪表用户》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378985B (zh) | 一种基于gan的动漫绘画辅助创作方法 | |
| Pizer et al. | Hierarchical shape description via the multiresolution symmetric axis transform | |
| Sousa et al. | A few good lines: Suggestive drawing of 3d models | |
| CN101324961B (zh) | 计算机虚拟世界中人脸部三维贴图方法 | |
| Lu et al. | Illustrative interactive stipple rendering | |
| Li et al. | The wrinkle generation method for facial reconstruction based on extraction of partition wrinkle line features and fractal interpolation | |
| CN101853523A (zh) | 一种采用草图创建三维人脸模型的方法 | |
| Liao et al. | Enhancing the symmetry and proportion of 3D face geometry | |
| CN101777195A (zh) | 一种三维人脸模型的调整方法 | |
| CN103268623A (zh) | 一种基于频域分析的静态人脸表情合成方法 | |
| CN104063888B (zh) | 一种基于非真实感的波谱艺术风格绘制方法 | |
| CN103914862A (zh) | 基于边缘正切流的模拟铅笔素描画方法 | |
| CN106447763A (zh) | 一种融合稀疏形变模型与主成分回归算法的颜面照片三维重建方法 | |
| CN111950430A (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
| CN102609964A (zh) | 肖像剪纸的生成方法 | |
| CN110443872B (zh) | 一种具备动态纹理细节的表情合成方法 | |
| Yu et al. | On generating realistic avatars: dress in your own style | |
| CN110176052A (zh) | 一种面部表情模拟用模型 | |
| CN107784626B (zh) | 一种基于单幅图像的三维数字凹浮雕生成方法 | |
| Shi et al. | Skeleton modulated topological perception map for rapid viewpoint selection | |
| Setlur et al. | Is that a smile? Gaze dependent facial expressions | |
| Xu et al. | Synthesis of facial caricature using eigenspaces | |
| Erkoç et al. | An observation based muscle model for simulation of facial expressions | |
| Kim et al. | Interactive cosmetic makeup of a 3d point-based face model | |
| Schroeder et al. | Facial aging using image warping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190827 |