CN113191282A - 人脸表情动画的生成方法、装置、设备及存储介质 - Google Patents
人脸表情动画的生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113191282A CN113191282A CN202110496995.5A CN202110496995A CN113191282A CN 113191282 A CN113191282 A CN 113191282A CN 202110496995 A CN202110496995 A CN 202110496995A CN 113191282 A CN113191282 A CN 113191282A
- Authority
- CN
- China
- Prior art keywords
- face
- facial expression
- layer
- model
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 41
- 230000001815 facial effect Effects 0.000 claims abstract description 20
- 238000009877 rendering Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000011176 pooling Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种人脸表情动画的生成方法、装置、设备及存储介质，所述人脸表情动画的生成方法包括：利用摄像头实时获取人脸图像；通过深度神经网络对所述人脸图像进行特征提取，获得人脸表情数据和模型形变参数；利用所述人脸表情数据和所述模型形变参数对人脸模型进行形变；通过渲染器对形变后的所述人脸模型进行实时渲染，获得人脸表情动画。本发明的人脸表情动画由于使用的深度神经网络进行人脸特征的提取，提高了人脸特征的提取效率，从而节省了人脸表情动画的制作时间。
Description
技术领域
本发明涉及表情制作技术领域，尤其涉及一种人脸表情动画的生成方法、装置、设备及存储介质。
背景技术
目前可以找到一些3D人脸建模技术，例如激光扫描、立体视角照相机等都是基于计算机视觉的方法，这些方法成本高，很难普及，且需要高强度的计算。常用的三维人脸建模和动画的标准人脸模型可以由Poser、Maya、3DMax等软件制作并导出，但常常需要手动调整，操作比较繁琐，耗时长，效率低。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于解决现有技术人脸表情动画的制作方法操作繁琐，耗时长的技术问题。
本发明第一方面提供了一种人脸表情动画的生成方法，所述人脸表情动画的生成方法包括：
利用摄像头实时获取人脸图像；
通过深度神经网络对所述人脸图像进行特征提取，获得人脸表情数据和模型形变参数；
利用所述人脸表情数据和所述模型形变参数对人脸模型进行形变；
通过渲染器对形变后的所述人脸模型进行实时渲染，获得人脸表情动画。
在本发明第一方面一种可选的实施方式中，所述深度神经网络依次包括输入层、第一卷积层、第二卷积层、第一池化层、第三卷积层、第二池化层、第四卷积层、第三池化层、第一全连接层、第二全连接层和输出层。
在本发明第一方面一种可选的实施方式中，所述第一卷积层的卷积核大小为1*1，所述第二卷积层的卷积核大小为5*5，所述第一池化层的卷积核大小为2*2，所述第三卷积层的卷积核大小为3*3，所述第二池化层的卷积核大小为2*2，所述第四卷积层的卷积核大小为5*5，所述第三池化层的卷积核大小为2*2。
在本发明第一方面一种可选的实施方式中，所述通过深度神经网络对所述人脸图像进行特征提取之前包括：
获取训练样本；
对所述训练样本进行数据增强；
将数据增强后的所述训练样本输入到所述深度神经网络中，对所述深度神经网络进行训练；
优化所述深度神经网络中的损失函数，直至所述损失函数达到预设值。
在本发明第一方面一种可选的实施方式中，所述对所述训练样本进行数据增强包括：
对所述训练样本进行翻转、旋转、平移、缩放和裁剪操作，以增加所述训练样本的多样性。
在本发明第一方面一种可选的实施方式中，所述通过深度神经网络对所述人脸图像进行特征提取，获得人脸表情数据和人脸模型形变参数包括：
对光照不佳的人脸图像进行图像增强；
对所述人脸图像进行人脸检测和人脸特征点检测，以确定人脸区域；
裁剪出所述人脸图像中的人脸区域，对裁剪出的所述人脸区域进行人脸识别，获得人脸表情数据和人脸模型形变参数。
在本发明第一方面一种可选的实施方式中，利用所述人脸表情数据和所述人脸模型形变参数对人脸模型进行形变包括：
确定人脸模型中人脸特征点的位置；
将所述人脸表情数据按照所述人脸特征点的位置进行对齐；
在对齐后的所述人脸模型上添加人脸模型形变参数完成所述人脸模型的形变。
本发明第二方面提供了一种人脸表情动画的生成装置，所述人脸表情动画的生成装置包括：
摄像模块，用于利用摄像头实时获取人脸图像；
特征提取模块，用于通过深度神经网络对所述人脸图像进行特征提取，获得人脸表情数据和模型形变参数；
形变模块，用于利用所述人脸表情数据和所述模型形变参数对人脸模型进行形变；
渲染模块，用于通过渲染器对形变后的所述人脸模型进行实时渲染，获得人脸表情动画。
本发明第三方面提供了一种人脸表情动画的生成设备，所述人脸表情动画的生成设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述人脸表情动画的生成设备执行如上述任一项所述的人脸表情动画的生成方法。
本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的人脸表情动画的生成方法。
有益效果：本发明提供了一种人脸表情动画的生成方法、装置、设备及存储介质，所述人脸表情动画的生成方法包括：利用摄像头实时获取人脸图像；通过深度神经网络对所述人脸图像进行特征提取，获得人脸表情数据和模型形变参数；利用所述人脸表情数据和所述模型形变参数对人脸模型进行形变；通过渲染器对形变后的所述人脸模型进行实时渲染，获得人脸表情动画。本发明的人脸表情动画由于使用的深度神经网络进行人脸特征的提取，提高了人脸特征的提取效率，从而节省了人脸表情动画的制作时间。
附图说明
图1为本发明一种人脸表情动画的生成方法的一个实施例示意图；
图2为本发明一种人脸表情动画的生成装置的一个实施例示意图；
图3为本发明一种人脸表情动画的生成设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种人脸表情动画的生成方法、装置、设备及存储介质。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明第一方面提供了一种人脸表情动画的生成方法，所述人脸表情动画的生成方法包括：
S100、利用摄像头实时获取人脸图像；
S200、通过深度神经网络对所述人脸图像进行特征提取，获得人脸表情数据和模型形变参数；
S300、利用所述人脸表情数据和所述模型形变参数对人脸模型进行形变；
S400、通过渲染器对形变后的所述人脸模型进行实时渲染，获得人脸表情动画。
本发明人脸表情动画的生成方法的主要流程即是从普通摄像头中采集人脸图像，对光照不佳的图像进行图像增强。对采集到的普通图像进行人脸检测和人脸特征点检测，以此确定人脸区域，对裁剪出的人脸区域进行人脸表情识别和人脸重建，可获得对应2D人脸图像的3D模型数据，再利用渲染器即可实现3D动画。
在本发明第一方面一种可选的实施方式中，所述深度神经网络依次包括输入层、第一卷积层、第二卷积层、第一池化层、第三卷积层、第二池化层、第四卷积层、第三池化层、第一全连接层、第二全连接层和输出层。
在本发明第一方面一种可选的实施方式中，所述第一卷积层的卷积核大小为1*1，所述第二卷积层的卷积核大小为5*5，所述第一池化层的卷积核大小为2*2，所述第三卷积层的卷积核大小为3*3，所述第二池化层的卷积核大小为2*2，所述第四卷积层的卷积核大小为5*5，所述第三池化层的卷积核大小为2*2。
具体的，本发明的深度神经网络如下表所示：
深度神经网络是人脸表情识别最有效的方法，神经网络模型结构则会影响识别的效果，所以确定神经网络模型是至关重要的。本发明深度神经网络结合CNN网络以及VGG网络的思想，其中包括四个卷积层、三个池化层以及两个全连接层，在全连接层处利用VGG网络的思想，采用dropout方法防止模型的过拟合。为增加输入数据的非线性性能，采用1×1的卷积核对输入数据首先进行处理，其拓宽了数据的维度，加强了网络深度，使得模型表达更为有效。
在本发明第一方面一种可选的实施方式中，所述通过深度神经网络对所述人脸图像进行特征提取之前包括：
获取训练样本；
对所述训练样本进行数据增强；
将数据增强后的所述训练样本输入到所述深度神经网络中，对所述深度神经网络进行训练；
优化所述深度神经网络中的损失函数，直至所述损失函数达到预设值。
对于深度神经网络的训练，一般需要大量的数据作为样本才能完善神经网络的性能。由于数据库制作的复杂性，在有限样本情况下，可以通过数据增强实现样本的多样性。在人脸表情识别中，为避免网络出现过拟合，对于数据库中的人脸图像，可采用旋转裁剪等方式进行数据增强，以增加网络的泛化能力以及模型的鲁棒性。数据增强一般有两种作用，一是增加训练样本的多样性，二是降低样本某些无关属性对神经网络的影响。为增加训练样本的多样性，本文采取图像翻转、旋转的方式，丰富样本容量；为减少样本无关属性的影响，本文采取平移、缩放、裁剪来降低神经网络对图像中人脸位置的敏感性，从而弱化样本的强监督作用。
在本发明第一方面一种可选的实施方式中，所述对所述训练样本进行数据增强包括：
对所述训练样本进行翻转、旋转、平移、缩放和裁剪操作，以增加所述训练样本的多样性。
在本发明第一方面一种可选的实施方式中，所述通过深度神经网络对所述人脸图像进行特征提取，获得人脸表情数据和人脸模型形变参数包括：
对光照不佳的人脸图像进行图像增强；图像增强是为了解决在复杂环境中的人脸检测问题，对于快速图像增强，实质上最快速的方法是采用神经网络训练；
对所述人脸图像进行人脸检测和人脸特征点检测，以确定人脸区域；
裁剪出所述人脸图像中的人脸区域，对裁剪出的所述人脸区域进行人脸识别，获得人脸表情数据和人脸模型形变参数。
本发明人脸表情动画的生成方法是从普通摄像头中采集人脸图像开始，之后对光照不佳的图像进行图像增强，对采集到的普通图像进行人脸检测和人脸特征点检测，以此确定人脸区域，对裁剪出的人脸区域进行人脸表情识别和人脸重建，可获得对应2D人脸图像的3D模型数据，再利用渲染器即可实现3D动画。
在本发明第一方面一种可选的实施方式中，利用所述人脸表情数据和所述人脸模型形变参数对人脸模型进行形变包括：
确定人脸模型中人脸特征点的位置；
将所述人脸表情数据按照所述人脸特征点的位置进行对齐；
在对齐后的所述人脸模型上添加人脸模型形变参数完成所述人脸模型的形变。
参见图2，本发明第二方面提供了一种人脸表情动画的生成装置，所述人脸表情动画的生成装置包括：
摄像模块10，用于利用摄像头实时获取人脸图像；
特征提取模块20，用于通过深度神经网络对所述人脸图像进行特征提取，获得人脸表情数据和模型形变参数；
形变模块30，用于利用所述人脸表情数据和所述模型形变参数对人脸模型进行形变；
渲染模块40，用于通过渲染器对形变后的所述人脸模型进行实时渲染，获得人脸表情动画。
在本发明第二方面一种可选的实施方式中，所述深度神经网络依次包括输入层、第一卷积层、第二卷积层、第一池化层、第三卷积层、第二池化层、第四卷积层、第三池化层、第一全连接层、第二全连接层和输出层。
在本发明第二方面一种可选的实施方式中，所述第一卷积层的卷积核大小为1*1，所述第二卷积层的卷积核大小为5*5，所述第一池化层的卷积核大小为2*2，所述第三卷积层的卷积核大小为3*3，所述第二池化层的卷积核大小为2*2，所述第四卷积层的卷积核大小为5*5，所述第三池化层的卷积核大小为2*2。
在本发明第二方面一种可选的实施方式中，所述人脸表情动画的生成装置还包括：
获取模块，用于获取训练样本；
数据增强模块，用于对所述训练样本进行数据增强；
训练模块，用于将数据增强后的所述训练样本输入到所述深度神经网络中，对所述深度神经网络进行训练；
优化模块，用于优化所述深度神经网络中的损失函数，直至所述损失函数达到预设值。
在本发明第二方面一种可选的实施方式中，所述数据增强模块包括：
对所述训练样本进行翻转、旋转、平移、缩放和裁剪操作，以增加所述训练样本的多样性。
在本发明第二方面一种可选的实施方式中，所述特征提取模块包括：
增强单元，用于对光照不佳的人脸图像进行图像增强；
检测单元，用于对所述人脸图像进行人脸检测和人脸特征点检测，以确定人脸区域；
裁剪单元，用于裁剪出所述人脸图像中的人脸区域，对裁剪出的所述人脸区域进行人脸识别，获得人脸表情数据和人脸模型形变参数。
在本发明第二方面一种可选的实施方式中，所述形变模块包括：
确定单元，用于确定人脸模型中人脸特征点的位置；
对齐单元，用于将所述人脸表情数据按照所述人脸特征点的位置进行对齐；
形变单元在对齐后的所述人脸模型上添加人脸模型形变参数完成所述人脸模型的形变。
图3是本发明实施例提供的一种人脸表情动画的生成设备的结构示意图，该动画数据的制作设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器50(central processing units，CPU)(例如，一个或一个以上处理器)和存储器60，一个或一个以上存储应用程序或数据的存储介质70(例如一个或一个以上海量存储设备)。其中，存储器和存储介质可以是短暂存储或持久存储。存储在存储介质的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对人脸表情动画的生成设备中的一系列指令操作。更进一步地，处理器可以设置为与存储介质通信，在人脸表情动画的生成设备上执行存储介质中的一系列指令操作。
人脸表情动画的生成设备还可以包括一个或一个以上电源80，一个或一个以上有线或无线网络接口90，一个或一个以上输入输出接口100，和/或，一个或一个以上操作系统，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图3示出的人脸表情动画的生成设备结构并不构成对人脸表情动画的生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述的人脸表情动画的生成方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种人脸表情动画的生成方法，其特征在于，所述人脸表情动画的生成方法包括：
利用摄像头实时获取人脸图像；
通过深度神经网络对所述人脸图像进行特征提取，获得人脸表情数据和模型形变参数；
利用所述人脸表情数据和所述模型形变参数对人脸模型进行形变；
通过渲染器对形变后的所述人脸模型进行实时渲染，获得人脸表情动画。
2.根据权利要求1所述的人脸表情动画的生成方法，其特征在于，所述深度神经网络依次包括输入层、第一卷积层、第二卷积层、第一池化层、第三卷积层、第二池化层、第四卷积层、第三池化层、第一全连接层、第二全连接层和输出层。
3.根据权利要求2所述的人脸表情动画的生成方法，其特征在于，所述第一卷积层的卷积核大小为1*1，所述第二卷积层的卷积核大小为5*5，所述第一池化层的卷积核大小为2*2，所述第三卷积层的卷积核大小为3*3，所述第二池化层的卷积核大小为2*2，所述第四卷积层的卷积核大小为5*5，所述第三池化层的卷积核大小为2*2。
4.根据权利要求1所述的人脸表情动画的生成方法，其特征在于，所述通过深度神经网络对所述人脸图像进行特征提取之前包括：
获取训练样本；
对所述训练样本进行数据增强；
将数据增强后的所述训练样本输入到所述深度神经网络中，对所述深度神经网络进行训练；
优化所述深度神经网络中的损失函数，直至所述损失函数达到预设值。
5.根据权利要求4所述的人脸表情动画的生成方法，其特征在于，所述对所述训练样本进行数据增强包括：
对所述训练样本进行翻转、旋转、平移、缩放和裁剪操作，以增加所述训练样本的多样性。
6.根据权利要求1所述的人脸表情动画的生成方法，其特征在于，所述通过深度神经网络对所述人脸图像进行特征提取，获得人脸表情数据和人脸模型形变参数包括：
对光照不佳的人脸图像进行图像增强；
对所述人脸图像进行人脸检测和人脸特征点检测，以确定人脸区域；
裁剪出所述人脸图像中的人脸区域，对裁剪出的所述人脸区域进行人脸识别，获得人脸表情数据和人脸模型形变参数。
7.根据权利要求6所述的人脸表情动画的生成方法，其特征在于，利用所述人脸表情数据和所述人脸模型形变参数对人脸模型进行形变包括：
确定人脸模型中人脸特征点的位置；
将所述人脸表情数据按照所述人脸特征点的位置进行对齐；
在对齐后的所述人脸模型上添加人脸模型形变参数完成所述人脸模型的形变。
8.一种人脸表情动画的生成装置，其特征在于，所述人脸表情动画的生成装置包括：
摄像模块，用于利用摄像头实时获取人脸图像；
特征提取模块，用于通过深度神经网络对所述人脸图像进行特征提取，获得人脸表情数据和模型形变参数；
形变模块，用于利用所述人脸表情数据和所述模型形变参数对人脸模型进行形变；
渲染模块，用于通过渲染器对形变后的所述人脸模型进行实时渲染，获得人脸表情动画。
9.一种人脸表情动画的生成设备，其特征在于，所述人脸表情动画的生成设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述人脸表情动画的生成设备执行如权利要求1-7中任一项所述的人脸表情动画的生成方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的人脸表情动画的生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110496995.5A CN113191282A (zh) | 2021-05-07 | 2021-05-07 | 人脸表情动画的生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110496995.5A CN113191282A (zh) | 2021-05-07 | 2021-05-07 | 人脸表情动画的生成方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113191282A true CN113191282A (zh) | 2021-07-30 |
Family
ID=76984429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110496995.5A Pending CN113191282A (zh) | 2021-05-07 | 2021-05-07 | 人脸表情动画的生成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113191282A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115147524A (zh) * | 2022-09-02 | 2022-10-04 | 荣耀终端有限公司 | 一种3d动画的生成方法及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130215113A1 (en) * | 2012-02-21 | 2013-08-22 | Mixamo, Inc. | Systems and methods for animating the faces of 3d characters using images of human faces |
| CN106600667A (zh) * | 2016-12-12 | 2017-04-26 | 南京大学 | 一种基于卷积神经网络的视频驱动人脸动画方法 |
| CN111369651A (zh) * | 2018-12-25 | 2020-07-03 | 浙江舜宇智能光学技术有限公司 | 三维表情动画生成方法及系统 |
| CN111968203A (zh) * | 2020-06-30 | 2020-11-20 | 北京百度网讯科技有限公司 | 动画驱动方法、装置、电子设备及存储介质 |
-
2021
- 2021-05-07 CN CN202110496995.5A patent/CN113191282A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130215113A1 (en) * | 2012-02-21 | 2013-08-22 | Mixamo, Inc. | Systems and methods for animating the faces of 3d characters using images of human faces |
| CN106600667A (zh) * | 2016-12-12 | 2017-04-26 | 南京大学 | 一种基于卷积神经网络的视频驱动人脸动画方法 |
| CN111369651A (zh) * | 2018-12-25 | 2020-07-03 | 浙江舜宇智能光学技术有限公司 | 三维表情动画生成方法及系统 |
| CN111968203A (zh) * | 2020-06-30 | 2020-11-20 | 北京百度网讯科技有限公司 | 动画驱动方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| BESTE EKMEN 等: "From 2D to 3D real-time expression transfer for facial animation", 《MULTIMEDIA TOOLS AND APPLICATIONS》, 27 October 2018 (2018-10-27), pages 12519 - 12535, XP036779955, DOI: 10.1007/s11042-018-6785-8 * |
| 梅英杰: "基于实时人脸数据驱动的3D表情动画生成", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 April 2021 (2021-04-15), pages 138 - 636 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115147524A (zh) * | 2022-09-02 | 2022-10-04 | 荣耀终端有限公司 | 一种3d动画的生成方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zheng et al. | Non-local scan consolidation for 3D urban scenes | |
| US9117105B2 (en) | 3D face recognition method based on intermediate frequency information in geometric image | |
| CN107392214B (zh) | 一种基于全卷积分裂网络的目标检测方法 | |
| CN111091130A (zh) | 基于轻量级卷积神经网络的实时图像语义分割方法及系统 | |
| EP4109350A1 (en) | Neural network compression method, data processing method, and related apparatuses | |
| CN110472652B (zh) | 基于语义引导的少量样本分类方法 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| WO2023065759A1 (zh) | 基于时空增强网络的视频动作识别方法 | |
| CN111652974A (zh) | 三维人脸模型的构建方法、装置、设备及存储介质 | |
| CN113408321B (zh) | 一种轻量级图像、视频数据的实时目标检测方法及装置 | |
| WO2020062191A1 (zh) | 图像处理方法、装置及设备 | |
| CN110135277B (zh) | 一种基于卷积神经网络的人体行为识别方法 | |
| CN111091075A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| WO2019127102A1 (zh) | 信息处理方法、装置、云处理设备以及计算机程序产品 | |
| CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
| CN110633640A (zh) | 优化PointNet对于复杂场景的识别方法 | |
| CN113065586A (zh) | 一种非局域的图像分类装置、方法和存储介质 | |
| CN111914595B (zh) | 一种基于彩色图像的人手三维姿态估计方法和装置 | |
| EP2790130A1 (en) | Method for object recognition | |
| CN113191282A (zh) | 人脸表情动画的生成方法、装置、设备及存储介质 | |
| CN113538474A (zh) | 基于边缘特征融合的3d点云分割目标检测系统 | |
| CN117033609A (zh) | 文本视觉问答方法、装置、计算机设备和存储介质 | |
| CN116665274A (zh) | 人脸驱动方法和装置 | |
| CN117237188A (zh) | 基于遥感图像的多尺度注意网络的显著性目标检测方法 | |
| CN111339969A (zh) | 人体姿势估计方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |