CN108961369A - 生成3d动画的方法和装置 - Google Patents

Abstract

本申请实施例公开了生成3D动画的方法和装置。该方法的一具体实施方式包括：获取包括脸部图像的照片，以及识别出照片中的脸部图像；根据脸部图像重建3D模型；对3D模型中的至少一个顶点与预设的至少一个骨骼点进行适配与绑定；对于至少一个骨骼点中的骨骼点，驱动3D模型中该骨骼点绑定的顶点按照该骨骼点的预设的运动轨迹进行运动生成3D动画。该实施方式能够以3D动画的方式动态地展示照片，使得照片的表情更加生动。

Description

生成3D动画的方法和装置

技术领域

本申请实施例涉及计算机技术领域，具体涉及生成3D动画的方法和装置。

背景技术

现在的照片大多只能静态地呈现景物，可娱乐性低，对于用户来说较为无聊。

对于让静止人物图像活动起来，通常是采用计算机动画处理。针对脸部特写的活动，美术设计人员需要提前做好脸部特定的图片模型，然后形成连续的序列帧画面，或者是对脸部建模，绑定好骨头或肌肉，按帧率进行拉伸、纹理贴图、实时渲染、形成序列帧画面。

发明内容

本申请实施例提出了生成3D动画的方法和装置。

第一方面，本申请实施例提供了一种生成3D动画的方法，包括：获取包括脸部图像的照片，以及识别出照片中的脸部图像；根据脸部图像重建3D模型；对3D模型中的至少一个顶点与预设的至少一个骨骼点进行适配与绑定；对于至少一个骨骼点中的骨骼点，驱动3D模型中该骨骼点绑定的顶点按照该骨骼点的预设的运动轨迹进行运动生成3D动画。

在一些实施例中，识别出照片中的脸部图像，包括：通过深度神经网络检测出照片中的脸部图像以及脸部图像的类别。

在一些实施例中，根据脸部图像重建3D模型，包括：通过决策树识别出脸部图像的关键点；根据关键点，采用3D形变模型对脸部图像进行3D模型重建和贴图处理，得到3D模型。

在一些实施例中，决策树与脸部图像的类别相对应；以及通过决策树识别出脸部图像的关键点，包括：根据脸部图像的类别从预设的决策树集合中选择与类别对应的决策树；通过所选择的决策树识别出脸部图像的关键点。

在一些实施例中，该方法还包括：获取预先建立的牙齿模型；根据3D模型中脸部的形状和尺寸调整牙齿模型的形状和尺寸，得到与3D模型匹配的待贴图牙齿模型；根据脸部图像的灰度和/或亮度对待贴图牙齿模型进行贴图处理得到目标牙齿模型。

在一些实施例中，该方法还包括：根据3D模型中嘴唇的位置将目标牙齿模型绑定到3D模型中；响应于检测到在3D动画中3D模型中的嘴唇张开，在3D动画中显示目标牙齿模型中未被嘴唇遮挡的部分。

在一些实施例中，该方法还包括：获取预设的3D的平面模型，使用照片对平面模型进行贴图操作；根据贴图操作确定出照片和平面模型之间的第一关系，其中，第一关系包括以下至少一项：平移、旋转、缩放；从3D模型重建过程中获取的脸部图像的关键点与3D模型的关键点的对应关系中确定出3D模型和照片之间的第二关系；根据第一关系和第二关系确定平面模型和3D模型之间的第三关系；将平面模型和3D模型一起置入3D场景中；根据第三关系对3D场景进行渲染。

第三方面，本申请实施例提供了一种电子设备，包括：处理器和存储器；其中，存储器用于存储程序；处理器用于实现如第一方面中任一的方法。

第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面中任一的方法。

本申请实施例提供的生成3D动画的方法和装置，通过脸部图像重建3D模型，再驱动3D模型中各骨骼点绑定的顶点按照各骨骼点的预设的运动轨迹进行运动生成3D动画。从而使得二维的照片立体化，并且以3D动画的方式动态地展示照片，使得照片的表情更加生动。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的生成3D动画的方法的一个实施例的流程图；

图3是根据本申请的生成3D动画的方法的一个应用场景的示意图；

图4是根据本申请的生成3D动画的方法的又一个实施例的流程图；

图5是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的生成3D动画的方法或生成3D动画的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频播放类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持动画播放功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的3D动画提供支持的后台3D动画服务器。后台3D动画服务器可以对接收到的包括脸部图像的动画生成请求等数据进行分析等处理，并将处理结果(例如人脸3D动画)反馈给终端设备。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本申请实施例所提供的生成3D动画的方法一般由服务器105执行，相应地，生成3D动画的装置一般设置于服务器105中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的生成3D动画的方法的一个实施例的流程200。该生成3D动画的方法，包括以下步骤：

步骤201，获取包括脸部图像的照片，以及识别出照片中的脸部图像。

在本实施例中，生成3D动画的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从用户利用其进行图像处理的终端接收包括脸部图像的照片。照片中可能包括其它的物体，需要识别出照片中的脸部图像。本文中的脸部图像可以是人的脸部图像也可以是动物的脸部图像。采用的是深度学习物体检测的方法识别脸部图像，这里采用YOLO框架，通过对不同种类的脸进行训练检测，从而达到识别照片中物体的目标。例如，基于预先训练的卷积神经网络从照片中检测脸部图像，其中，卷积神经网络用于识别脸部图像特征并根据图像特征确定脸部图像。用卷积神经网提取脸部图像，能够有效识别脸部图像在照片中的位置。对于一张输入卷积神经网络的图片，首先提取候选区域，每张图片提取1000个候选区域，然后对每个候选区域进行图片大小归一化，然后采用卷积神经网提取候选区域的高维特征，最后通过全连接层，对候选区域进行分类。通过对每个区域进行分类，从而提取照片中的脸部图像，还可以确定其位置。具体可精确到五官的坐标位置。

卷积神经网络(Convolutional Neural Networks，CNN)是一种人工神经网络。卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是计算层，网络的每个计算层由多个特征映射层组成，每个特征映射层是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个特征提取层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而融合后提升分类或预测的准确性。该卷积神经网络可用于识别照片中的脸部图像的特征，其中，该脸部图像的特征可包括脸部图像的颜色、纹理、阴影、方向变化等特征。

在本实施例的一些可选的实现方式中，可通过深度神经网络检测出照片中的脸部图像以及脸部图像的类别。例如，可识别出照片中的脸部图像是属于人类的，还是猫的，或狗的。从而可以获取该类别对应的牙齿模型。还可针对该类别设计动画。例如，对于狗，可设计吐舌头动画。不同的动物开心或者愤怒时的表情不同。可针对不同的动物设置五官变化。可选地，还可识别出狗的品种，对于大型犬，为其匹配锋利的牙齿。从而可针对不同类别的脸部图像生成针对性的3D动画，使得动画更生动逼真。

步骤202，根据脸部图像重建3D模型。

在本实施例中，三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。例如可采用3DMM(3D morphable model，3D形变模型)对脸部图像进行3D重建匹配。3D Morphable Modle即三维形变模型，是一个典型的统计三维人脸模型，通过统计分析方法明确地学习了3D人脸的先验知识。它表示三维人脸是基本三维人脸的线性组合，由主成分分析在一组密集排列的3D人脸上得到。将三维人脸重建问题看作是模型拟合问题，模型参数(即线性组合系数和相机参数)进行了优化,以便产生二维投影的三维脸最好符合输入2d图像的位置(和纹理)的一组注释面部标记(例如,眼部中心、嘴角和鼻子尖)。

在本实施例的一些可选的实现方式中，根据脸部图像重建3D模型，包括：通过决策树识别出脸部图像的关键点。根据关键点，采用3D形变模型对脸部图像进行3D模型重建和贴图处理，得到3D模型。不同类别的脸部图像的关键点的数量不一致。对于人来说，需要大约60-70个关键点，对于猫、狗等动作来说，可只需要定位到两个眼睛与嘴巴上的关键点即可。预先确定出脸部图像的类型再进行3D模型重建，可以节省建模时间，提高准确性。

在本实施例的一些可选的实现方式中，决策树与脸部图像的类别相对应。以及通过决策树识别出脸部图像的关键点，包括：根据脸部图像的类别从预设的决策树集合中选择与类别对应的决策树。通过所选择的决策树识别出脸部图像的关键点。决策树(DecisionTree)是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。分类树(决策树)是一种十分常用的分类方法。他是一种监督学习，所谓监督学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。例如，通过决策树判断出脸部图像的类别为猫、狗、人。决策树可以提高3D重建的效率。

步骤203，对3D模型中的至少一个顶点与预设的至少一个骨骼点进行适配与绑定。

在本实施例中，初始情况下，预先针对3D模型做了一套骨架，该骨架定义了各个骨骼点驱动的3D模型上的哪些顶点，也就是通过这些骨骼点的运动，可以驱动3D模型的顶点动画。在重建3D模型之后，必须要对这些骨骼点的初始位置进行重置，否则动画效果就无法达到预设的效果。由于每个骨骼点都对应了一系列的3D模型顶点，因此在这些模型顶点进行重建变形后，可以通过RBF(Radial Basis Function，径向基函数)的方法，插值求出每个骨骼点的初始位置。

步骤204，对于至少一个骨骼点中的骨骼点，驱动3D模型中该骨骼点绑定的顶点按照该骨骼点的预设的运动轨迹进行运动生成3D动画。

在本实施例中，可预先设置一些面部动作或表情供用户选择，例如，唱歌、眨眼、大笑等。通过大量数据采集，确定出同一面部动作或表情所引起的面部五官的坐标点的变化规律作为该面部动作或表情的运动轨迹。例如，人在微笑时眉毛、眼睛、嘴巴、下巴都会变化一定幅度，在大笑时五官变化的幅度更剧烈。用户可通过终端选择要生成的面部动作/表情类型。然后服务器根据用户的设置选择相应的运动轨迹进行运动生成3D动画。可选地，可针对歌曲中的歌词设置嘴型动作，从而达到假唱的逼真效果。

在本实施例的一些可选的实现方式中，该方法还包括：获取预设的3D的平面模型，使用照片对平面模型进行贴图操作。根据贴图操作确定出照片和平面模型之间的第一关系，其中，第一关系包括以下至少一项：平移、旋转、缩放。从3D模型重建过程中获取的脸部图像的关键点与3D模型的关键点的对应关系中确定出3D模型和照片之间的第二关系。根据第一关系和第二关系确定平面模型和3D模型之间的第三关系。将平面模型和3D模型一起置入3D场景中。根据第三关系对3D场景进行渲染。采用3DMM的方法对3D脸部重建时，由于该3D脸部只包含脸部信息，并不能包含图片所有的信息，比如背景的非脸部区域。通过本实现方式可以保证输入图片的完整效果，也可以将非脸部区域完整显示出来。可得到非脸部等背景区域与脸部区域一样的融合效果。

继续参见图3，图3是根据本实施例的生成3D动画的方法的应用场景的一个示意图。在图3的应用场景中，用户通过终端向服务器上传脸部的原始图像，如图3中左侧图所示。根据原始图像中的关键点：眉毛301、眼睛302、嘴巴303、下巴304重建3D模型。服务器将3D模型中的关键点眉毛301、眼睛302、嘴巴303、下巴304与预设的至少一个骨骼点进行适配与绑定。当用户通过终端选择待生成的动画类型为唱歌时，服务器可根据预设的运动轨迹驱动3D模型中该骨骼点绑定的顶点移动。如图3右侧所示，3D模型中的关键点：眉毛301’、眼睛302’、嘴巴303’、下巴304’的位置与原始图像相比发生变化，用户的嘴巴张开并露出牙齿。用户的嘴型可根据歌词的变化而变化，达到假唱的效果。

本申请的上述实施例提供的方法通过将脸部图像重建3D模型后与预设的至少一个骨骼点进行适配与绑定，从而可通过驱动骨骼点运行生成3D动画。以3D动画的方式动态地展示照片，使得照片的表情更加生动。

进一步参考图4，其示出了生成3D动画的方法的又一个实施例的流程400。该生成3D动画的方法的流程400，包括以下步骤：

步骤401，获取包括脸部图像的照片，以及识别出照片中的脸部图像。

步骤401与步骤201基本相同，因此不再赘述。

步骤402，根据脸部图像重建3D模型。

步骤402与步骤202基本相同，因此不再赘述。

步骤403，获取预先建立的牙齿模型。

在本实施例中，为了更好的还原真实的效果，本申请增加了牙齿模型，所以最终的效果不只包括3D脸部模型，还包括牙齿。当实现用户张嘴的动画效果时，露出与用户的脸匹配的牙齿。可根据脸部图像的类别选取对应的牙齿模型。例如，人的牙齿、猫的牙齿、马的牙齿等。

步骤404，根据3D模型中脸部的形状和尺寸调整牙齿模型的形状和尺寸，得到与3D模型匹配的待贴图牙齿模型。

在本实施例中，对牙齿进行适配处理，通过挑选3D脸部嘴巴附近的点作为控制点，采用径向基函数(RBF)插值的方法对牙齿进行变形，从而使得该牙齿的3D模型能够符合该3D脸部的模型，不至于对嘴巴太小的人，牙齿模型显得很大，反之同理。

步骤405，根据脸部图像的灰度和/或亮度对待贴图牙齿模型进行贴图处理得到目标牙齿模型。

在本实施例中，3D模型重建后，接下来要对贴图进行处理。最终的贴图是输入的照片与牙齿贴图的拼接融合。因为最终呈现的还是输入图片的视觉，因此本申请不对输入图片做变形处理，而是通过改变3D模型顶点对应的纹理坐标，达到最终模型与纹理的对应。为了保证牙齿的贴图视觉能够与输入图片的视觉一致性，需要对牙齿的贴图进行处理。具体步骤包括：

a.判断是否为灰度图，灰度图这也对牙齿贴图进行去彩色处理

b.亮度均衡化，保证牙齿亮度信息与输入图片信息一致

处理完牙齿贴图后与输入图片融合为一张完整图片，作为整个包含牙齿模型的3D模型的贴图。

步骤406，根据3D模型中嘴唇的位置将目标牙齿模型绑定到3D模型中。

在本实施例中，需要对3D模型与该新生成的贴图进行匹配操作，具体方式为：通过映射脸部图像的五官关键点与对应的3D模型关键点，通过RBF插值的方法求得3D模型(牙齿除外)所有顶点对应在图片的坐标，归一化该坐标。牙齿纹理坐标只需要在原来牙齿模型的纹理坐标做一步整体平移缩放即可(由之前牙齿贴图与输入图片拼接融合的位置与比例决定)。

步骤407，对3D模型中的至少一个顶点与预设的至少一个骨骼点进行适配与绑定。

步骤407与步骤203基本相同，因此不再赘述。

步骤408，对于至少一个骨骼点中的骨骼点，驱动3D模型中该骨骼点绑定的顶点按照该骨骼点的预设的运动轨迹进行运动生成3D动画。

步骤408与步骤204基本相同，因此不再赘述。

从图4中可以看出，与图2对应的实施例相比，本实施例中的生成3D动画的方法的流程400突出了为3D模型增加牙齿模型的步骤。由此，本实施例描述的方案可以根据不露齿的原始脸部图像生成张嘴露齿的3D动画。使得照片的表情更加生动、逼真。

下面参考图5，其示出了适于用来实现本申请实施例的电子设备(如图1所示的服务器)的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取包括脸部图像的照片，以及识别出照片中的脸部图像；根据脸部图像重建3D模型；对3D模型中的至少一个顶点与预设的至少一个骨骼点进行适配与绑定；对于至少一个骨骼点中的骨骼点，驱动3D模型中该骨骼点绑定的顶点按照该骨骼点的预设的运动轨迹进行运动生成3D动画。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种生成3D动画的方法，包括：

获取包括脸部图像的照片，以及识别出所述照片中的脸部图像；

根据所述脸部图像重建3D模型；

对所述3D模型中的至少一个顶点与预设的至少一个骨骼点进行适配与绑定；

对于所述至少一个骨骼点中的骨骼点，驱动所述3D模型中该骨骼点绑定的顶点按照该骨骼点的预设的运动轨迹进行运动生成3D动画。

2.根据权利要求1所述的方法，其中，所述识别出所述照片中的脸部图像，包括：

通过深度神经网络检测出所述照片中的脸部图像以及所述脸部图像的类别。

3.根据权利要求2所述的方法，其中，所述根据所述脸部图像重建3D模型，包括：

通过决策树识别出所述脸部图像的关键点；

根据所述关键点，采用3D形变模型对所述脸部图像进行3D模型重建和贴图处理，得到3D模型。

4.根据权利要求3所述的方法，其中，决策树与脸部图像的类别相对应；以及

所述通过决策树识别出所述脸部图像的关键点，包括：

根据所述脸部图像的类别从预设的决策树集合中选择与所述类别对应的决策树；

通过所选择的决策树识别出所述脸部图像的关键点。

5.根据权利要求1所述的方法，其中，所述方法还包括：

获取预先建立的牙齿模型；

根据所述3D模型中脸部的形状和尺寸调整所述牙齿模型的形状和尺寸，得到与所述3D模型匹配的待贴图牙齿模型；

根据所述脸部图像的灰度和/或亮度对所述待贴图牙齿模型进行贴图处理得到目标牙齿模型。

6.根据权利要求5所述的方法，其中，所述方法还包括：

根据所述3D模型中嘴唇的位置将所述目标牙齿模型绑定到所述3D模型中；

响应于检测到在所述3D动画中所述3D模型中的嘴唇张开，在所述3D动画中显示所述目标牙齿模型中未被所述嘴唇遮挡的部分。

7.根据权利要求3-6之一所述的方法，其中，所述方法还包括：

获取预设的3D的平面模型，使用所述照片对所述平面模型进行贴图操作；

根据贴图操作确定出所述照片和所述平面模型之间的第一关系，其中，所述第一关系包括以下至少一项：平移、旋转、缩放；

从3D模型重建过程中获取的所述脸部图像的关键点与所述3D模型的关键点的对应关系中确定出所述3D模型和所述照片之间的第二关系；

根据所述第一关系和所述第二关系确定所述平面模型和所述3D模型之间的第三关系；

将所述平面模型和所述3D模型一起置入3D场景中；

根据所述第三关系对所述3D场景进行渲染。

8.一种电子设备，包括：处理器和存储器；其中，

所述存储器用于存储程序；

所述处理器用于执行所述程序，以执行如下操作：

获取包括脸部图像的照片，以及识别出所述照片中的脸部图像；

根据所述脸部图像重建3D模型；

对所述3D模型中的至少一个顶点与预设的至少一个骨骼点进行适配与绑定；

对于所述至少一个骨骼点中的骨骼点，驱动所述3D模型中该骨骼点绑定的顶点按照该骨骼点的预设的运动轨迹进行运动生成3D动画。

9.根据权利要求8所述的电子设备，其中，所述处理器还用于实现如权利要求2-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。