CN111696178A - 人像三维模型和仿真人像动画的生成方法、装置和介质 - Google Patents

Abstract

本发明公开了一种人像三维模型的生成方法、仿真人像动画的生成方法、计算机装置和存储介质。所述人像三维模型的生成方法包括获取多个人像二维图片，确定时间序列，将时间序列输入到经过训练的人工智能模型中，以及获取人工智能模型输出的人像三维模型等步骤。经过训练的人工智能模型能够对人像二维图片进行处理，得到相应的表情基和人像三维模型，人像三维模型与人像二维图片具有相应的表情，其对应关系可以通过调整对人工智能模型的训练过程而改变，最终得到的人像三维模型可以呈现出生动的效果，提高互动乐趣。仿真人像动画的生成方法是在人像三维模型的生成方法的基础上执行的，也可以产生相同的效果。本发明广泛应用于图像处理技术领域。

Description

人像三维模型和仿真人像动画的生成方法、装置和介质

技术领域

本发明涉及图像处理技术领域，尤其是一种人像三维模型的生成方法、仿真人像动画的生成方法、计算机装置和存储介质。

背景技术

在电子游戏、自助客服和视频制作等领域，需要进行人像三维模型或仿真人像动画的生成。所述的人像三维模型，是指用来展现出人像形象的三维图像模型，所述的仿真人像动画，是指含有仿真人像形象的动画。现有技术中，通常是预先制作或录制好人像三维模型和仿真人像动画，在使用时播放出来，但这样不能向观众提供互动的效果，导致展示出来的视觉效果不够生动。

发明内容

针对上述至少一个技术问题，本发明的目的在于提供一种人像三维模型的生成方法、仿真人像动画的生成方法、计算机装置和存储介质。

一方面，本发明实施例包括一种人像三维模型的生成方法，包括：

获取多个人像二维图片；

根据各所述人像二维图片以及它们的获取时间，确定时间序列；

将所述时间序列输入到经过训练的人工智能模型中；

获取所述人工智能模型输出的人像三维模型。

进一步地，所述获取多个人像二维图片这一步骤，具体包括：

确定至少一个拍摄方向以及各所述拍摄方向的排序；

根据所确定的排序，分别从各所述拍摄方向拍摄得到各所述人像二维图片。

进一步地，所述分别从各所述拍摄方向拍摄得到各所述人像二维图片这一步骤，具体包括：

从每一所述拍摄方向均拍摄多个所述人像二维图片；

将对应同一所述拍摄方向的各所述人像二维图片进行均值化处理，从而得到该拍摄方向对应的一个人像二维图片。

进一步地，所述人工智能模型的训练过程包括：

获取多个人像二维样本以及它们的标签；

根据各所述人像二维样本以及它们的获取时间，确定多个第一时间序列；

根据各所述标签以及它们的获取时间，确定多个第二时间序列；

将所述第一时间序列用作所述人工智能模型的输入，将相应所述第二时间序列用作所述人工智能模型的预期输出，对所述人工智能模型的参数进行调整；

当所述人工智能模型的参数收敛时结束训练过程。

进一步地，所述获取多个人像二维样本以及它们的标签这一步骤，具体包括：

确定拍摄对象；

确定至少一个拍摄方向以及各所述拍摄方向的排序；

根据所确定的排序，分别从各所述拍摄方向对拍摄对象进行拍摄，得到各所述人像二维样本；

根据拍摄对象的表情，在预设的表情基数据库中选定相应的表情基；被选定的所述表情基作为所述标签，用于驱动拟合出所述拍摄对象的表情。

进一步地，所述人工智能模型为长短期记忆人工神经网络、整合移动平均自回归模型、支持向量机、逻辑回归模型或Xgboost模型。

另一方面，本发明实施例还包括一种仿真人像动画的生成方法，包括以下步骤：

检测交互操作；

执行实施例中所述的人像三维模型的生成方法，以响应所述交互操作；

根据所生成的人像三维模型，生成仿真人像动画。

进一步地，所述执行实施例中所述的人像三维模型的生成方法，以响应所述交互操作这一步骤，具体包括：

确定所述交互操作的执行者；

当所述执行者为一人，则对该执行者执行实施例中所述的人像三维模型的生成方法；

当所述执行者为多人，则从这些执行者中选择出目标执行者集合，然后从所述目标执行者集合中随机选择出一个目标执行者，对所述目标执行者执行实施例中所述的人像三维模型的生成方法；所述目标执行者集合是所有所述执行者的最大同类子集，所述同类子集中的各执行者都进行了相同的交互操作。

另一方面，本发明实施例还包括一种计算机的装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行所述的人像三维模型的生成方法和仿真人像动画的生成方法。

另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行实施例所述的人像三维模型的生成方法和仿真人像动画的生成方法。

本发明的有益效果是：在人像三维模型的生成方法中，经过训练的人工智能模型能够对人像二维图片尤其是形成时间序列的人像二维图片进行处理，得到相应的表情基和人像三维模型，人像三维模型与人像二维图片具有相应的表情，其对应关系可以通过调整对人工智能模型的训练过程而改变，最终得到的人像三维模型可以呈现出生动的效果，提高互动乐趣。仿真人像动画的生成方法是在人像三维模型的生成方法的基础上执行的，也可以产生相同的效果。

附图说明

图1为实施例中人像三维模型的生成方法的流程示意图；

图2为实施例中仿真人像动画的生成方法的流程示意图。

具体实施方式

实施例1

本实施例中，所述的人像三维模型的生成方法将使用人工智能模型。本实施例中，所述人工智能模型可以是长短期记忆人工神经网络、整合移动平均自回归模型、支持向量机、逻辑回归模型和Xgboost模型等，它们的共同特点是比较适用于处理形成时间序列的数据，也可以使用其他基于神经网络的人工智能模型。

在执行人像三维模型的生成方法之前，对人工智能模型进行训练，训练过程包括以下步骤：

P1.获取多个人像二维样本以及它们的标签；

P2.根据各所述人像二维样本以及它们的获取时间，确定多个第一时间序列；

P3.根据各所述标签以及它们的获取时间，确定多个第二时间序列；

P4.将所述第一时间序列用作所述人工智能模型的输入，将相应所述第二时间序列用作所述人工智能模型的预期输出，对所述人工智能模型的参数进行调整；

P5.当所述人工智能模型的参数收敛时结束训练过程。

本实施例中，用于训练人工智能模型的资料由人像二维样本和相应的标签组成，人像二维样本与标签是一一对应的关系。

在步骤P2中，按照获取时间从先到后的顺序，将各所述人像二维样本排列起来，可以得到一个第一时间序列；按照获取时间从后到先的顺序，将各所述人像二维样本排列起来，可以得到另一个第一时间序列；对获取时间所确定的顺序进行打乱，将各所述人像二维样本排列起来，可以得到其他的第一时间序列；这样便得到多个第一时间序列。

在步骤P3中，由于人像二维样本与标签是一一对应的关系，因此将各第一时间序列中的人像二维样本替换成相应的标签，即得到多个第二时间序列。

在步骤P4中，以第一时间序列作为人工智能模型的输入，相应的第二时间序列作为所述人工智能模型的预期输出，对所述人工智能模型的参数进行调整，使得人工智能模型的输出结果与预期输出之间的误差尽量小。当人工智能模型的参数收敛，则表明人工智能模型的输出结果与预期输出之间的误差已经达到了局部最小值，则对人工智能模型的训练过程完成。

本实施例中，所述步骤P1，也就是获取多个人像二维样本以及它们的标签这一步骤，具体包括：

P101.确定拍摄对象；所述拍摄对象可以是一个或多个人；

P102.确定至少一个拍摄方向以及各所述拍摄方向的排序；例如，可以按照前上侧、正前侧、前下侧、左侧、右侧和后侧等确定拍摄方向以及各所述拍摄方向的排序；拍摄方向的排序将决定执行步骤P3时各人像二维样本的获取时间；

P103.根据所确定的排序，分别从各所述拍摄方向对拍摄对象进行拍摄，得到各所述人像二维样本；本步骤中，是对拍摄对象的头部进行拍摄，每次拍摄所得的结果是一个二维图片，即人像二维样本；根据步骤P102中所确定的顺序，依次从前上侧、正前侧、前下侧、左侧、右侧和后侧等方向对拍摄对象进行拍摄，从而得到多个人像二维样本；

P104.根据拍摄对象的表情，在预设的表情基数据库中选定相应的表情基；被选定的所述表情基作为所述标签，用于驱动拟合出所述拍摄对象的表情；本步骤中，通过对拍摄对象的观察，可以确定拍摄对象的表情；在表情基数据库中选定出可以驱动拟合出拍摄对象的表情的表情基，作为训练人工智能模型所使用的标签。

在完成对人工智能模型的训练之后，人工智能模型具有了对人像二维图片进行接收和处理，从而输出相应的表情基来驱动拟合出人像三维模型的能力。参照图1，可以执行以下步骤S1-S4，以实施所述人像三维模型的生成方法：

S1.获取多个人像二维图片；所述人像二维图片可以是事先拍摄并存储好的，也可以是实时拍摄得到的；

S2.根据各所述人像二维图片以及它们的获取时间，确定时间序列；

S3.将所述时间序列输入到经过训练的人工智能模型中；

S4.获取所述人工智能模型输出的人像三维模型；经过步骤P1-P5的训练，人工智能模型具备对人像二维图片的处理能力，可以输出表情基，由表情基可以驱动拟合出具有相应表情的人像三维模型。

本实施例中，所述步骤S1，也就是获取多个人像二维图片这一步骤，具体包括：

S101.确定至少一个拍摄方向以及各所述拍摄方向的排序；例如，可以按照前上侧、正前侧、前下侧、左侧、右侧和后侧等确定拍摄方向以及各所述拍摄方向的排序；拍摄方向的排序将决定执行步骤S2时各人像二维图片的获取时间，从而决定所形成的时间序列；

S102.根据所确定的排序，分别从各所述拍摄方向拍摄得到各所述人像二维图片。

本实施例中，所述步骤S102，也就是分别从各所述拍摄方向拍摄得到各所述人像二维图片这一步骤，具体包括：

S10201.从每一所述拍摄方向均拍摄多个所述人像二维图片；例如，从前上侧方向，在短时间内拍摄得到5个人像二维图片，从正前侧方向，在短时间内拍摄得到6个人像二维图片，每个方向的拍摄过程如果时间足够短，所得到的多个人像二维图片可以看作是同一时间拍摄的，人像二维图片中所呈现的人像内容基本没有变化；

S10202.将对应同一所述拍摄方向的各所述人像二维图片进行均值化处理，从而得到该拍摄方向对应的一个人像二维图片；例如，对从正前侧方向拍摄得到6个人像二维图片进行像素叠加以及求平均值，形成一个新的人像二维图片，作为从正前侧方向拍摄得到的人像二维图片，从而完成均值化处理。通过均值化处理，可以减轻单次拍摄过程中各种因素产生的误差的影响，使得人工智能模型所接收到的人像二维图片更准确，人工智能模型能够输出更准确的人像三维模型。

本实施例中，经过步骤P1-P5训练的人工智能模型，能够对人像二维图片尤其是形成时间序列的人像二维图片进行处理，得到相应的表情基和人像三维模型，人像三维模型与人像二维图片具有相应的表情，其对应关系可以通过调整对人工智能模型的训练过程而改变。例如，通过训练，使最终生成的人像三维模型与所输入的人像二维图片具有相同或相似的表情，即输入的人像二维图片为微笑表情、输出的人像三维模型为微笑或大笑表情等，可以将人像三维模型的生成方法应用于电子游戏，使得电子游戏所呈现出的显示效果能够模仿用户的表情，呈现出生动的效果，提高互动乐趣；通过训练，使最终生成的人像三维模型与所输入的人像二维图片具有相对的表情，即输入的人像二维图片为疑问表情、输出的人像三维模型为微笑表情等，可以将人像三维模型的生成方法应用于自助客服，使得自助客服所呈现出的显示效果能够贴近用户的需求，呈现出生动的效果，提高互动乐趣。

实施例2

本实施例中所述的仿真人像动画的生成方法，是基于实施例1中的人像三维模型生成方法而执行的。参照图2，仿真人像动画的生成方法包括以下步骤：

Q1.检测交互操作；本实施例中，一个或多个执行者可以通过键盘、触摸屏等交互操作执行交互操作；一个或多个执行者也可以通过面部表情或者手势等动作执行交互操作，通过拍摄画面，从画面中识别出交互操作；

Q2.执行实施例1中的人像三维模型的生成方法，即步骤S1-S4等，以响应所述交互操作；

Q3.执行步骤S1-S4将获得人像三维模型，根据所生成的人像三维模型，进一步进行上色、渲染以及添加背景等处理，得到仿真人像动画中的一帧或多帧，从而生成仿真人像动画。

本实施例中，所述步骤Q2具体包括：

Q201.确定所述交互操作的执行者，即确定交互操作是由哪个执行者做出来的，以及确定做出交互操作的执行者的人数；

Q202.当所述执行者为一人，则对该执行者执行实施例1中所述的人像三维模型的生成方法，也就是对于实施例1中所述的步骤S1-S4来说，从该执行者获取多个人像二维图片，最终输出相应的人像三维模型；

Q203.当所述执行者为多人，为了从这些执行者中选出一个执行者，首先从这些执行者中选择出目标执行者集合；本实施例中，所述目标执行者集合是所有执行者的最大同类子集，所述同类子集中的各执行者都进行了相同的交互操作，这相当于首先按照每个执行者所执行的交互操作的类型，对各执行者进行分组其中人数最多的那一组就是目标执行者集合；然后从所述目标执行者集合中随机选择出一个目标执行者，对所述目标执行者执行实施例1中所述的人像三维模型的生成方法；也就是对于实施例1中所述的步骤S1-S4来说，从目标执行者获取多个人像二维图片，最终输出相应的人像三维模型。

通过执行步骤Q201-Q203，可以利用实施例1中的人像三维模型的生成方法所得的结果，对用户做出的交互操作进行响应，将人像三维模型进一步转换成仿真人像动画。由于实施例1中所生成的人像三维模型可以呈现出生动的效果，具有较高的互动乐趣，因此本实施例中所生成的仿真人像动画也具有相同的技术效果。

实施例3

本实施例中，一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例1所述的人像三维模型的生成方法以及实施例2所述的仿真人像动画的生成方法，实现与实施例1和实施例2中所述的相同的技术效果。

本实施例中，一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行实施例1所述的人像三维模型的生成方法以及实施例2所述的仿真人像动画的生成方法，实现与实施例1和实施例2中所述的相同的技术效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种人像三维模型的生成方法，其特征在于，包括以下步骤：

获取多个人像二维图片；

根据各所述人像二维图片以及它们的获取时间，确定时间序列；

将所述时间序列输入到经过训练的人工智能模型中；

获取所述人工智能模型输出的人像三维模型。

2.根据权利要求1所述的方法，其特征在于，所述获取多个人像二维图片这一步骤，具体包括：

确定至少一个拍摄方向以及各所述拍摄方向的排序；

根据所确定的排序，分别从各所述拍摄方向拍摄得到各所述人像二维图片。

3.根据权利要求2所述的方法，其特征在于，所述分别从各所述拍摄方向拍摄得到各所述人像二维图片这一步骤，具体包括：

从每一所述拍摄方向均拍摄多个所述人像二维图片；

将对应同一所述拍摄方向的各所述人像二维图片进行均值化处理，从而得到该拍摄方向对应的一个人像二维图片。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述人工智能模型的训练过程包括：获取多个人像二维样本以及它们的标签；

根据各所述人像二维样本以及它们的获取时间，确定多个第一时间序列；

根据各所述标签以及它们的获取时间，确定多个第二时间序列；

将所述第一时间序列用作所述人工智能模型的输入，将相应所述第二时间序列用作所述人工智能模型的预期输出，对所述人工智能模型的参数进行调整；

当所述人工智能模型的参数收敛时结束训练过程。

5.根据权利要求4所述的方法，其特征在于，所述获取多个人像二维样本以及它们的标签这一步骤，具体包括：

确定拍摄对象；

确定至少一个拍摄方向以及各所述拍摄方向的排序；

根据所确定的排序，分别从各所述拍摄方向对拍摄对象进行拍摄，得到各所述人像二维样本；

根据拍摄对象的表情，在预设的表情基数据库中选定相应的表情基；被选定的所述表情基作为所述标签，用于驱动拟合出所述拍摄对象的表情。

6.根据权利要求4所述的方法，其特征在于，所述人工智能模型为长短期记忆人工神经网络、整合移动平均自回归模型、支持向量机、逻辑回归模型或Xgboost模型。

7.一种仿真人像动画的生成方法，其特征在于，包括以下步骤：

检测交互操作；

执行权利要求1-6任一项所述的人像三维模型的生成方法，以响应所述交互操作；

根据所生成的人像三维模型，生成仿真人像动画。

8.根据权利要求7所述的方法，其特征在于，所述执行权利要求1-6任一项所述的人像三维模型的生成方法，以响应所述交互操作这一步骤，具体包括：

确定所述交互操作的执行者；

当所述执行者为一人，则对该执行者执行权利要求1-6任一项所述的人像三维模型的生成方法；

当所述执行者为多人，则从这些执行者中选择出目标执行者集合，然后从所述目标执行者集合中随机选择出一个目标执行者，对所述目标执行者执行权利要求1-6任一项所述的人像三维模型的生成方法；所述目标执行者集合是所有所述执行者的最大同类子集，所述同类子集中的各执行者都进行了相同的交互操作。

9.一种计算机装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-8任一项所述方法。

10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-8任一项所述的方法。

Images