CN109816758A - 一种基于神经网络的二维角色动画生成方法和装置 - Google Patents

Abstract

一种基于神经网络的二维角色动画生成方法，包括：获取多张二维角色动态图片，并标记各张二维角色动态图片及其序列中各张静止帧的运动信息，以形成角色动态图片样本库；初始化深度卷积神经网络和循环神经网络，以建立角色动画生成神经网络模型；导入角色动态图片样本库作为训练集，由角色动画生成神经网络模型对角色动态图片样本库进行监督学习；输入同一角色的一对图片及指定动作类型，以利用训练完毕的角色动画生成神经网络模型，自动生成完整序列的二维角色动态图片。本申请还公开了相应的基于神经网络的二维角色动画生成装置。

Description

一种基于神经网络的二维角色动画生成方法和装置

技术领域

本发明涉及计算机学习领域，尤其涉及到一种基于神经网络的二维角色动画生成方法和装置。

背景技术

无论是电子游戏开发还是动画制作的过程，其往往需要针对其中的角色制作一些基本动作的动画。诸如行走、跑步、前跨和跳起等肢体基本动作或喜怒哀乐等面部表情动画可以通过适当的组合形成一系列的复杂动作。这些组合后的复杂动作精细程度和多样性，将决定电子游戏和动画表现角色的能力。

然而，目前角色动画的绘制方式依然在很大程度上依赖于人手操作。具体地，美术人员首先根据角色的原画，绘制指定动作的关键帧；然后，依据相邻两张关键帧之间的差异，通过手绘的方式相应地插入动作的过渡帧。这使得软件开发商或者外包设计公司花费较大的人力成本和时间来完成上述任务。然而，因为相对于三维电子游戏所涉及到的复杂光影效果，二维电子游戏对特效的要求往往相对简单，同时由于关键帧之间的播放间隔短，所以在针对二维动画或二维电子游戏所制作两张相邻的关键帧中，过渡帧通常只会包含少量的差异(例如面部肌肉的微小变化或者肢体相对位置的微小改变)。这使得手绘过渡帧的工作事实上包含了大量的机械重复劳动。

发明内容

本申请的目的是解决现有技术的不足，提供一种基于神经网络的二维角色动画生成方法和装置，能够获得对输入的同一角色的一对图片及指定动作类型，自动辅助生成相应的完整序列的二维角色动画的技术效果。

为了实现上述目的，本申请采用以下的技术方案：

首先，本申请提出一种基于神经网络的二维角色动画生成方法，适用于二维动画或二维电子游戏制作。该方法包括以下步骤：

S100)获取多张二维角色动态图片，并标记各张二维角色动态图片及其序列中各张静止帧的运动信息，以形成角色动态图片样本库；

S200)初始化深度卷积神经网络DeepCNN(Deep Convolutional Neural Network)和循环神经网络RNN(Recurrent Neural Network)，以角色动画生成神经网络模型；

S300)导入角色动态图片样本库作为训练集，由角色动画生成神经网络模型对角色动态图片样本库进行监督学习；

S400)输入同一角色的一对图片及指定动作类型，以利用训练完毕的角色动画生成神经网络模型，自动生成完整序列的二维角色动态图片。

进一步地，在本申请的上述方法中，该步骤S100还包括以下子步骤：

S101)基于openCV读取各张二维角色动态图片及其序列中各张静止帧；

S102)指定各张二维角色动态图片的序列中的关键静止帧及二维角色动态图片的动作类型；

S103)计算序列中各静止帧上的动画单位相对于相邻两张关键静止帧的权重值，其中，动画单位是动画划分的最小单元；

S104)标记上述指定的关键静止帧、二维角色动态图片的运动类型以及权重值序列以形成二维角色动态图片的运动信息。

再进一步地，在本申请的上述方法中，所述运动信息至少还包括标识所述二维角色动态图片是否循环播放的标识。

又进一步地，在本申请的上述方法中，角色动态图片样本库根据二维角色动态图片的风格分类为多个子训练集，并基于所述子训练集形成相应多个角色动画生成神经网络模型。

进一步地，在本申请的上述方法中，该步骤S200还包括以下子步骤：

S201)初始化深度卷积神经网络DeepCNN和循环神经网络RNN；

S202)使用VGG-16网络模型提取角色动态图片样本库中各关键静止帧上动画单位的图像特征，以形成4096维特征向量。

再进一步地，在本申请的上述方法中，该步骤S300还包括以下子步骤：

S301)将所述特征向量导入到深度卷积神经网络DeepCNN；

S302)采用循环神经网络RNN对训练集进行反复监督学习。

进一步地，在本申请的上述方法中，该步骤S400包括以下子步骤：

S401)将训练完毕的角色动画生成神经网络模型布置在网络服务器，并配置角色动画生成神经网络模型的数据入口；

S402)将同一角色的一对图片和动作类型通过数据入口上传到角色动画生成神经网络模型，以自动生成完整序列的二维角色动态图片。

再进一步地，在本申请的上述方法中，该数据入口是网页的形式。

其次，本申请还公开了一种基于神经网络的二维角色动画生成装置，适用于二维动画或二维电子游戏制作。该装置可以包括以下模块：获取模块，用于获取多张二维角色动态图片，并标记各张二维角色动态图片及其序列中各张静止帧的运动信息，以形成角色动态图片样本库；初始化模块，用于初始化深度卷积神经网络DeepCNN和循环神经网络RNN，以建立角色动画生成神经网络模型；训练模块，用于导入角色动态图片样本库作为训练集，由角色动画生成神经网络模型对角色动态图片样本库进行监督学习；生成模块，用于输入同一角色的一对图片及指定动作类型，以利用训练完毕的角色动画生成神经网络模型，自动生成完整序列的二维角色动态图片。

进一步地，在本申请的上述装置中，该获取模块可以包括以下子模块：读取模块，用于基于openCV读取各张二维角色动态图片及其序列中各张静止帧；指定模块，用于指定各张二维角色动态图片的序列中的关键静止帧及二维角色动态图片的动作类型；计算模块，用于计算序列中各静止帧上的动画单位相对于相邻两张关键静止帧的权重值；标记模块，用于标记上述指定的关键静止帧、二维角色动态图片的运动类型以及权重值序列以形成二维角色动态图片的运动信息。其中，动画单位是动画划分的最小单元。

再进一步地，在本申请的上述装置中，所述运动信息至少还包括标识所述二维角色动态图片是否循环播放的标识。

又进一步地，在本申请的上述装置中，角色动态图片样本库根据二维角色动态图片的风格分类为多个子训练集，并基于所述子训练集形成相应多个角色动画生成神经网络模型。

进一步地，在本申请的上述装置中，该初始化模块还可以包括以下子模块：执行模块，用于初始化深度卷积神经网络DeepCNN和循环神经网络RNN；提取模块，用于使用VGG-16网络模型提取角色动态图片样本库中各关键静止帧上动画单位的图像特征，以形成4096维特征向量。

再进一步地，在本申请的上述装置中，该训练模块还可以包括以下子模块：导入模块，用于将所述特征向量导入到深度卷积神经网络DeepCNN；监督模块，用于采用循环神经网络RNN对训练集进行反复监督学习。

进一步地，在本申请的上述装置中，该生成模块还可以包括以下子模块：布置模块，用于将训练完毕的角色动画生成神经网络模型布置在网络服务器，并配置角色动画生成神经网络模型的数据入口；上传模块，用于将同一角色的一对图片和动作类型通过数据入口上传到角色动画生成神经网络模型，以自动生成完整序列的二维角色动态图片。

再进一步地，在本申请的上述装置中，该数据入口是网页的形式。

最后，本申请还提出一种计算机可读存储介质，其上存储有计算机指令。上述指令被处理器执行时，执行如下步骤：

S100)获取多张二维角色动态图片，并标记各张二维角色动态图片及其序列中各张静止帧的运动信息，以形成角色动态图片样本库；

S200)初始化深度卷积神经网络DeepCNN和循环神经网络RNN，以建立角色动画生成神经网络模型；

S300)导入角色动态图片样本库作为训练集，由角色动画生成神经网络模型对角色动态图片样本库进行监督学习；

S400)输入同一角色的一对图片及指定动作类型，以利用训练完毕的角色动画生成神经网络模型，自动生成完整序列的二维角色动态图片。

进一步地，在处理器执行上述指令时，该步骤S100还包括以下子步骤：

S101)基于openCV读取各张二维角色动态图片及其序列中各张静止帧；

S102)指定各张二维角色动态图片的序列中的关键静止帧及二维角色动态图片的动作类型；

S103)计算序列中各静止帧上的动画单位相对于相邻两张关键静止帧的权重值，其中，动画单位是动画划分的最小单元；

S104)标记上述指定的关键静止帧、二维角色动态图片的运动类型以及权重值序列以形成二维角色动态图片的运动信息。

再进一步地，在处理器执行上述指令时，所述运动信息至少还包括标识所述二维角色动态图片是否循环播放的标识。

又进一步地，在处理器执行上述指令时，角色动态图片样本库根据二维角色动态图片的风格分类为多个子训练集，并基于所述子训练集形成相应多个角色动画生成神经网络模型。

进一步地，在处理器执行上述指令时，该步骤S200还包括以下子步骤：

S201)初始化深度卷积神经网络DeepCNN和循环神经网络RNN；

S202)使用VGG-16网络模型提取角色动态图片样本库中各关键静止帧上动画单位的图像特征，以形成4096维特征向量。

再进一步地，在处理器执行上述指令时，该步骤S300还包括以下子步骤：

S301)将该特征向量导入到深度卷积神经网络DeepCNN；

S302)采用循环神经网络RNN对训练集进行反复监督学习。

进一步地，在处理器执行上述指令时，该步骤S400包括以下子步骤：

S401)将训练完毕的角色动画生成神经网络模型布置在网络服务器，并配置角色动画生成神经网络模型的数据入口；

S402)将同一角色的一对图片和动作类型通过数据入口上传到角色动画生成神经网络模型，以自动生成完整序列的二维角色动态图片。

再进一步地，在处理器执行上述指令时，该数据入口是网页的形式。

本申请的有益效果为：利用神经网络对对输入的同一角色的一对图片及指定动作类型，自动辅助生成相应的完整序列的二维角色动画，从而减轻了二维角色动画制作过程中繁重的过渡帧制作工作，能够方便快捷地创作大量二维角色动画。

附图说明

图1所示为本申请所公开的基于神经网络的二维角色动画生成方法的流程图；

图2所示为在本申请的一个实施例中，形成角色动态图片样本库子方法的流程图；

图3所示为在本申请的另一个实施例中，角色动画生成神经网络模型初始化子方法的流程图；

图4所示为在本申请的又一个实施例中，对角色动画生成神经网络模型进行监督学习子方法的流程图；

图5所示为在本申请的又一个实施例中，角色动画生成神经网络模型对输入的同一角色的一对图片及指定的动作类型自动生成完整序列的二维角色动态图片子方法的流程图；

图6为实现图5中子方法流程图的网络结构配置图；

图7所示为本申请所公开的基于神经网络的二维角色动画生成装置的结构图。

具体实施方式

以下将结合实施例和附图对本申请的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本申请的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本申请中所使用的上、下、左、右等描述仅仅是相对于附图中本申请各组成部分的相互位置关系来说的。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本申请中可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本申请范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”。

参照图1所示的方法流程图，在本申请的一个或多个实施例中，基于神经网络的二维角色动画生成方法可以包括以下步骤：

S100)获取多张二维角色动态图片，并标记各张二维角色动态图片及其序列中各张静止帧的运动信息，以形成角色动态图片样本库；

S200)初始化深度卷积神经网络DeepCNN和循环神经网络RNN，以建立角色动画生成神经网络模型；

S300)导入角色动态图片样本库作为训练集，由角色动画生成神经网络模型对角色动态图片样本库进行监督学习；

S400)输入同一角色的一对图片及指定动作类型，以利用训练完毕的角色动画生成神经网络模型，自动生成完整序列的二维角色动态图片。

其中，该实施例的目的是通过输入的同一角色的一对图片及指定动作类型，找到已有的相似类型的二维角色动画。一方面，通过识别输入的图片上角色的各部分肢体，角色的肢体各个部分以确定其在将要形成的过渡帧上位置是否需要改变；另一方面，按照学习和模仿所得的知识确定角色的肢体各个部分需要如何改变位置，并将各过渡帧应插入到关键静止帧之间的恰当位置，从而形成完整的动画序列。

具体地，参照图2所示的方法流程图，在本申请的一个或多个实施例中，该步骤S100包括以下子步骤：

S101)基于openCV读取各张二维角色动态图片及其序列中各张静止帧；

S102)指定各张二维角色动态图片的序列中的关键静止帧及二维角色动态图片的动作类型；

S103)计算序列中各静止帧上的动画单位相对于相邻两张关键静止帧的权重值；

S104)标记上述指定的关键静止帧、二维角色动态图片的运动类型以及权重值序列以形成二维角色动态图片的运动信息。

具体地，对于现有的二维角色动态图片，可以采用openCV库所提供的工具图像处理读入并做好简单的编号和标记，以方便在各张二维角色动态图片上标记特效信息。同时，由于二维角色动态图片的内容一般相对简单，可以基于二维角色动态图片的序列长度，以固定的间隔选择静止帧作为该二维角色动态图片的关键静止帧。然后，通过插值的方式将各静止帧上对应的动画单位表示为与其相邻两张关键静止帧的加权和，并按照次序记录各个静止帧的权重以形成权重值序列。其中，动画单位是指动画可划分的最小单元。对于顶点动画，每个动画单元是指该顶点动画的每个顶点。对于序列帧动画，每个动画单元则表示为该序列帧动画的每个像素点。此时，上述的关键静止帧、二维角色动态图片的类型以及各个权重所形成的加权值序列可以保存为该二维角色动态图片的特效信息，以完成对二维角色动态图片的标记。

进一步地，在本申请的上述一个或多个实施例中，所述特效信息至少还包括标识该二维角色动态图片是否循环播放的标识。尤其是对于挥手、行走和跑步等周期性动作，这可以更有针对性地指定二维角色动态图片中的关键静止帧(例如循环的周期开始帧和周期结束帧)，从而提高后继步骤中角色动画生成神经网络模型的训练效率(即使得角色动画生成神经网络模型能够针对少量关键静止帧进行训练，以快速地收敛)和角色动画生成神经网络模型自身的准确率。

再进一步地，在本申请的上述一个或多个实施例中，对于不同风格的二维角色动态图片，为了提高角色动画生成神经网络模型的适用性，角色动态图片样本库将根据动画风格分类为多个子训练集，并基于该子训练集形成相应多个角色动画生成神经网络模型。此时，训练所得的角色动画生成神经网络模型将分别对应于不同动画风格(例如夸张的卡通风格或写实风格)。相应地，使用角色动画生成神经网络模型生成二维角色动态图片时，还需要额外输入要指定的风格，从而能够更有针对性地自动生成二维角色动态图片。

参照图3所示的子方法流程图，在本申请的一个或多个实施例中，该步骤S200还包括以下子步骤：

S201)初始化深度卷积神经网络DeepCNN和循环神经网络RNN；

S202)使用VGG-16网络模型提取角色动态图片样本库中各关键静止帧上动画单位的图像特征，以形成4096维特征向量。

具体地，本领域技术人员可以利用开源的Tensorflow系统初始化深度卷积神经网络DeepCNN和循环神经网络RNN。同时，训练集中各关键静止帧上动画单位的图像特征可以通过VGG-16网络模型提取，以形成一个4096维的特征向量。

进一步地，参照图4所示的子方法流程图，在本申请的一个或多个实施例中，该步骤S300还包括以下子步骤：

S301)将该特征向量导入到深度卷积神经网络DeepCNN；

S302)采用循环神经网络RNN对训练集进行反复监督学习。

如前所述，因为循环神经网络RNN可以方便地训练并评估其所训练的角色动画生成神经网络模型，所以在角色动画生成神经网络模型的训练过程中可以通过检查每次迭代训练前后各个分类器的权重参数变化是否大于预设的阈值，以确定是否停止训练。本领域技术人员可以根据具体的训练过程设置相应的阈值，本申请对此不予限定。

由于电子游戏或动画制作项目中，相应的参与人员(例如软件开发商和外包设计公司内的美术人员)地理位置可能相隔较远，为了方便项目人员能够方便地修改原画，参照图5所示的子方法流程图，在本申请的一个或多个实施例中，该步骤S400包括以下子步骤：

S401)将训练完毕的角色动画生成神经网络模型布置在网络服务器，并配置角色动画生成神经网络模型的数据入口；

S402)将同一角色的一对图片和动作类型通过数据入口上传到角色动画生成神经网络模型，以自动生成完整序列的二维角色动态图片。

进一步地，该数据入口可以是网页的形式。参照图6所示的网络架构图，此时，角色动画生成神经网络模型被布置在应用程序服务器上，并可以通过所提供相应的网页地址，由相关人员以各种形式的浏览终端访问(例如PC端或者智能移动端)，从而将同一角色的一对图片和动作类型在网页中上传至相应的网络服务器中，并由网络服务器将生成的二维角色动态图片通过网络返回。

参照图7所示的模块结构图，在本申请的一个或多个实施例中，基于神经网络的二维角色动画生成装置可以包括以下模块：获取模块，用于获取多张二维角色动态图片，并标记各张二维角色动态图片及其序列中各张静止帧的运动信息，以形成角色动态图片样本库；初始化模块，用于初始化深度卷积神经网络DeepCNN和循环神经网络RNN，以建立角色动画生成神经网络模型；训练模块，用于导入角色动态图片样本库作为训练集，由角色动画生成神经网络模型对角色动态图片样本库进行监督学习；生成模块，用于输入同一角色的一对图片及指定动作类型，以利用训练完毕的角色动画生成神经网络模型，自动生成完整序列的二维角色动态图片。其中，该实施例的目的是通过输入的同一角色的一对图片及指定动作类型，找到已有的相似类型的二维角色动画。一方面，通过识别输入的图片上角色的各部分肢体，角色的肢体各个部分以确定其在将要形成的过渡帧上位置是否需要改变；另一方面，按照学习和模仿所得的知识确定角色的肢体各个部分需要如何改变位置，并将各过渡帧应插入到关键静止帧之间的恰当位置，从而形成完整的动画序列。

具体地，在本申请的一个或多个实施例中，该获取模块可以包括以下子模块：读取模块，用于基于openCV读取各张二维角色动态图片及其序列中各张静止帧；指定模块，用于指定各张二维角色动态图片的序列中的关键静止帧及二维角色动态图片的动作类型；计算模块，用于计算序列中各静止帧上的动画单位相对于相邻两张关键静止帧的权重值；标记模块，用于标记上述指定的关键静止帧、二维角色动态图片的运动类型以及权重值序列以形成二维角色动态图片的运动信息。其中，动画单位是动画划分的最小单元。例如，对于现有的二维角色动态图片，可以采用openCV库所提供的工具图像处理读入并做好简单的编号和标记，以方便在各张二维角色动态图片上标记特效信息。同时，由于二维角色动态图片的内容一般相对简单，可以基于二维角色动态图片的序列长度，以固定的间隔选择静止帧作为该二维角色动态图片的关键静止帧。然后，通过插值的方式将各静止帧上对应的动画单位表示为与其相邻两张关键静止帧的加权和，并按照次序记录各个静止帧的权重以形成权重值序列。此时，上述的关键静止帧、二维角色动态图片的类型以及各个权重所形成的加权值序列可以保存为该二维角色动态图片的特效信息，以完成对二维角色动态图片的标记。

进一步地，在本申请的上述一个或多个实施例中，所述特效信息至少还包括标识该二维角色动态图片是否循环播放的标识。尤其是对于挥手、行走和跑步等周期性动作，这可以更有针对性地指定二维角色动态图片中的关键静止帧(例如循环的周期开始帧和周期结束帧)，从而提高后继步骤中角色动画生成神经网络模型的训练效率(即使得角色动画生成神经网络模型能够针对少量关键静止帧进行训练，以快速地收敛)和角色动画生成神经网络模型自身的准确率。

再进一步地，在本申请的上述一个或多个实施例中，对于不同风格的二维角色动态图片，为了提高角色动画生成神经网络模型的适用性，角色动态图片样本库将根据动画风格分类为多个子训练集，并基于该子训练集形成相应多个角色动画生成神经网络模型。此时，训练所得的角色动画生成神经网络模型将分别对应于不同动画风格(例如夸张的卡通风格或写实风格)。相应地，使用角色动画生成神经网络模型生成二维角色动态图片时，还需要额外输入要指定的风格，从而能够更有针对性地自动生成二维角色动态图片。

在本申请的一个或多个实施例中，该初始化模块还可以包括以下子模块：执行模块，用于初始化深度卷积神经网络DeepCNN和循环神经网络RNN；提取模块，用于使用VGG-16网络模型提取角色动态图片样本库中各关键静止帧上动画单位的图像特征，以形成4096维特征向量。具体地，本领域技术人员可以利用开源的Tensorflow系统初始化深度卷积神经网络DeepCNN和循环神经网络RNN。同时，训练集中各关键静止帧上动画单位的图像特征可以通过VGG-16网络模型提取，以形成一个4096维的特征向量。

进一步地，在本申请的一个或多个实施例中，该训练模块还可以包括以下子模块：导入模块，用于将所述特征向量导入到深度卷积神经网络DeepCNN；监督模块，用于采用循环神经网络RNN对训练集进行反复监督学习。如前所述，因为循环神经网络RNN可以方便地训练并评估其所训练的角色动画生成神经网络模型，所以在角色动画生成神经网络模型的训练过程中可以通过检查每次迭代训练前后各个分类器的权重参数变化是否大于预设的阈值，以确定是否停止训练。本领域技术人员可以根据具体的训练过程设置相应的阈值，本申请对此不予限定。

由于电子游戏或动画制作项目中，相应的参与人员(例如软件开发商和外包设计公司内的美术人员)地理位置可能相隔较远，为了方便项目人员能够方便地修改原画，在本申请的一个或多个实施例中，该生成模块还可以包括以下子模块：布置模块，用于将训练完毕的角色动画生成神经网络模型布置在网络服务器，并配置角色动画生成神经网络模型的数据入口；上传模块，用于将同一角色的一对图片和动作类型通过数据入口上传到角色动画生成神经网络模型，以自动生成完整序列的二维角色动态图片。

进一步地，该数据入口可以是网页的形式。参照图6所示的网络架构图，此时，角色动画生成神经网络模型被布置在应用程序服务器上，并可以通过所提供相应的网页地址，由相关人员以各种形式的浏览终端访问(例如PC端或者智能移动端)，从而将同一角色的一对图片和动作类型在网页中上传至相应的网络服务器中，并由网络服务器将生成的二维角色动态图片通过网络返回。

应当认识到，本申请的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。该方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

进一步地，该方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本申请的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文该步骤的指令或程序时，本文所述的申请包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本申请所述的方法和技术编程时，本申请还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本申请优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

其他变型在本申请的精神内。因此，尽管所公开的技术可容许各种修改和替代构造，但在附图中已示出并且在上文中详细描述所示的其某些实施例。然而，应当理解，并不意图将本申请局限于所公开的一种或多种具体形式；相反，其意图涵盖如所附权利要求书中所限定落在本申请的精神和范围内的所有修改、替代构造和等效物。

Claims (10)

1.一种基于神经网络的二维角色动画生成方法，适用于二维动画或二维电子游戏制作，其特征在于，包括以下步骤：

S100)获取多张二维角色动态图片，并标记各张二维角色动态图片及其序列中各张静止帧的运动信息，以形成角色动态图片样本库；

S200)初始化深度卷积神经网络DeepCNN和循环神经网络RNN，以建立角色动画生成神经网络模型；

S300)导入角色动态图片样本库作为训练集，由角色动画生成神经网络模型对角色动态图片样本库进行监督学习；

S400)输入同一角色的一对图片及指定动作类型，以利用训练完毕的角色动画生成神经网络模型，自动生成完整序列的二维角色动态图片。

2.根据权利要求1所述的方法，其特征在于，所述步骤S100包括以下子步骤：

S101)基于openCV读取各张二维角色动态图片及其序列中各张静止帧；

S102)指定各张二维角色动态图片的序列中的关键静止帧及二维角色动态图片的动作类型；

S103)计算序列中各静止帧上的动画单位相对于相邻两张关键静止帧的权重值；

S104)标记上述指定的关键静止帧、二维角色动态图片的运动类型以及权重值序列以形成二维角色动态图片的运动信息；

其中，动画单位是动画划分的最小单元。

3.根据权利要求1或2所述的方法，其特征在于，所述运动信息至少还包括标识所述二维角色动态图片是否循环播放的标识。

4.根据权利要求3所述的方法，其特征在于，角色动态图片样本库根据二维角色动态图片的风格分类为多个子训练集，并基于所述子训练集形成相应多个角色动画生成神经网络模型。

5.根据权利要求4所述的方法，其特征在于，所述步骤S200还包括以下子步骤：

S201)初始化深度卷积神经网络DeepCNN和循环神经网络RNN；

S202)使用VGG-16网络模型提取角色动态图片样本库中各关键静止帧上动画单位的图像特征，以形成4096维特征向量。

6.根据权利要求5所述的方法，其特征在于，所述步骤S300还包括以下子步骤：

S301)将所述特征向量导入到深度卷积神经网络DeepCNN；

S302)采用循环神经网络RNN对训练集进行反复监督学习。

7.根据权利要求1所述的方法，其特征在于，所述步骤S400包括以下子步骤：

S401)将训练完毕的角色动画生成神经网络模型布置在网络服务器，并配置角色动画生成神经网络模型的数据入口；

S402)将同一角色的一对图片和动作类型通过数据入口上传到角色动画生成神经网络模型，以自动生成完整序列的二维角色动态图片。

8.根据权利要求7所述的方法，其特征在于，所述数据入口是网页的形式。

9.一种基于神经网络的二维角色动画生成装置，适用于二维动画或二维电子游戏制作，其特征在于，包括以下模块：

获取模块，用于获取多张二维角色动态图片，并标记各张二维角色动态图片及其序列中各张静止帧的运动信息，以形成角色动态图片样本库；

初始化模块，用于初始化深度卷积神经网络DeepCNN和循环神经网络RNN，以建立角色动画生成神经网络模型；

训练模块，用于导入角色动态图片样本库作为训练集，由角色动画生成神经网络模型对角色动态图片样本库进行监督学习；

生成模块，用于输入同一角色的一对图片及指定动作类型，以利用训练完毕的角色动画生成神经网络模型，自动生成完整序列的二维角色动态图片。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于该指令被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。