CN109816744A - 一种基于神经网络的二维特效图片生成方法和装置 - Google Patents

Abstract

一种基于神经网络的二维特效图片生成方法，包括：获取多张二维特效动态图片，并标记各张二维特效动态图片及其序列中各张静止帧的特效信息，以形成特效动态图片样本库；初始化深度卷积神经网络和循环神经网络，以建立特效生成神经网络模型；导入特效动态图片样本库作为训练集，由特效生成神经网络模型对特效动态图片样本库进行监督学习；利用训练完毕的特效生成神经网络模型对输入的单张图片自动生成完整序列的二维特效动态图片。本申请还公开了相应的基于神经网络的二维特效图片生成装置。本申请的有益效果为：利用神经网络对单张图片辅助生成相应的完整序列的二维特效动态图片，能够方便快捷地对创作多套二维特效动态图片。

Description

一种基于神经网络的二维特效图片生成方法和装置

技术领域

本发明涉及计算机学习领域，尤其涉及到一种基于神经网络的二维特效图片生成方法和装置。

背景技术

无论是电子游戏开发还是动画制作的过程，都不可避免地制作一些特效镜头(例如爆炸、扬尘和波浪等)，以增加电子产品的娱乐性和仿真程度。例如对应电子游戏开发，软件开发商都需要根据项目策划设计各种消灭敌人的爆炸特效或场景中可破坏物品破碎时的特效，以提高电子游戏的真实感和打击感。

然而，因为这些敌人的爆炸特效和物品的破碎特效往往被大量地应用到游戏的各个阶段和各个场景，同时为了避免过分单一而让游戏玩家产生审美疲劳，所以美术人员需要就同一类型的特效设计多套特效动态图片，并根据具体的场景将各套特效动态图片安排到相应的场景中显示。目前，特效动态图片的绘制工作很大程度上依赖于美术人员的经验，并且这往往需要其花费大量的时间来绘制，所以这使得软件开发商或者外包设计公司花费较大的人力成本和时间来完成上述任务。然而，因为相对于三维电子游戏所涉及到的复杂光影效果，二维电子游戏对特效的要求往往相对简单，所以针对二维动画或二维电子游戏所制作二维特效动态图片通常会包含大量机械性工作需要由美术人员执行。

发明内容

本申请的目的是解决现有技术的不足，提供一种基于神经网络的二维特效图片生成方法和装置，能够获得对输入的单张图片自动辅助生成相应的完整序列的二维特效动态图片技术效果。

为了实现上述目的，本申请采用以下的技术方案：

首先，本申请提出一种基于神经网络的二维特效图片生成方法，适用于二维动画或二维电子游戏制作。该方法包括以下步骤：

S100)获取多张二维特效动态图片，并标记各张二维特效动态图片及其序列中各张静止帧的特效信息，以形成特效动态图片样本库；

S200)初始化深度卷积神经网络DeepCNN(Deep Convolutional Neural Network)和循环神经网络RNN(Recurrent Neural Network)，以建立特效生成神经网络模型；

S300)导入特效动态图片样本库作为训练集，由特效生成神经网络模型对特效动态图片样本库进行监督学习；

S400)利用训练完毕的特效生成神经网络模型对输入的单张图片自动生成完整序列的二维特效动态图片。

进一步地，在本申请的上述方法中，该步骤S100还包括以下子步骤：

S101)基于openCV读取各张二维特效动态图片及其序列中各张静止帧；

S102)指定各张二维特效动态图片的序列中关键静止帧及二维特效动态图片的类型；

S103)基于色调、饱和度和亮度，计算序列中各静止帧相对于相邻两张关键静止帧的加权值；

S104)标记上述指定的关键静止帧、二维特效动态图片的类型以及加权值序列以形成二维特效动态图片的特效信息。

再进一步地，在本申请的上述方法中，该特效信息至少还包括标识该二维特效动态图片是否循环播放的标识。

又进一步地，在本申请的上述方法中，特效动态图片样本库根据二维特效动态图片的风格分类为多个子训练集，并基于该子训练集形成相应多个特效生成神经网络模型。

进一步地，在本申请的上述方法中，该步骤S200还包括以下子步骤：

S201)初始化深度卷积神经网络DeepCNN和循环神经网络RNN；

S202)使用VGG-16网络模型提取特效动态图片样本库中各关键静止帧的图像特征，以形成4096维特征向量。

再进一步地，在本申请的上述方法中，该步骤S300还包括以下子步骤：

S301)将该特征向量导入到深度卷积神经网络DeepCNN；

S302)采用循环神经网络RNN对训练集进行反复监督学习。

进一步地，在本申请的上述方法中，该步骤S400包括以下子步骤：

S401)将训练完毕的特效生成神经网络模型布置在网络服务器，并配置特效生成神经网络模型的数据入口；

S402)将单张图片通过数据入口上传到特效生成神经网络模型，以自动生成完整序列的二维特效动态图片。

再进一步地，在本申请的上述方法中，该数据入口是网页的形式。

其次，本申请还公开了一种基于神经网络的二维特效图片生成装置，适用于二维动画或二维电子游戏制作。该装置可以包括以下模块：获取模块，用于获取多张二维特效动态图片，并标记各张二维特效动态图片及其序列中各张静止帧的特效信息，以形成特效动态图片样本库；初始化模块，用于初始化深度卷积神经网络DeepCNN和循环神经网络RNN，以建立特效生成神经网络模型；训练模块，用于导入特效动态图片样本库作为训练集，由特效生成神经网络模型对特效动态图片样本库进行监督学习；生成模块，用于利用训练完毕的特效生成神经网络模型对输入的单张图片自动生成完整序列的二维特效动态图片。

进一步地，在本申请的上述装置中，该获取模块可以包括以下子模块：读取模块，用于基于openCV读取各张二维特效动态图片及其序列中各张静止帧；指定模块，用于指定各张二维特效动态图片的序列中关键静止帧及二维特效动态图片的类型；计算模块，用于基于色调、饱和度和亮度，计算序列中各静止帧相对于相邻两张关键静止帧的加权值；标记模块，用于标记上述指定的关键静止帧、二维特效动态图片的类型以及加权值序列以形成二维特效动态图片的特效信息。

再进一步地，在本申请的上述装置中，该特效信息至少还包括标识该二维特效动态图片是否循环播放的标识。

又进一步地，在本申请的上述装置中，特效动态图片样本库根据二维特效动态图片的风格分类为多个子训练集，并基于该子训练集形成相应多个特效生成神经网络模型。

进一步地，在本申请的上述装置中，该初始化模块还可以包括以下子模块：执行模块，用于初始化深度卷积神经网络DeepCNN和循环神经网络RNN；提取模块，用于使用VGG-16网络模型提取特效动态图片样本库中各关键静止帧的图像特征，以形成4096维特征向量。

再进一步地，在本申请的上述装置中，该训练模块还可以包括以下子模块：导入模块，用于将所述特征向量导入到深度卷积神经网络DeepCNN；监督模块，用于采用循环神经网络RNN对训练集进行反复监督学习。

进一步地，在本申请的上述装置中，该生成模块还可以包括以下子模块：布置模块，用于将训练完毕的特效生成神经网络模型布置在网络服务器，并配置特效生成神经网络模型的数据入口；上传模块，用于将单张图片通过数据入口上传到特效生成神经网络模型，以自动生成完整序列的二维特效动态图片。

再进一步地，在本申请的上述装置中，该数据入口是网页的形式。

最后，本申请还提出一种计算机可读存储介质，其上存储有计算机指令。上述指令被处理器执行时，执行如下步骤：

S100)获取多张二维特效动态图片，并标记各张二维特效动态图片及其序列中各张静止帧的特效信息，以形成特效动态图片样本库；

S200)初始化深度卷积神经网络DeepCNN和循环神经网络RNN，以建立特效生成神经网络模型；

S300)导入特效动态图片样本库作为训练集，由特效生成神经网络模型对特效动态图片样本库进行监督学习；

S400)利用训练完毕的特效生成神经网络模型对输入的单张图片自动生成完整序列的二维特效动态图片。

进一步地，在处理器执行上述指令时，该步骤S100还包括以下子步骤：

S101)基于openCV读取各张二维特效动态图片及其序列中各张静止帧；

S102)指定各张二维特效动态图片的序列中关键静止帧及二维特效动态图片的类型；

S103)基于色调、饱和度和亮度，计算序列中各静止帧相对于相邻两张关键静止帧的加权值；

S104)标记上述指定的关键静止帧、二维特效动态图片的类型以及加权值序列以形成二维特效动态图片的特效信息。

再进一步地，在处理器执行上述指令时，该特效信息至少还包括标识该二维特效动态图片是否循环播放的标识。

又进一步地，在处理器执行上述指令时，特效动态图片样本库根据二维特效动态图片的风格分类为多个子训练集，并基于该子训练集形成相应多个特效生成神经网络模型。

进一步地，在处理器执行上述指令时，该步骤S200还包括以下子步骤：

S201)初始化深度卷积神经网络DeepCNN和循环神经网络RNN；

S202)使用VGG-16网络模型提取特效动态图片样本库中各关键静止帧的图像特征，以形成4096维特征向量。

再进一步地，在处理器执行上述指令时，该步骤S300还包括以下子步骤：

S301)将该特征向量导入到深度卷积神经网络DeepCNN；

S302)采用循环神经网络RNN对训练集进行反复监督学习。

进一步地，在处理器执行上述指令时，该步骤S400包括以下子步骤：

S401)将训练完毕的特效生成神经网络模型布置在网络服务器，并配置特效生成神经网络模型的数据入口；

S402)将单张图片通过数据入口上传到特效生成神经网络模型，以自动生成完整序列的二维特效动态图片。

再进一步地，在处理器执行上述指令时，该数据入口是网页的形式。

本申请的有益效果为：利用神经网络对单张图片辅助生成相应的完整序列的二维特效动态图片，从而减轻了二维特效动态图片的制作过程中繁重的静止帧制作工作，能够方便快捷地创作多套二维特效动态图片。

附图说明

图1所示为本申请所公开的基于神经网络的二维特效图片生成方法的流程图；

图2所示为在本申请的一个实施例中，形成特效动态图片样本库子方法的流程图；

图3所示为在本申请的另一个实施例中，特效生成神经网络模型初始化子方法的流程图；

图4所示为在本申请的又一个实施例中，对特效生成神经网络模型进行监督学习子方法的流程图；

图5所示为在本申请的又一个实施例中，特效生成神经网络模型对输入的单张图片自动生成完整序列的二维特效动态图片子方法的流程图；

图6为实现图5中子方法流程图的网络结构配置图；

图7所示为本申请所公开的基于神经网络的二维特效图片生成装置的结构图。

具体实施方式

以下将结合实施例和附图对本申请的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本申请的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本申请中所使用的上、下、左、右等描述仅仅是相对于附图中本申请各组成部分的相互位置关系来说的。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本申请中可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本申请范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”。

参照图1所示的方法流程图，在本申请的一个或多个实施例中，基于神经网络的二维特效图片生成方法可以包括以下步骤：

S100)获取多张二维特效动态图片，并标记各张二维特效动态图片及其序列中各张静止帧的特效信息，以形成特效动态图片样本库；

S200)初始化深度卷积神经网络DeepCNN和循环神经网络RNN，以建立特效生成神经网络模型；

S300)导入特效动态图片样本库作为训练集，由特效生成神经网络模型对特效动态图片样本库进行监督学习；

S400)利用训练完毕的特效生成神经网络模型对输入的单张图片自动生成完整序列的二维特效动态图片。

其中，特效信息可以包括但是不限于二维特效动态图片本身的类型(例如爆炸、波浪)和图像风格(写实的或卡通的)等图像内容上的分类标签，也可以是二维特效动态图片的帧数以及各帧分辨率等数据。训练完毕后，特效生成神经网络模型将输入的单张图片匹配到最为接近的静止帧，并基于该静止帧所对应的二维特效动态图片生成相应的二维特效动态图片。

参照图2所示的方法流程图，在本申请的一个或多个实施例中，该步骤S100包括以下子步骤：

S101)基于openCV读取各张二维特效动态图片及其序列中各张静止帧；

S102)指定各张二维特效动态图片的序列中关键静止帧及二维特效动态图片的类型；

S103)基于色调、饱和度和亮度，计算序列中各静止帧相对于相邻两张关键静止帧的加权值；

S104)标记上述指定的关键静止帧、二维特效动态图片的类型以及加权值序列以形成二维特效动态图片的特效信息。

具体地，对于现有的二维特效动态图片，可以采用openCV库所提供的工具图像处理读入并做好简单的编号和标记，以方便在各张二维特效动态图片上标记特效信息。同时，由于二维特效动态图片的内容一般相对简单，可以基于二维特效动态图片的序列长度，以固定的间隔选择静止帧作为该二维特效动态图片的关键静止帧。然后，以像素点或以对关键静止帧进行图像分割后所得的区域为单位，将各静止帧上对应位置处的色调、饱和度和亮度表示为与其相邻两张关键静止帧的加权和(即通过插值的方式，将各静止帧上的每一个像素点或区域上的色调、饱和度和亮度，表示为与其相邻两张关键静止帧上对应点或区域的加权和)，并按照次序记录各个静止帧的权重以形成加权值序列。此时，上述的关键静止帧、二维特效动态图片的类型以及各个权重所形成的加权值序列可以保存为该二维特效动态图片的特效信息，以完成对二维特效动态图片的标记。

进一步地，在本申请的上述一个或多个实施例中，所述特效信息至少还包括标识该二维特效动态图片是否循环播放的标识。尤其是对于波浪和扬尘等可能具有周期性的特效，这可以更有针对性地指定二维特效动态图片中的关键静止帧(例如循环的周期开始帧和周期结束帧)，从而提高后继步骤中特效生成神经网络模型的训练效率(即使得特效生成神经网络模型能够快速地收敛)和特效生成神经网络模型自身的准确率。

再进一步地，在本申请的上述一个或多个实施例中，对于不同风格的二维特效动态图片，为了提高特效生成神经网络模型的适用性，特效动态图片样本库将根据风格分类为多个子训练集，并基于该子训练集形成相应多个特效生成神经网络模型。此时，训练所得的特效生成神经网络模型将分别对应于不同特效的风格(例如卡通的或写实的)。使用特效生成神经网络模型生成二维特效动态图片时，输入的单张图片将被指定相应的风格，从而能够更有针对性地对不同具体要求的图片自动生成二维特效动态图片。

参照图3所示的子方法流程图，在本申请的一个或多个实施例中，该步骤S200还包括以下子步骤：

S201)初始化深度卷积神经网络DeepCNN和循环神经网络RNN；

S202)使用VGG-16网络模型提取特效动态图片样本库中各关键静止帧的图像特征，以形成4096维特征向量。

具体地，本领域技术人员可以利用开源的Tensorflow系统初始化深度卷积神经网络DeepCNN和循环神经网络RNN。同时，训练集中各关键静止帧的图像特征可以通过VGG-16网络模型提取，以形成一个4096维的特征向量。

进一步地，参照图4所示的子方法流程图，在本申请的一个或多个实施例中，该步骤S300还包括以下子步骤：

S301)将该特征向量导入到深度卷积神经网络DeepCNN；

S302)采用循环神经网络RNN对训练集进行反复监督学习。

如前所述，因为循环神经网络RNN可以方便地训练并评估其所训练的特效生成神经网络模型，所以在特效生成神经网络模型的训练过程中可以通过检查每次迭代训练前后各个分类器的权重参数变化是否大于预设的阈值，以确定是否停止训练。本领域技术人员可以根据具体的训练过程设置相应的阈值，本申请对此不予限定。

由于电子游戏或动画制作项目中，相应的参与人员(例如软件开发商和外包设计公司内的美术人员)地理位置可能相隔较远，为了方便项目人员能够方便地修改二维动态特效图片，参照图5所示的子方法流程图，在本申请的一个或多个实施例中，该步骤S400包括以下子步骤：

S401)将训练完毕的特效生成神经网络模型布置在网络服务器，并配置特效生成神经网络模型的数据入口；

S402)将单张图片通过数据入口上传到特效生成神经网络模型，以自动生成完整序列的二维特效动态图片。

进一步地，该数据入口可以是网页的形式。参照图6所示的网络架构图，此时，特效生成神经网络模型被布置在应用程序服务器上，并可以通过所提供相应的网页地址，由相关人员以各种形式的浏览终端访问(例如PC端或者智能移动端)，从而将单张图片在网页中上传至相应的网络服务器中，并由网络服务器将生成的二维特效动态图片通过网络返回。

参照图7所示的模块结构图，在本申请的一个或多个实施例中，基于神经网络的二维特效图片生成装置可以包括以下模块：获取模块，用于获取多张二维特效动态图片，并标记各张二维特效动态图片及其序列中各张静止帧的特效信息，以形成特效动态图片样本库；初始化模块，用于初始化深度卷积神经网络DeepCNN和循环神经网络RNN，以建立特效生成神经网络模型；训练模块，用于导入特效动态图片样本库作为训练集，由特效生成神经网络模型对特效动态图片样本库进行监督学习；生成模块，用于利用训练完毕的特效生成神经网络模型对输入的单张图片自动生成完整序列的二维特效动态图片。其中，特效信息可以包括但是不限于二维特效动态图片本身的类型(例如爆炸、波浪)和图像风格(写实的或卡通的)等图像内容上的分类标签，也可以是二维特效动态图片的帧数以及各帧分辨率等数据。训练完毕后，特效生成神经网络模型将输入的单张图片匹配到最为接近的静止帧，并基于该静止帧所对应的二维特效动态图片生成相应的二维特效动态图片。

在本申请的一个或多个实施例中，该获取模块可以包括以下子模块：读取模块，用于基于openCV读取各张二维特效动态图片及其序列中各张静止帧；指定模块，用于指定各张二维特效动态图片的序列中关键静止帧及二维特效动态图片的类型；计算模块，用于基于色调、饱和度和亮度，计算序列中各静止帧相对于相邻两张关键静止帧的加权值；标记模块，用于标记上述指定的关键静止帧、二维特效动态图片的类型以及加权值序列以形成二维特效动态图片的特效信息。具体地，对于现有的二维特效动态图片，可以采用openCV库所提供的工具图像处理读入并做好简单的编号和标记，以方便在各张二维特效动态图片上标记特效信息。同时，由于二维特效动态图片的内容一般相对简单，可以基于二维特效动态图片的序列长度，以固定的间隔选择静止帧作为该二维特效动态图片的关键静止帧。然后，以像素点或以对关键静止帧进行图像分割后所得的区域为单位，将各静止帧上对应位置处的色调、饱和度和亮度表示为与其相邻两张关键静止帧的加权和(即通过插值的方式，将各静止帧上的每一个像素点或区域上的色调、饱和度和亮度，表示为与其相邻两张关键静止帧上对应点或区域的加权和)，并按照次序记录各个静止帧的权重以形成加权值序列。此时，上述的关键静止帧、二维特效动态图片的类型以及各个权重所形成的加权值序列可以保存为该二维特效动态图片的特效信息，以完成对二维特效动态图片的标记。

进一步地，在本申请的上述一个或多个实施例中，该特效信息至少还包括标识该二维特效动态图片是否循环播放的标识。尤其是对于波浪和扬尘等可能具有周期性的特效，这可以更有针对性地指定二维特效动态图片中的关键静止帧(例如循环的周期开始帧和周期结束帧)，从而提高后继步骤中特效生成神经网络模型的训练效率(即使得特效生成神经网络模型能够快速地收敛)和特效生成神经网络模型自身的准确率。

再进一步地，在本申请的上述一个或多个实施例中，对于不同风格的二维特效动态图片，为了提高特效生成神经网络模型的适用性，特效动态图片样本库将根据风格分类为多个子训练集，并基于该子训练集形成相应多个特效生成神经网络模型。此时，训练所得的特效生成神经网络模型将分别对应于不同特效的风格(例如卡通的或写实的)。使用特效生成神经网络模型生成二维特效动态图片时，输入的单张图片将被指定相应的风格，从而能够更有针对性地对不同具体要求的图片自动生成二维特效动态图片。

在本申请的一个或多个实施例中，该初始化模块还可以包括以下子模块：执行模块，用于初始化深度卷积神经网络DeepCNN和循环神经网络RNN；提取模块，用于使用VGG-16网络模型提取特效动态图片样本库中各关键静止帧的图像特征，以形成4096维特征向量。具体地，本领域技术人员能够利用开源的Tensorflow系统初始化深度卷积神经网络DeepCNN和循环神经网络RNN。同时，训练集中各关键静止帧的图像特征可以通过VGG-16网络模型提取，以形成一个4096维的特征向量。

进一步地，在本申请的一个或多个实施例中，该训练模块还可以包括以下子模块：导入模块，用于将所述特征向量导入到深度卷积神经网络DeepCNN；监督模块，用于采用循环神经网络RNN对训练集进行反复监督学习。如前该，因为循环神经网络RNN可以方便地训练并评估其所训练的特效生成神经网络模型，所以在特效生成神经网络模型的训练过程中可以通过检查每次迭代训练前后各个分类器的权重参数变化是否大于预设的阈值，以确定是否停止训练。本领域技术人员可以根据具体的训练过程设置相应的阈值，本申请对此不予限定。

由于电子游戏或动画制作项目中，相应的参与人员(例如软件开发商和外包设计公司内的美术人员)地理位置可能相隔较远，为了方便项目人员能够方便地修改二维特效动态图片，在本申请的一个或多个实施例中，该生成模块还可以包括以下子模块：布置模块，用于将训练完毕的特效生成神经网络模型布置在网络服务器，并配置特效生成神经网络模型的数据入口；上传模块，用于将单张图片通过数据入口上传到特效生成神经网络模型，以自动生成完整序列的二维特效动态图片。进一步地，该数据入口可以是网页的形式。参照图6所示的网络架构图。此时，特效生成神经网络模型被布置在应用程序服务器上，并可以通过所提供相应的网页地址，由相关人员以各种形式的浏览终端访问(例如PC端或者智能移动端)，从而将单张图片在网页中上传至相应的网络服务器中，并由网络服务器将生成的二维特效动态图片通过网络返回。

应当认识到，本申请的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。该方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

进一步地，该方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本申请的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文该步骤的指令或程序时，本文所述的申请包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本申请所述的方法和技术编程时，本申请还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本申请优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

因此，应以说明性意义而不是限制性意义来理解本说明书和附图。然而，将明显的是：在不脱离如权利要求书中阐述的本申请的更宽广精神和范围的情况下，可以对本申请做出各种修改和改变。

其他变型在本申请的精神内。因此，尽管所公开的技术可容许各种修改和替代构造，但在附图中已示出并且在上文中详细描述所示的其某些实施例。然而，应当理解，并不意图将本申请局限于所公开的一种或多种具体形式；相反，其意图涵盖如所附权利要求书中所限定落在本申请的精神和范围内的所有修改、替代构造和等效物。

Claims (10)

1.一种基于神经网络的二维特效图片生成方法，适用于二维动画或二维电子游戏制作，其特征在于，包括以下步骤：

S100)获取多张二维特效动态图片，并标记各张二维特效动态图片及其序列中各张静止帧的特效信息，以形成特效动态图片样本库；

S200)初始化深度卷积神经网络DeepCNN和循环神经网络RNN，以建立特效生成神经网络模型；

S300)导入特效动态图片样本库作为训练集，由特效生成神经网络模型对特效动态图片样本库进行监督学习；

S400)利用训练完毕的特效生成神经网络模型对输入的单张图片自动生成完整序列的二维特效动态图片。

2.根据权利要求1所述的方法，其特征在于，所述步骤S100包括以下子步骤：

S101)基于openCV读取各张二维特效动态图片及其序列中各张静止帧；

S102)指定各张二维特效动态图片的序列中关键静止帧及二维特效动态图片的类型；

S103)基于色调、饱和度和亮度，计算序列中各静止帧相对于相邻两张关键静止帧的加权值；

S104)标记上述指定的关键静止帧、二维特效动态图片的类型以及加权值序列以形成二维特效动态图片的特效信息。

3.根据权利要求1或2所述的方法，其特征在于，所述特效信息至少还包括标识所述二维特效动态图片是否循环播放的标识。

4.根据权利要求3所述的方法，其特征在于，特效动态图片样本库根据二维特效动态图片的风格分类为多个子训练集，并基于所述子训练集形成相应多个特效生成神经网络模型。

5.根据权利要求1所述的方法，其特征在于，所述步骤S200还包括以下子步骤：

S201)初始化深度卷积神经网络DeepCNN和循环神经网络RNN；

S202)使用VGG-16网络模型提取特效动态图片样本库中各关键静止帧的图像特征，以形成4096维特征向量。

6.根据权利要求5所述的方法，其特征在于，所述步骤S300还包括以下子步骤：

S301)将所述特征向量导入到深度卷积神经网络DeepCNN；

S302)采用循环神经网络RNN对训练集进行反复监督学习。

7.根据权利要求1所述的方法，其特征在于，所述步骤S400包括以下子步骤：

S401)将训练完毕的特效生成神经网络模型布置在网络服务器，并配置特效生成神经网络模型的数据入口；

S402)将单张图片通过数据入口上传到特效生成神经网络模型以自动生成完整序列的二维特效动态图片。

8.根据权利要求7所述的方法，其特征在于，所述数据入口是网页的形式。

9.一种基于神经网络的二维特效图片生成装置，适用于二维动画或二维电子游戏制作，其特征在于，包括以下模块：

获取模块，用于获取多张二维特效动态图片，并标记各张二维特效动态图片及其序列中各张静止帧的特效信息，以形成特效动态图片样本库；

初始化模块，用于初始化深度卷积神经网络DeepCNN和循环神经网络RNN，以建立特效生成神经网络模型；

训练模块，用于导入特效动态图片样本库作为训练集，由特效生成神经网络模型对特效动态图片样本库进行监督学习；

生成模块，用于利用训练完毕的特效生成神经网络模型对输入的单张图片自动生成完整序列的二维特效动态图片。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于该指令被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。