CN109993820A - 一种动画视频自动生成方法及其装置 - Google Patents

Abstract

本发明公开了一种动画视频自动生成方法及其装置，其步骤包括：首先通过一个基于生成对抗网络的图像生成模块将两张手绘分镜草图转换为对应的动画风格的图像；然后通过一个基于卷积神经网络的预测模块预测这两张图像帧之间的多张图像帧；再通过一个基于卷积神经网络的插帧模块在任意两张图像帧之间插入多张图像帧，将动画视频的帧率进一步提升，最终得到一个包含多张连续图像帧的流畅的动画序列。本发明能利用少量手绘分镜草图直接生成动画视频，从而使得动画视频生成过程更简单高效自动化。

Description

一种动画视频自动生成方法及其装置

技术领域

本发明涉及动画领域，具体是一种动画视频自动生成方法及其装置。

背景技术

动画是一种综合了绘画、电影、摄影、音乐、文学等众多艺术门类于一身的艺术表现形式，目前大多数动画的制作都是基于手绘，画师根据分镜脚本绘制出大量手绘线稿草图后上色，再通过连续播放一系列连续图像来完成一段动画的制作。这类方法对画师要求较高，需要经验丰富的画师来完成手绘线稿图像，同时对于一个精度较高的动画，包含成千上万帧，例如动画长片电影《至爱梵高》，导演耗费7年时间集结了全球125位优秀画师，临摹了梵高生前120幅经典画作，共绘制了65000幅手绘油画，才构成了最终的95分钟的成片，这是一个相当耗时耗力的过程。近年来计算机视觉、图像处理领域的方法，尤其是深度学习的方法，可以较好地完成图像风格迁移、视频插帧等任务，但这些任务都是单独没有形成系统的，仅可以完成生成动画图像或者对已有的动画进行处理。因此，更简单高效自动地生成动画具有重要意义。

发明内容

本发明为克服现有技术的不足之处，提供一种动画视频自动生成方法及其装置，以期通过少量的分镜草图即可自动生成动画序列，从而使得动画视频生成过程更简单高效自动化。

本发明为解决技术问题采用如下技术方案：

本发明一种动画视频自动生成方法的特点是按如下步骤进行：

步骤1：构建一个基于生成对抗网络的图像生成模块T：

设置所述图像生成模块T包含一个生成网络G和一个判别网络D；

设置所述生成网络G依次包含两个U-Net模块和一个ResNet模块；

设置任意一个U-Net模块包含：m个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的卷积模块、k个池化模块、k个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的反卷积模块；

以每两个卷积模块为一组，前(m-2)/4组卷积模块与k个池化模块交替相连，共同组成编码模块，后(m-2)/4组卷积模块与k个反卷积模块交替相连，共同组成解码模块，从而依次由编码模块、解码模块和一组卷积模块形成U-Net模块；

设置所述ResNet模块包括：c个相同的残差块，且任意一个残差块由包含快捷连接的卷积核的大小为n×n的卷积层、批正则化层、ReLU激活函数层依次构成；

设置所述判别网络D包含s个由卷积核的大小为n×n的卷积层、批正则化层和LeakyReLU激活函数层构成的判别卷积模块、s个池化模块，以及一个由卷积核的大小为n×n的卷积层、全连接层和Sigmoid激活函数层构成的输出模块，其中s个所述判别卷积模块与s个池化模块交替相连，第s个池化模块后与所述输出模块相连；

步骤2：构建一个基于卷积神经网络的预测模块P：

设置所述预测模块P依次包含：p个所述U-Net模块、q个所述ResNet模块、一个编码器模块和一个解码器模块；

设置所述编码器模块依次包含：h个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的模块；

设置所述解码器模块依次包含：h个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的模块；

步骤3：构建一个基于卷积神经网络的插帧模块I：

设置所述插帧模块I依次包含：w个所述U-Net模块，v个所述ResNet模块；

步骤4：将两张手绘分镜草图x₁,x₂输入所述图像生成模块T中，得到对应的两张动画风格的图像帧F₁,F₂；

步骤5：将所述两张动画风格的图像帧F₁,F₂输入基于全卷积网络的语义分割网络中，得到两张语义分割图像；

将所述两张语义分割图像和两张动画风格的图像帧F₁,F₂一起输入所述预测模块P中，得到图像帧F₁,F₂之间的J张预测图像帧{F_1,j|j＝1,2,...J}；

将所述图像帧F₁,F₂分别作为第一帧图像和最后一帧图像，将J张预测图像帧{F_1,j|j＝1,2,...J}作为中间帧图像，从而共同构成J+2张的图像帧序列{f_i|i＝1,2,...J+2}；

步骤6：将所述J+2张的图像帧序列{f_i|i＝1,2,...J+2}中任意相邻两张图像帧作为一组，从而得到J+1组相邻帧；将任意第x组相邻帧f_x,f_x+1输入所述插帧模块I，得到第x组相邻帧f_x,f_x+1的Y张插帧图像，记为并将所述第x组相邻帧f_x,f_x+1分别作为第一帧图像和最后一帧图像，将Y张插帧图像作为中间帧图像，从而共同构成Y+2张的插帧图像序列；从而得到J+1组相邻帧的插帧图像集合并与相应的相邻帧共同构成Y×(1+J)+2+J张图像帧集合作为由手绘分镜草图x₁,x₂生成的动画序列。

本发明一种动画视频自动生成装置的特点是包括：基于生成对抗网络的图像生成模块T、基于卷积神经网络的预测模块P和基于卷积神经网络的插帧模块I；

所述基于生成对抗网络的图像生成模块T用于将手绘分镜草图转换为对应的动画风格的图像帧，并包含一个生成网络G和一个判别网络D；

所述生成网络G依次包含两个U-Net模块和一个ResNet模块；

任意一个U-Net模块包含：m个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的卷积模块、k个池化模块、k个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的反卷积模块；

以每两个卷积模块为一组，前(m-2)/4组卷积模块与k个池化模块交替相连，共同组成编码模块，后(m-2)/4组卷积模块与k个反卷积模块交替相连，共同组成解码模块，从而依次由编码模块、解码模块和一组卷积模块形成U-Net模块；

所述ResNet模块包括：c个相同的残差块，且任意一个残差块由包含快捷连接的卷积核的大小为n×n的卷积层、批正则化层、ReLU激活函数层依次构成；

所述判别网络D包含s个由卷积核的大小为n×n的卷积层、批正则化层和LeakyReLU激活函数层构成的判别卷积模块、s个池化模块，以及一个由卷积核的大小为n×n的卷积层、全连接层和Sigmoid激活函数层构成的输出模块，其中s个所述判别卷积模块与s个池化模块交替相连，第s个池化模块后与所述输出模块相连；

所述基于卷积神经网络的预测模块P用于预测两张动画风格的图像帧之间的多张图像帧，并依次包括：p个所述U-Net模块、q个所述ResNet模块、一个编码器模块、一个解码器模块；

所述编码器模块依次包含：h个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的模块；

所述解码器模块依次包含：h个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的模块；

所述基于卷积神经网络的插帧模块I用于对所预测得到多张图像帧中的任意两个相邻帧图像进行插帧处理，得到插帧图像集合，并依次包含：w个所述U-Net模块，v个所述ResNet模块。

与现有技术相比，本发明的有益效果在于：

1.本发明提供了一个完整的自动生成动画的方法及其装置，可以只利用少量的手绘分镜草图预测多张中间图像帧，再通过插帧处理进一步提升帧率，进而组成一个连续的动画序列。这样一种动画视频自动生成方法可以为普通用户制作动画视频提供辅助。

2.本发明通过基于生成对抗网络的图像生成模块将手绘分镜草图转换为对应的动画风格的图像帧，从而减少了画师对分镜草图上色的时间精力。

3.本发明通过基于卷积神经网络的预测模块预测两张动画风格的图像帧之间的多张图像帧，从而减少了画师绘制手绘线稿草图的数量，使动画视频制作更加高效。

4.本发明通过基于卷积神经网络的插帧模块对预测得到的多张图像帧中的任意两个相邻帧图像进行插帧处理，从而提高了视频的帧率，使动画看起来更加流畅。

附图说明

图1是本发明方法的流程框图；

图2是本发明采用的图像生成模块T的流程框图；

图3是本发明采用的预测模块P的流程框图；

图4是本发明采用的插帧模块I的流程框图；

图5是采用本发明用两张分镜草图自动生成一个包含多张连续的图像帧的动画序列；

图6为本发明提供的卡通动画自动生成装置的结构示意图。

具体实施方式

本实施例中，一种卡通动画视频自动生成方法，参考图1，是按如下步骤进行：

步骤1：构建一个基于生成对抗网络的图像生成模块T，如图2所示：

设置图像生成模块T包含一个生成网络G和一个判别网络D；

设置生成网络G依次包含两个U-Net模块和一个ResNet模块；

设置任意一个U-Net模块包含：m个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的卷积模块、k个池化模块、k个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的反卷积模块；

以每两个卷积模块为一组，前(m-2)/4组卷积模块与k个池化模块交替相连，共同组成编码模块，后(m-2)/4组卷积模块与k个反卷积模块交替相连，共同组成解码模块，从而依次由编码模块、解码模块和一组卷积模块形成U-Net模块；

本实例中m为14，n为3，k为3，池化模块使用的是卷积核大小2×2，步长为2的最大池化；

设置ResNet模块包括：c个相同的残差块，且任意一个残差块由包含快捷连接的卷积核的大小为n×n的卷积层、批正则化层、ReLU激活函数层依次构成，本实例中c为10；

设置判别网络D包含s个由卷积核的大小为n×n的卷积层、批正则化层和LeakyReLU激活函数层构成的判别卷积模块、s个池化模块，以及一个由卷积核的大小为n×n的卷积层、全连接层和Sigmoid激活函数层构成的输出模块，其中s个判别卷积模块与s个池化模块交替相连，第s个池化模块后与输出模块相连，本实例中s为4，池化模块使用的是卷积核大小3×3，步长为2的最大池化；

步骤2：构建一个基于卷积神经网络的预测模块P，如图3所示：

设置预测模块P依次包含：p个U-Net模块、q个ResNet模块、一个编码器模块、一个解码器模块，其中p个U-Net模块相连，再与q个ResNet模块相连，最后一个ResNet模块后与编码器模块相连，最后与解码器模块相连，本实例中p为4，q为1；

设置编码器模块依次包含：h个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的模块，本实例中h为4；

设置解码器模块依次包含：h个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的模块；

步骤3：构建一个基于卷积神经网络的插帧模块I，如图4所示：

设置插帧模块I包含：w个U-Net模块，v个ResNet模块，其中w个U-Net模块相连，再与v个ResNet模块相连，本实例中w为3，v为1；

步骤4：为了制作一个动画视频，首先需要用户画出一些关键画面的线稿草图，将两张手绘分镜草图x₁,x₂输入所述图像生成模块T中，得到对应的两张动画风格的图像帧F₁,F₂，参考图2，这里的动画风格由网络训练时所使用的训练集里图像的风格所决定；

步骤5：生成的两张动画风格的图像作为动画的前后两帧，它们之间的几帧图像应该是相关联的画面，因此可以使用基于卷积神经网络的预测模块预测中间帧，为了更好地保留这两帧图像的语义信息，将两张动画风格的图像帧F₁,F₂输入基于全卷积网络的语义分割网络中，得到两张语义分割图像；

将两张语义分割图像和两张动画风格的图像帧F₁,F₂一起输入预测模块P中，得到图像帧F₁,F₂之间的J张预测图像帧{F_1,j|j＝1,2,...J}，参考图3，需要注意的是，两张语义分割图像经过一个同样结构的U-Net模块后的输出也输入预测模块P中的第二个和第三个U-Net模块；

将图像帧F₁,F₂分别作为第一帧图像和最后一帧图像，将J张预测图像帧{F_1,j|j＝1,2,...J}作为中间帧图像，从而共同构成J+2张的图像帧序列{f_i|i＝1,2,...J+2}；

步骤6：为了让动画看起来更加流畅，可以通过在每相邻两帧之间插入一些帧来提高帧率，让动作更加连续，将J+2张的图像帧序列{f_i|i＝1,2,...J+2}中任意相邻两张图像帧作为一组，从而得到J+1组相邻帧；将任意第x组相邻帧f_x,f_x+1输入插帧模块I，参考图4，得到第x组相邻帧f_x,f_x+1的Y张插帧图像，记为并将第x组相邻帧f_x,f_x+1分别作为第一帧图像和最后一帧图像，将Y张插帧图像作为中间帧图像，从而共同构成Y+2张的插帧图像序列；从而得到J+1组相邻帧的插帧图像集合并与相应的相邻帧共同构成Y×(1+J)+2+J张图像帧集合作为由手绘分镜草图x₁,x₂生成的动画序列。

通过以上步骤，可以只利用两张用户绘制的手绘分镜草图自动生成一个包含多张连续的图像帧的动画序列。如图5所示，(a)、(b)分别为用户绘制的两张手绘草图，(c)、(m)为图像生成模块T的输出，(f)、(i)、(l)为预测模块P的输出，(d)、(e)、(g)、(h)、(j)、(k)为插帧模块I的输出。

本实施例中，一种动画视频自动生成装置，如图6所示，包括：基于生成对抗网络的图像生成模块T、基于卷积神经网络的预测模块P和基于卷积神经网络的插帧模块I；

基于生成对抗网络的图像生成模块T用于将用户的手绘分镜草图转换为对应的动画风格的图像帧，可以减少用户对分镜草图上色的时间精力，该生成模块包含一个生成网络G和一个判别网络D；

生成网络G依次包含两个U-Net模块和一个ResNet模块；

任意一个U-Net模块包含：m个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的卷积模块、k个池化模块、k个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的反卷积模块；

以每两个卷积模块为一组，前(m-2)/4组卷积模块与k个池化模块交替相连，共同组成编码模块，后(m-2)/4组卷积模块与k个反卷积模块交替相连，共同组成解码模块，从而依次由编码模块、解码模块和一组卷积模块形成U-Net模块；

本实例中m为14，n为3，k为3，池化模块使用的是卷积核大小2×2，步长为2的最大池化；

ResNet模块包括：c个相同的残差块，且任意一个残差块由包含快捷连接的卷积核的大小为n×n的卷积层、批正则化层、ReLU激活函数层依次构成，本实例中c为10；

判别网络D包含s个由卷积核的大小为n×n的卷积层、批正则化层和LeakyReLU激活函数层构成的判别卷积模块、s个池化模块，以及一个由卷积核的大小为n×n的卷积层、全连接层和Sigmoid激活函数层构成的输出模块，其中s个判别卷积模块与s个池化模块交替相连，第s个池化模块后与输出模块相连，本实例中s为4，池化模块使用的是卷积核大小3×3，步长为2的最大池化；

基于卷积神经网络的预测模块P用于预测两张动画风格的图像帧之间的多张图像帧，可以有效地减少用户绘制草图的数量，该预测模块依次包括：p个U-Net模块、q个ResNet模块、一个编码器模块、一个解码器模块，其中p个U-Net模块相连，再与q个ResNet模块相连，最后一个ResNet模块后与编码器模块相连，最后与解码器模块相连，本实例中p为4，q为1；

编码器模块依次包含：h个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的模块，本实例中h为4；

解码器模块依次包含：h个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的模块；

基于卷积神经网络的插帧模块I用于对所预测得到多张图像帧中的任意两个相邻帧图像进行插帧处理，得到插帧图像集合，提高了动画视频的帧率，使动画看起来更加流畅，该插帧模块依次包含：w个U-Net模块，v个ResNet模块。

Claims (2)

1.一种动画视频自动生成方法，其特征是按如下步骤进行：

步骤1：构建一个基于生成对抗网络的图像生成模块T：

设置所述图像生成模块T包含一个生成网络G和一个判别网络D；

设置所述生成网络G依次包含两个U-Net模块和一个ResNet模块；

设置任意一个U-Net模块包含：m个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的卷积模块、k个池化模块、k个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的反卷积模块；

以每两个卷积模块为一组，前(m-2)/4组卷积模块与k个池化模块交替相连，共同组成编码模块，后(m-2)/4组卷积模块与k个反卷积模块交替相连，共同组成解码模块，从而依次由编码模块、解码模块和一组卷积模块形成U-Net模块；

设置所述ResNet模块包括：c个相同的残差块，且任意一个残差块由包含快捷连接的卷积核的大小为n×n的卷积层、批正则化层、ReLU激活函数层依次构成；

设置所述判别网络D包含s个由卷积核的大小为n×n的卷积层、批正则化层和LeakyReLU激活函数层构成的判别卷积模块、s个池化模块，以及一个由卷积核的大小为n×n的卷积层、全连接层和Sigmoid激活函数层构成的输出模块，其中s个所述判别卷积模块与s个池化模块交替相连，第s个池化模块后与所述输出模块相连；

步骤2：构建一个基于卷积神经网络的预测模块P：

设置所述预测模块P依次包含：p个所述U-Net模块、q个所述ResNet模块、一个编码器模块和一个解码器模块；

设置所述编码器模块依次包含：h个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的模块；

设置所述解码器模块依次包含：h个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的模块；

步骤3：构建一个基于卷积神经网络的插帧模块I：

设置所述插帧模块I依次包含：w个所述U-Net模块，v个所述ResNet模块；

步骤4：将两张手绘分镜草图x₁,x₂输入所述图像生成模块T中，得到对应的两张动画风格的图像帧F₁,F₂；

步骤5：将所述两张动画风格的图像帧F₁,F₂输入基于全卷积网络的语义分割网络中，得到两张语义分割图像；

将所述两张语义分割图像和两张动画风格的图像帧F₁,F₂一起输入所述预测模块P中，得到图像帧F₁,F₂之间的J张预测图像帧{F_1,j|j＝1,2,...J}；

将所述图像帧F₁,F₂分别作为第一帧图像和最后一帧图像，将J张预测图像帧{F_1,j|j＝1,2,...J}作为中间帧图像，从而共同构成J+2张的图像帧序列{f_i|i＝1,2,...J+2}；

步骤6：将所述J+2张的图像帧序列{f_i|i＝1,2,...J+2}中任意相邻两张图像帧作为一组，从而得到J+1组相邻帧；将任意第x组相邻帧f_x,f_x+1输入所述插帧模块I，得到第x组相邻帧f_x,f_x+1的Y张插帧图像，记为并将所述第x组相邻帧f_x,f_x+1分别作为第一帧图像和最后一帧图像，将Y张插帧图像作为中间帧图像，从而共同构成Y+2张的插帧图像序列；从而得到J+1组相邻帧的插帧图像集合并与相应的相邻帧共同构成Y×(1+J)+2+J张图像帧集合作为由手绘分镜草图x₁,x₂生成的动画序列。

2.一种动画视频自动生成装置，其特征是包括：基于生成对抗网络的图像生成模块T、基于卷积神经网络的预测模块P和基于卷积神经网络的插帧模块I；

所述基于生成对抗网络的图像生成模块T用于将手绘分镜草图转换为对应的动画风格的图像帧，并包含一个生成网络G和一个判别网络D；

所述生成网络G依次包含两个U-Net模块和一个ResNet模块；

任意一个U-Net模块包含：m个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的卷积模块、k个池化模块、k个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的反卷积模块；

以每两个卷积模块为一组，前(m-2)/4组卷积模块与k个池化模块交替相连，共同组成编码模块，后(m-2)/4组卷积模块与k个反卷积模块交替相连，共同组成解码模块，从而依次由编码模块、解码模块和一组卷积模块形成U-Net模块；

所述ResNet模块包括：c个相同的残差块，且任意一个残差块由包含快捷连接的卷积核的大小为n×n的卷积层、批正则化层、ReLU激活函数层依次构成；

所述判别网络D包含s个由卷积核的大小为n×n的卷积层、批正则化层和LeakyReLU激活函数层构成的判别卷积模块、s个池化模块，以及一个由卷积核的大小为n×n的卷积层、全连接层和Sigmoid激活函数层构成的输出模块，其中s个所述判别卷积模块与s个池化模块交替相连，第s个池化模块后与所述输出模块相连；

所述基于卷积神经网络的预测模块P用于预测两张动画风格的图像帧之间的多张图像帧，并依次包括：p个所述U-Net模块、q个所述ResNet模块、一个编码器模块、一个解码器模块；

所述编码器模块依次包含：h个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的模块；

所述解码器模块依次包含：h个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的模块；

所述基于卷积神经网络的插帧模块I用于对所预测得到多张图像帧中的任意两个相邻帧图像进行插帧处理，得到插帧图像集合，并依次包含：w个所述U-Net模块，v个所述ResNet模块。