CN110322525A - 一种动图处理方法及终端 - Google Patents

Abstract

本申请的目的是提供一种动图处理方法及终端，本申请通过终端获取待处理的目标动图，并确定获取的该目标动图中的每一帧图像帧的原始序号；所述终端分别生成该目标动图中的每一相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号；所述终端基于所述原始序号和所述插入序号，将所有所述图像帧和所有所述目标中间帧进行按序合成，得到所述目标动图对应的合成动图，实现了对目标动图进行增加中间帧的方式，提升目标动图的动图连贯性，以提高用户查看处理后的合成动图的用户体验度。

Description

一种动图处理方法及终端

技术领域

本申请涉及计算机领域，尤其涉及一种动图处理方法及终端。

背景技术

动图已经成为现在互联网上内容展现交流的一种主要方式。但由于很多动图时间长或者清晰度高，而导致传输时间长；又由于被网站/聊天软件压缩，导致用户接收到的动图质量极差，从而影响用户体验。

现有技术中，对动图进行压缩的方式主要通过抽帧来实现，把最初的动图或者视频的帧率按照一定比例减少，例如，将原来是24帧或者30帧每秒的动图，抽帧后降到12帧每秒，由于人眼的视觉暂留现象大约保持在1/24秒左右，若帧率过低的话，就会给用户产生动图不连贯的视觉效果，使得动图看起来十分卡顿。因此，如何在动图的接收端提高动图的连贯性和用户体验成为动图传输过程中亟需解决的问题。

发明内容

本申请的一个目的是提供一种动图处理方法及终端，以在动图的接收端的终端提高动图的连贯性和用户体验。

根据本申请的一个方面，提供了一种动图处理方法，应用于终端，该方法包括：获取待处理的目标动图，并确定所述目标动图中的每一帧图像帧的原始序号；分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号；基于所述原始序号和所述插入序号，将所有所述图像帧和所有所述目标中间帧进行按序合成，得到所述目标动图对应的合成动图。

在一个可能的设计中，所述分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号之前，本申请提供的一种动图处理方法还包括：确定综合预测模型，所述综合预测模型用于生成待处理动图中的任意相邻的两帧图像帧之间的中间帧；其中，所述分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号，包括：根据所述综合预测模型分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号。

在一个可能的设计中，所述确定综合预测模型，可以通过如下方式实现：获取至少一张训练动图，将每一张所述训练动图按帧进行分解，得到每一张所述训练动图对应的训练帧及其帧序号；将所有所述训练动图中的每一连续的三帧所述训练帧作为一个训练样本，得到训练样本集，并确定所述训练样本集中的每个所述训练样本中的每一帧所述训练帧的帧序号；其中，所述训练样本中的三帧所述训练帧属于同一张训练动图；对所述训练样本集中的所有所述训练样本进行神经网络学习并拟合，得到所述综合预测模型。

在一个可能的设计中，所述对所述训练样本集中的所有所述训练样本进行神经网络学习并拟合，得到所述综合预测模型，可以通过如下方式实现：分别计算每个所述训练样本中的连续的三帧所述训练帧中的第一帧训练帧与第二帧训练帧之间的第一光流值，以及所述第三帧训练帧与第二帧训练帧之间的第二光流值；对所有所述训练样本中的第一帧训练帧及其对应的第一光流值和第三帧训练帧及其对应的第二光流值进行神经网络学习并拟合，得到光流值预测模型，所述光流值预测模型用于生成待处理动图中的任意相邻的两帧图像帧之间的中间帧的光流值；对所有所述训练样本中的三帧所述训练帧、所述第一光流值和所述第二光流值进行神经网络学习并拟合，得到中间帧预测模型，所述中间帧预测模型用于生成待处理动图中的任意相邻的两帧图像帧之间的中间帧；将所述中间帧的光流值预测模型与所述中间帧预测模型进行先后串联，得到所述综合预测模型。

在一个可能的设计中，所述根据所述综合预测模型分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号，可以通过如下方式实现：所述根据所述中间帧的光流值预测模型，分别计算所述目标动图中的任意相邻的两帧图像帧之间的目标中间帧的目标光流值；其中，所述目标光流值包括所述相邻的两帧图像帧分别与所述目标中间帧之间的光流值；将所述目标动图中的任意相邻的两帧图像帧及其之间的目标中间帧的目标光流值分别输入所述中间帧预测模型，生成所述目标动图中的任意相邻的两帧图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号。

在一个可能的设计中，所述确定每一帧所述目标中间帧的插入序号，可以通过如下方式实现：所述分别根据所述目标动图中的任意相邻的两帧所述图像帧的原始序号，确定对应的所述目标中间帧的插入序号。

在一个可能的设计中，所述获取所述待处理的目标动图，可以通过如下方式实现：获取所述待处理的目标动图及所述目标动图的帧率；其中，所述基于所述原始序号和所述插入序号，将所有所述图像帧和所有所述目标中间帧进行按序合成，得到所述目标动图对应的合成动图之后，还包括：将所述合成动图按照所述帧率的n倍帧率进行匀速动图播放，其中，n大于0。

根据本申请的另一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述动图处理方法。

根据本申请的另一方面，还提供了一种终端，其特征在于，该终端包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述动图处理方法。

与现有技术相比，本申请通过终端获取待处理的目标动图，并确定获取的该目标动图中的每一帧图像帧的原始序号；所述终端分别生成该目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号；所述终端基于所述原始序号和所述插入序号，将所有所述图像帧和所有所述目标中间帧进行按序合成，得到所述目标动图对应的合成动图，实现了对目标动图进行增加中间帧的方式，提升目标动图的动图连贯性，以提高用户查看处理后的合成动图的用户体验度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种动图处理方法的流程示意图；

图2示出根据本申请一个方面的一种动图处理方法在实际应用场景中的模型训练的流程示意图；

图3示出根据本申请一个方面的一种动图处理方法在实际应用场景中的合成目标动图的流程示意图；

图4示出根据本申请一个方面的一种用于动图处理的终端的结构示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(Central Processing Unit，CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change RAM，PRAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disk，DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

现有技术中对动图进行压缩的方式主要通过抽帧来实现，把最初的动图或者视频的帧率按照一定比例减少，导致用户在查看被抽帧后的动图的时产生动图不连贯的视觉效果。为了解决上述技术问题，本申请一个方面的实施例提出了一种数据处理方法，该数据处理方法应用于终端，用于处理在终端接收的被抽帧处理后的目标数据或在终端接收的显示不连贯的目标数据。在终端接收到这样的目标数据后，为了便于后续在终端显示或播放的目标数据连贯性好且清晰度高的话，所述终端会对待处理的目标数据进行逐帧处理，以得到该目标数据中的每一帧图像帧的原始序号；接着，所述终端对该目标数据中的任意相邻的两帧图像帧之间的中间帧进行补入，以生成该目标数据中的任意相邻的两帧图像帧之间的目标中间帧，同时确定每一帧该目标中间帧的插入序号；之后，根据终端接收的该目标数据中的每一帧图像帧的原始序号及任意相邻的两帧图像帧之间的目标中间帧的插入序号，将目标数据中的所有图像帧和生成的所有目标中间帧进行按序合成，生成该目标数据对应的合成数据，以便后续在该终端将插入了中间帧的合成数据显示或播放给用户，使得显示或播放的合成数据的清晰度更高且在视觉效果上更具有连贯性，从而提升用户在终端接收目标数据后查看该目标数据对应的合成数据时的视觉体验。

在此，所述目标视频包括但不限于动图和小视频等具有动态图像帧的数据，下面以动图为例，对本申请一个方面的一些实施例提供的一种数据处理方法进行进一步解释说明。

如图1所示，本申请一个方面的一些实施例提出了一种动图处理方法，该方法应用于接收被抽帧处理后的动图的终端或接收的动图显示不连贯的终端。在此，动图为动态图形，用于指示随着时间流动而改变形态的图形，即会动的图形。该方法包括步骤S11、步骤S12及步骤S13。在实际应用场景中，步骤S11，终端获取待处理的目标动图，并确定所述目标动图中的每一帧图像帧的原始序号；所述目标动图中的每一帧图像帧的原始序号用于指示所述终端获取到该目标动图时对应的每一帧图像帧按序进行排列形成该目标动图的序号。比如，若所述终端在获取所述目标动图之前，该目标动图并没有经过任何数据压缩等处理，该目标动图的包括20帧图像帧，则该目标动图中的每一帧图像帧的原始序号为按序形成该目标动图的排列序号；若所述终端获取到的目标动图经过抽帧等压缩处理，该目标动图抽帧之前包括20帧图像帧，若抽帧处理均抽取的是偶数帧的图像帧，则终端获取的经过抽帧处理后的目标动图包括10帧图像帧，且每帧该目标图像帧的原始序号分别为：图像帧1(对应抽帧前的图像帧1)、图像帧2(对应抽帧前的图像帧3)、图像帧3(对应抽帧前的图像帧5)、图像帧4(对应抽帧前的图像帧7)、图像帧5(对应抽帧前的图像帧9)、图像帧6(对应抽帧前的图像帧11)、图像帧7(对应抽帧前的图像帧13)、图像帧8(对应抽帧前的图像帧15)、图像帧9(对应抽帧前的图像帧17)及图像帧10(对应抽帧前的图像帧19)，以反映所述终端获取到该目标动图时对应的按序形成该目标动图的每一帧图像帧的排列序号。

为了提升终端获取到的目标动图在用户视觉上的连贯性，步骤S12，所述终端分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号，以便将生成的目标中间帧按序插入该目标动图中的对应的图像帧之间；

步骤S13，所述终端基于所述原始序号和所述插入序号，将所有所述图像帧和所有所述目标中间帧进行按序合成，得到所述目标动图对应的合成动图，实现对目标动图进行插入图像帧的处理，以便后续呈现给用户的该目标动图对应的合成动图在视觉效果上更具有连贯性，从而提升用户视觉体验。

例如，终端获取的待处理的目标动图包括10帧图像帧，且每一帧图像帧的原始序号分别为：图像帧1、图像帧2、图像帧3、图像帧4、图像帧5、图像帧6、图像帧7、图像帧8、图像帧9及图像帧10；所述步骤S12分别生成该目标动图中的任意相邻的两帧图像帧之间的目标中间帧，得到目标中间帧(1，2)、目标中间帧(2，3)、目标中间帧(3，4)、目标中间帧(4，5)、目标中间帧(5，6)、目标中间帧(6，7)、目标中间帧(7，8)、目标中间帧(8，9)及目标中间帧(9，10)，其中，目标中间帧(3，4)的用于指示在相邻的图像帧3与图像帧4之间的生成的中间帧，以便后续插入该图像帧3与图像帧4之间；所述步骤S13，终端按照目标动图的图像帧帧的原始序号和需要插入的目标中间帧的插入序号，将目标动图的所有图像帧和所有目标中间帧按序进行合成，即将生成的目标中间帧按照插入序号插入目标动图中的对应图像帧之间，以形成合成图像，实现对目标动图进行插入图像帧的处理，以便后续呈现给用户的该目标动图对应的合成动图在视觉效果上更具有连贯性，从而提升用户视觉体验。

本实施例中，所述终端在执行所述步骤S12分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号之前，所述方法还包括：

所述终端确定综合预测模型，所述综合预测模型用于生成待处理动图中的任意相邻的两帧图像帧之间的中间帧；

其中，所述终端分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号，具体包括：

所述终端根据所述综合预测模型分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号。

例如，为了便于快速有效地生成对所有待处理数据中的任一相邻的两帧图像帧之间的中间帧，所述终端会预先基于深度学习等训练用于生成待处理数据中任意相邻的两帧图像帧之间的中间帧的综合预测模型Model；在实际动图处理过程中，所述终端将所述目标动图中的任意相邻的两帧图像帧输入所述综合预测模型Model，以生成所述目标动图中的任意相邻的两帧图像帧之间的目标中间帧，实现对目标动图中的任意相邻的两帧图像帧之间的中间帧的生成，同时，根据所述目标中间帧对应的两帧相邻的图像帧的原始序号确定该目标中间帧的插入序号，以确定每一帧所述目标中间帧的插入序号，进一步实现对目标动图中的任意相邻的两帧图像帧之间的中间帧的插入序号的确定。

本实施例中，所述终端在训练所述综合预测模型的过程中，所述终端执行的步骤S11确定综合预测模型，具体包括：

所述终端获取至少一张训练动图，将每一张所述训练动图按帧进行分解，得到每一张所述训练动图对应的训练帧及其帧序号；在此，所述训练动图包括但不限于动图或小视频等，且一张所述训练动图对应一独立的动图或小视频等，为了提高后续训练得到的综合预测模型的准确度，在训练综合预测模型时，采用至少一张训练动图来进行模型训练，以保证综合预测模型的准确度。

所述终端将所有所述训练动图中的每一连续的三帧所述训练帧作为一个训练样本，得到训练样本集，并确定所述训练样本集中的每个所述训练样本中的每一帧所述训练帧的帧序号；其中，所述训练样本中的三帧所述训练帧属于同一张训练动图；

所述终端对所述训练样本集中的所有所述训练样本进行神经网络学习并拟合，得到所述综合预测模型。

例如，在训练所述综合预测模型的过程中，先获取至少一张训练动图，比如训练动图的数量为M条，M为大于等于一的正整数；接着，将每一张训练动图按帧分解成独立有序的图像帧序列，以得到每一张所述训练动图对应的图像帧，并确定每一帧图像帧的原始序号Xi，其中，i为大于等于一的正整数，i的上限值为M条训练动图按序分解成的所有图像帧的总数量N。在此，每一张训练动图按帧分解后得到的图像帧的数量大于等于3帧，以满足后续对综合预测模型的训练的需求。在确定用于训练所述综合预测模型的图像帧序列后，将所述训练动图中的每一连续的三帧所述训练帧作为一个训练样本，比如，将图像帧X1、X2及X3作为一个训练样本V1，将图像帧X2、X3及X4作为又一个训练样本V2，将图像帧X3、X4及X5作为又一个训练样本V3，……，及将X(N-2)、X(N-1)及X(N)作为又一个训练样本V(N-2)，使得将N帧训练帧中的每一连续的三帧训练帧分别作为一个训练样本后，可以得到(N-2)个训练样本，以得到所述至少一张训练动图对应的训练样本集，该训练样本集中包括(N-2)个训练样本，同时，在每个训练样本中，根据每一帧所述图像帧的原始序号确定该训练样本中的三帧图像帧中的每一帧所述图像帧的帧序号，比如，训练样本V2中的三帧图像帧的原始序号分别为：图像帧X2、X3及X4，则该训练样本V2中的图像帧X2、X3及X4中的每一帧图像帧的帧序号依然保持原有的顺序。在此，所述训练样本中的三帧所述训练帧属于同一张训练动图，避免同一训练样本中包括不同训练动图对应的训练帧而导致训练得到的综合预测模型的准确度降低。最后，所述终端对所述训练样本集中的所有所述训练样本V1、V2、V3、……、V(N-3)及V(N-2)进行神经网络学习并拟合，得到用于生成待处理数据中的任意相邻的两帧图像帧之间的中间帧的综合预测模型Model，使得通过对至少一张训练动图进行分析和训练，来实现对所述综合预测模型Model的训练和确定，以便后续基于该综合预测模型Model实现对任一待处理数据的任意相邻的两帧图像帧之间的中间帧的预测。

接着本申请的上述实施例，所述终端对所述训练样本集中的所有所述训练样本进行神经网络学习并拟合，得到用于生成待处理数据中的任一相邻的两帧图像帧之间的中间帧的综合预测模型，具体包括：

所述终端分别计算每个所述训练样本中的连续的三帧所述训练帧中的第一帧训练帧与第二帧训练帧之间的第一光流值和所述第三帧训练帧与第二帧训练帧之间的第二光流值；

所述终端对所有所述训练样本中的第一帧训练帧及其对应的第一光流值和第三帧训练帧及其对应的第二光流值进行神经网络学习并拟合，得到光流值预测模型，所述光流值预测模型用于生成待处理动图中的任意相邻的两帧图像帧之间的中间帧的光流值；

所述终端对所有所述训练样本中的三帧所述训练帧、所述第一光流值和所述第二光流值进行神经网络学习并拟合，得到中间帧预测模型，所述中间帧预测模型用于生成待处理数据中的任一相邻的两帧图像帧之间的中间帧的中间帧；

所述终端将所述中间帧的光流值预测模型与所述中间帧预测模型进行先后串联，得到所述综合预测模型。

例如，所述终端计算训练样本V1中的连续三帧训练图像帧中的第一帧训练帧X1与第二帧训练帧X2之间的第一光流值F21和所述第三帧训练帧X3与第二帧训练帧X2之间的第二光流值F23，计算训练样本V2中的连续三帧训练图像帧中的第一帧训练帧X2与第二帧训练帧X3之间的第一光流值F32和所述第三帧训练帧X4与第二帧训练帧X3之间的第二光流值F34，依照上述计算训练样本V1和V2中的连续三帧训练图像帧中的第一帧训练帧与第二帧训练帧之间的第一光流值和所述第三帧训练帧与第二帧训练帧之间的第二光流值的方法，继续分别计算训练样本V3、……、V(N-3)及V(N-2)中的连续三帧训练图像帧中的第一帧训练帧与第二帧训练帧之间的第一光流值和所述第三帧训练帧与第二帧训练帧之间的第二光流值，比如，计算得到算训练样本V(N-2)中的连续三帧训练图像帧中的第一帧训练帧X(N-4)与第二帧训练帧X(N-3)之间的第一光流值F(N-3)(N-4)和所述第三帧训练帧X(N-2)与第二帧训练帧X(N-3)之间的第二光流值F(N-3)(N-2)，以实现对训练样本集中的每个所述训练样本中的连续的三帧所述训练帧中的第一帧训练帧与第二帧训练帧之间的第一光流值和所述第三帧训练帧与第二帧训练帧之间的第二光流值的计算；接着，所述终端对所有训练样本中的训练样本V1中的第一帧训练帧X1及其对应的第一光流值F21，即(X1、F21)和第三帧训练帧X3及其对应的第二光流值F23，即(X3，F23)，训练样本V2中的第一帧训练帧X2及其对应的第一光流值F32，即(X2、F32)和第三帧训练帧X4及其对应的第二光流值F34，即(X4，F34)，……，及训练样本V(N-2)中的连续三帧训练图像帧中的第一帧训练帧X(N-4)及其对应的第一光流值F(N-3)(N-4)，即(X(N-4)，F(N-3)(N-4))和所述第三帧训练帧X(N-2)及其对应的第二光流值F(N-3)(N-2)，即(X(N-2)，F(N-3)(N-2))进行神经网络学习并拟合，即对所有训练样本分别对应(N-2)组[(X1、F21)，(X3，F23)]、[(X2、F32)，(X4、F34)]、……、及[(X(N-4)，F(N-3)(N-4))，(X(N-2)，F(N-3)(N-2))]进行神经网络学习并拟合，得到用于生成待处理动图中的任意相邻的两帧图像帧之间的中间帧的光流值预测模型NNf；之后，所述终端对所有训练样本中的训练样本V1中的三帧训练帧X1、X2、X3及第一光流值F21和第二光流值F23，训练样本V2中的三帧训练帧X2、X3、X4及第一光流值F32和第二光流值F34，……，及训练样本V(N-2)中的三帧训练帧X(N-4)、X(N-3)、X(N-4)及第一光流值F(N-3)(N-4)和第二光流值F(N-3)(N-4)进行升级网络学习并拟合，得到用于生成待处理动图中的任意相邻的两帧图像帧之间的中间帧的中间帧预测模型NNm；最后，所述终端将所述中间帧的光流值预测模型NNf与所述中间帧预测模型NNm进行先后串联，得到用于生成待处理数据中的任意相邻的两帧图像帧之间的中间帧的综合预测模型Model，即所述综合预测模型＝NNf+NNm，且在使用所述综合预测模型Model在进行待处理数据的任意相邻两帧图像帧之间的中间帧的生成时，并不是将所述中间帧的光流值预测模型NNf与所述中间帧预测模型NNm进行简单的相加，而是先使用所述光流值预测模型NNf计算任意相邻两帧图像帧之间的中间帧的光流值，再使用所述中间帧预测模型NNm生成对应的任意相邻两帧图像帧之间的中间帧，以通过对至少一张训练动图进行分析、训练和深度学习，达到确定用于生成待处理数据中的任意相邻的两帧图像帧之间的中间帧的综合预测模型的目的，便于后续直接基于已训练好的该综合预测模型Model实现对任意待处理动图的任意相邻的两帧图像帧之间的中间帧的预测。

接着本申请的上述实施例，所述终端根据所述综合预测模型分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号，具体包括：

所述根据所述中间帧的光流值预测模型，分别计算所述目标动图中的任意相邻的两帧图像帧之间的目标中间帧的目标光流值；其中，所述目标光流值包括所述相邻的两帧图像帧分别与所述目标中间帧之间的光流值；

所述将所述目标动图中的任意相邻的两帧图像帧及其之间的目标中间帧的目标光流值分别输入所述中间帧预测模型，生成所述目标动图中的每一相邻的两帧图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号。

例如，若所述终端获取的目标动图包括10帧图像帧，分别为：图像帧A1、图像帧A2、图像帧A3、图像帧A4、图像帧A5、图像帧A6、图像帧A7、图像帧A8、图像帧A9及图像帧A10，且每帧图像帧的原始序号为获取到该目标动图时对应的顺序号；接着，所述终端先根据所述中间帧的光流值预测模型NNf，分别计算所述目标动图中的任意相邻的两帧图像帧之间的目标中间帧的目标光流值，比如，所述终端计算相邻的图像帧A1和图像帧A2分别与预测的目标中间帧Y1之间的目标光流值F’11和F’12，即(A1，F’11)和(A2，F’12)，计算相邻的图像帧A2和图像帧A3分别与预测的目标中间帧Y2之间的目标光流值F’22和F’23，即(A2，F’22)和(A3，F’23)，计算相邻的图像帧A3和图像帧A4分别与预测的目标中间帧Y3之间的目标光流值F’33和F’34，即(A3，F’33)和(A4，F’34)，依此类推，直至计算到相邻的图像帧A9和图像帧A10分别与预测的目标中间帧Y9之间的目标光流值F’99和F’9(10)，即(A9，F’99)和(A10，F’9(10))，使得将目标动图中的每一相邻的两帧图像帧分别输入所述中间帧的光流值预测模型NNf中，以计算得到所述目标动图中的任意相邻的两帧图像帧之间的目标中间帧的目标光流值，其中，所述目标光流值包括所述相邻的两帧图像帧分别与所述目标中间帧之间的光流值；之后，所述终端将(A1，F’11)和(A2，F’12)，(A2，F’22)和(A3，F’23)，(A3，F’33)和(A4，F’34)，……，及(A9，F’99)和(A10，F’9(10))分别输入所述中间帧预测模型NNm，对应生成所述目标动图中的相邻的图像帧A1和图像帧A2之间的目标中间帧Y1、相邻的图像帧A2和图像帧A3之间的目标中间帧Y2、相邻的图像帧A3和图像帧A4之间的目标中间帧Y3、……、及相邻的图像帧A9和图像帧A10之间的目标中间帧Y9，以得到所述目标动图中的任意相邻的两帧图像帧之间的目标中间帧，同时，确定每一帧所述目标中间帧的插入序号，以便后续根据该插入序号将对应的中间帧插入目标动图中对应的相邻两帧图像帧之间。通过所述中间帧的光流值预测模型和所述中间帧预测模型，实现了对所述目标动图中的任意相邻的两帧图像帧之间的目标中间帧的预测，并确定了每一帧所述目标中间帧的插入序号，以便后续精确有效地将需要插入的目标中间帧按序插入目标动图中对应的相邻两帧图像帧之间。

接着本申请的上述实施例，所述终端确定每一帧所述目标中间帧的插入序号，包括：

所述终端分别根据所述目标动图中的任意相邻的两帧所述图像帧的原始序号，确定对应的所述目标中间帧的插入序号。

例如，所述终端根据任意相邻的两帧图像帧的原始序号确定每一帧所述目标中间帧的插入序号，比如，目标动图中的图像帧A1和图像帧A2之间生成的目标中间帧的插入序号为Y1，用于指示该目标中间帧Y1插入目标动图中按序的图像帧中的第一个相邻的两帧图像帧之间；再比如，如目标动图中的图像帧A9和图像帧A10之间生成的目标中间帧的插入序号为Y9，用于指示该目标中间帧Y9插入目标动图中按序的图像帧中的第9个相邻的两帧图像帧之间，即插入图像帧A9和图像帧A10之间。另一个方面的实施例，比如，目标动图中的图像帧A1和图像帧A2之间生成的目标中间帧的插入序号为Y12，用于指示该目标中间帧Y12插入目标动图中的相邻的图像帧A1和图像帧A2之间；再比如，目标动图中的图像帧A9和图像帧A10之间生成的目标中间帧的插入序号为Y9(10)，用于指示该目标中间帧Y9(10)插入目标动图中的相邻的图像帧A9和图像帧A10之间，实现了根据所述目标动图中的任意相邻的两帧所述图像帧的原始序号，来确定对应的所述相邻的两帧图像帧之间的目标中间帧的插入序号，确保了每一帧目标中间帧的插入序号的唯一性，达到精确有效地将目标中间帧插入至对应的达到相邻的两帧图像帧之间的目的。

接着本申请的上述实施例，所述终端在执行步骤S11获取所述待处理的目标动图的同时，还包括：

所述终端获取所述待处理的目标动图及所述目标动图的帧率；

其中，所述终端基于所述原始序号和所述插入序号，将所有所述图像帧和所有所述目标中间帧进行按序合成，得到所述目标动图对应的合成动图之后，还包括：

将所述合成动图按照所述帧率的n倍帧率进行匀速动图播放，其中n大于0。在此，将合成数据按照所述帧率的倍数n进行匀速动图播放时，该倍数N可以是1倍、2倍、3倍或甚至是更多的倍数，以实现对合成动图进行不同帧率的播放，给用户不同的动图视觉效果。可以理解的是，n可以为整数，也可以不为整数。

例如，为了在接收目标动图的终端呈现该目标动图的清晰度和连贯性的实际应用场景中，所述终端在获取待处理的目标动图的同时，还获取该目标动图的帧率，在此，帧率用于指示以帧称为单位的位图图像连续出现在显示器上的频率(速率)。接着，所述终端在生成任意相邻两帧图像帧之间的一帧目标图像帧及其插入序号后，所述终端根据目标动图中的每一帧图像帧的原始序号和生成的每一帧目标中间帧的插入序号，将目标动图中的所有的图像帧和生成的所有的目标中间帧按序合成，得到该目标动图对应的合成动图后，终端设备可以将该目标动图对应的合成动图按照该目标动图的帧率的两倍进行匀速动图播放，使得目标动图对应的合成动图在播放时具有一样的播放速度且以双倍流畅速度进行动图展示，不仅实现了对目标动图进行按帧插入，还提供了目标动图在播放时的清晰度、连贯性和流畅性，进一步提升用户的视觉体验。

再例如，在终端将接收的目标动图通过插入中间帧的方式得到对应的合成动图后，终端也可以按照所述目标动图的帧率的1倍对该目标动图对应的合成动图进行匀速动图播放，即终端在播放插入了中间帧的合成动图时，仍然按照该目标动图的帧率进行匀速动图播放，使得目标动图对应的合成动图在播放时具有目标动图的播放速度的一半的速度且以一样流畅速度进行动图展示，实现对目标动图对应的合成动图的慢动作播放，给用户以目标动图进行慢动作播放的视觉效果。

又例如，在终端将接收的目标动图通过插入中间帧的方式得到对应的合成动图后，终端也可以按照所述目标动图的帧率的3倍甚至是更多倍对该目标动图对应的合成动图进行匀速动图播放，即终端在播放插入了中间帧的合成动图时，可以按照该目标动图的帧率的3倍甚至是更多倍进行匀速动图播放，使得目标动图对应的合成动图在播放时具有目标动图的一样的播放速度进行动图展示，但该目标动图对应的合成动图播放时的流畅度和清晰度更高，给用户以高清且流畅的动图视觉体验。

在实际应用场景中，如图2所示，若训练动图为动图图片，且实际用于处理的目标动图也为目标动图，为了便于对目标动图进行精确有效地插入中间帧，若终端获取的目标动图为一动图图片，则所述终端需要先根据历史的至少一张动图图片作为训练动图，来训练用于生成待处理的动图图片中的任一相邻的两帧图像帧之间的中间帧的综合预测模型Model。在开始进行综合预测模型Model的模型训练时，步骤S21收集至少一张动图图片，并将每一张动图图片按顺序进行按帧分解，得到每一张动图图片对应的至少一帧训练动图帧及其帧序号；步骤S22，将所有动图图片中的每3帧连续顺序的训练动图帧组成一个训练样本，在此，每个训练样本中的3帧连续的训练动图帧均属于同一动图图片；步骤S23，将所有训练样本输入神经网络进行训练，得到用于生成待处理的动图图片中的任意相邻两帧动图帧之间的中间帧的光流值预测模型NNf；步骤S24，将所有训练样本中任意所述相邻的两帧动图帧之间的中间帧分别与前后帧图像帧之间的光流值来训练得到用于生成待处理的动图图片中的任意相邻的两帧图像帧之间的中间帧的中间帧预测模型NNm；步骤S25，将所述中间帧的光流值预测模型NNf与所述中间帧预测模型NNm进行先后串联，得到用于生成待处理的动图图片中的任意相邻的两帧图像帧之间的中间帧的综合预测模型Model，实现对所述综合预测模型Model的训练和确定，以便后续基于该综合预测模型Model实现对任意待处理的动图图片的任意相邻的两帧图像帧之间的中间帧的预测。

如图3所示，在实际应用场景中，利用通过图2训练得到的综合预测模型Model来对实际需要进行动图处理的目标动图进行如图3中所示的动图处理，步骤S31，生成一高帧率目标动图；步骤S32，将所述综合预测模型嵌入至用户客户端(即用户对应的终端)中；步骤S33，用户对应的终端接收或获取到一幅目标动图；步骤S34，所述客户端将所述目标动图按帧切割成按顺序的独立的目标动图帧(即图片)，并确定每一帧目标动图帧的原始序号；步骤S35，将所述目标动图中的所有帧的目标动图帧按顺序输入用于生成待处理的动图图片中的任意相邻的两帧图像帧之间的中间帧的综合预测模型Model中；步骤S36，根据该综合预测模型Model生成所述目标动图中的任意相邻的两帧目标动图帧之间的一帧目标中间帧并确定每一帧所述目标中间帧的插入序号；步骤S37，客户端根据所述原始序号和所述插入序号，将所述目标动图中的所有目标动图帧和所述生成的任意相邻的两帧目标动图帧之间的一帧目标中间帧按顺序进行两倍帧率的合成，得到所述目标动图对应的合成动图；步骤S38，该目标动图对应的高帧率的合成动图生成完成，对所述目标动图进行的图像处理结束，实现了对目标动图进行增加中间帧的方式，提升目标动图在客户端进行显示的过程中的动图连贯性和清晰度，以提高用户查看处理后的合成动图的用户体验度。

图4示出根据本申请的另一个方面提供的一种终端的结构示意图，该终端包括获取装置11、确定装置12及合成装置13，其中，

所述获取装置11，用于获取待处理的目标动图，并确定所述目标动图中的每一帧图像帧的原始序号；

所述确定装置12，用于分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号；

所述合成装置13，用于基于所述原始序号和所述插入序号，将所有所述图像帧和所有所述目标中间帧进行按序合成，得到所述目标动图对应的合成动图。

通过上述终端端的获取装置11、确定装置12及合成装置13，实现了对目标动图进行增加中间帧的方式，提升目标动图的动图连贯性，以提高用户查看处理后的合成动图的用户体验度。

需要说明的是，所述获取装置11、确定装置12及合成装置13执行的内容分别与上述步骤S11、S12及S13中的内容相同或相应相同，为简明起见，在此不再赘述。

根据本申请的另一面，还提供一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述终端端的动图处理方法。

根据本申请的另一面，还提供一种终端，其特征在于，该终端包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述终端端的动图处理方法。

在此，所述终端的各实施例的详细内容，具体可参见上述终端端的动图处理方法实施例的对应部分，在此，不再赘述。

综上所述，本申请通过终端获取待处理的目标动图，并确定获取的该目标动图中的每一帧图像帧的原始序号；所述终端分别生成该目标动图中的每一相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号；所述终端基于所述原始序号和所述插入序号，将所有所述图像帧和所有所述目标中间帧进行按序合成，得到所述目标动图对应的合成动图，实现了对目标动图进行增加中间帧的方式，提升目标动图的动图连贯性，以提高用户查看处理后的合成动图的用户体验度。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (9)

1.一种动图处理方法，应用于终端，其特征在于，所述方法包括：

获取待处理的目标动图，并确定所述目标动图中的每一帧图像帧的原始序号；

分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号；

基于所述原始序号和所述插入序号，将所有所述图像帧和所有所述目标中间帧进行按序合成，得到所述目标动图对应的合成动图。

2.根据权利要求1所述的方法，其特征在于，所述分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号之前，所述方法还包括：

确定综合预测模型，所述综合预测模型用于生成待处理动图中的任意相邻的两帧图像帧之间的中间帧；

其中，所述分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号，包括：

根据所述综合预测模型分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号。

3.根据权利要求2所述的方法，其特征在于，所述确定综合预测模型，包括：

获取至少一张训练动图，将每一张所述训练动图按帧进行分解，得到每一张所述训练动图对应的训练帧及其帧序号；

将所有所述训练动图中的每一连续的三帧所述训练帧作为一个训练样本，得到训练样本集，并确定所述训练样本集中的每个所述训练样本中的每一帧所述训练帧的帧序号；其中，所述训练样本中的三帧所述训练帧属于同一张训练动图；

对所述训练样本集中的所有所述训练样本进行神经网络学习并拟合，得到所述综合预测模型。

4.根据权利要求3所述的方法，其特征在于，所述对所述训练样本集中的所有所述训练样本进行神经网络学习并拟合，得到所述综合预测模型，包括：

分别计算每个所述训练样本中的连续的三帧所述训练帧中的第一帧训练帧与第二帧训练帧之间的第一光流值，以及所述第三帧训练帧与第二帧训练帧之间的第二光流值；

对所有所述训练样本中的第一帧训练帧及其对应的第一光流值和第三帧训练帧及其对应的第二光流值进行神经网络学习并拟合，得到光流值预测模型，所述光流值预测模型用于生成待处理动图中的任意相邻的两帧图像帧之间的中间帧的光流值；

对所有所述训练样本中的三帧所述训练帧、所述第一光流值和所述第二光流值进行神经网络学习并拟合，得到中间帧预测模型，所述中间帧预测模型用于生成待处理动图中的任意相邻的两帧图像帧之间的中间帧；

将所述中间帧的光流值预测模型与所述中间帧预测模型进行先后串联，得到所述综合预测模型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述综合预测模型分别生成所述目标动图中的任意相邻的两帧所述图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号，包括：

所述根据所述中间帧的光流值预测模型，分别计算所述目标动图中的任意相邻的两帧图像帧之间的目标中间帧的目标光流值；其中，所述目标光流值包括所述相邻的两帧图像帧分别与所述目标中间帧之间的光流值；

将所述目标动图中的任意相邻的两帧图像帧及其之间的目标中间帧的目标光流值分别输入所述中间帧预测模型，生成所述目标动图中的任意相邻的两帧图像帧之间的目标中间帧，并确定每一帧所述目标中间帧的插入序号。

6.根据权利要求5所述的方法，其特征在于，所述确定每一帧所述目标中间帧的插入序号，包括：

所述分别根据所述目标动图中的任意相邻的两帧所述图像帧的原始序号，确定对应的所述目标中间帧的插入序号。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述获取所述待处理的目标动图，包括：

获取所述待处理的目标动图及所述目标动图的帧率；

其中，所述基于所述原始序号和所述插入序号，将所有所述图像帧和所有所述目标中间帧进行按序合成，得到所述目标动图对应的合成动图之后，还包括：

将所述合成动图按照所述帧率的n倍帧率进行匀速动图播放，其中n大于0。

8.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如权利要求1至7中任一项所述的方法。

9.一种终端，其特征在于，所述终端包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。