CN109803175B - 视频处理方法及装置、设备、存储介质 - Google Patents

Abstract

本发明公开了一种视频处理方法及装置、设备、存储介质，属于视频处理领域。该视频处理方法包括：获取目标视频，该目标视频包括多个视频帧序列，每个视频帧序列包括时序上相邻的两个视频帧；对于每个视频帧序列，根据该视频帧序列所包括的两个视频帧获取该视频帧序列对应的内插帧；对于每个视频帧序列，将该视频帧序列对应的内插帧插入该视频帧序列所包括的两个视频帧之间；将插入有内插帧的目标视频确定为处理后的目标视频。本发明能够提高视频的播放流畅度。本发明用于视频处理。

Description

视频处理方法及装置、设备、存储介质

技术领域

本发明涉及视频处理领域，特别涉及一种视频处理方法及装置、设备、存储介质。

背景技术

随着科学技术的发展，观看视频的娱乐方式在人们的日常生活中已经越来越常见了。视频的帧率是影响视频播放效果的重要参数，其指的是视频播放时视频帧的刷新率，一般可以用视频播放时单位时间内播放的视频帧的数量表征。一般的，对于一视频，在单位时间内播放的视频帧的数量越多，该视频的帧率越高，反之，视频的帧率越低。

实际应用中，许多视频的帧率较低(例如，对于流媒体视频而言，其帧率一般在24帧/秒到30帧/秒之间)，低帧率的视频的播放流畅度(指的是视频帧在播放时的流畅度)较差，因此，如何提高视频的播放流畅度，特别是提高低帧率视频的播放流畅度成为亟待解决的问题。

发明内容

本发明实施例提供了一种视频处理方法及装置、设备、存储介质，能够提高视频的帧率，从而提高视频的播放流畅度。所述技术方案如下：

第一方面，提供了一种视频处理方法，所述方法包括：

获取目标视频，所述目标视频包括多个视频帧序列，每个所述视频帧序列包括时序上相邻的两个视频帧；

对于每个所述视频帧序列，根据所述视频帧序列所包括的两个视频帧获取所述视频帧序列对应的内插帧；

对于每个所述视频帧序列，将所述视频帧序列对应的所述内插帧插入所述视频帧序列所包括的两个视频帧之间；

将插入有所述内插帧的所述目标视频确定为处理后的目标视频。

可选的，所述对于每个所述视频帧序列，根据所述视频帧序列所包括的两个视频帧获取所述视频帧序列对应的内插帧，包括：

对于每个所述视频帧序列，获取所述视频帧序列所包括的两个视频帧的相似度；

根据所述相似度与目标相似度范围的关系，确定所述视频帧序列对应的内插帧。

可选的，所述根据所述相似度与目标相似度范围的关系，确定所述视频帧序列对应的内插帧，包括：

当所述相似度处于所述目标相似度范围外时，将所述视频帧序列所包括的两个视频帧中的任意一个视频帧确定为所述视频帧序列对应的内插帧；

当所述相似度处于所述目标相似度范围内时，获取所述视频帧序列对应的运动信息，根据所述运动信息生成所述视频帧序列对应的内插帧，所述运动信息用于表征所述视频帧序列所包括的两个视频帧中相同物体的位置变化。

可选的，所述视频帧序列所包括的所述两个视频帧包括第一视频帧和第二视频帧，所述获取所述视频帧序列对应的运动信息，包括：

将所述第一视频帧分割为互不重叠的多个第一图像块；

对于每个所述第一图像块，在所述第二视频帧中确定与所述第一图像块相匹配的第二图像块，所述第二图像块与所述第一图像块的相似度大于目标相似度阈值；

对于每个所述第一图像块，将第一位置和第二位置之间的位移确定为所述第一图像块的运动矢量，所述第一位置为所述第一图像块在所述第一视频帧中的位置，所述第二位置为与所述第一图像块相匹配的所述第二图像块在所述第二视频帧中的位置；

将所述第一视频帧中的所有所述第一图像块的运动矢量确定为所述视频帧序列对应的运动信息。

可选的，每个所述第一图像块包括多个像素，所述根据所述运动信息生成所述视频帧序列对应的内插帧，包括：

从所述多个第一图像块的所述运动矢量中获取至少一个目标运动矢量，所述目标运动矢量的模大于目标矢量模阈值；

根据所述至少一个目标运动矢量的模确定所述视频帧序列对应的内插帧的个数；

对于每个所述第一图像块，获取所述第一图像块的残差数据，所述残差数据为与所述第一图像块相匹配的所述第二图像块的像素数据与所述第一图像块的像素数据的差值；

根据所述视频帧序列对应的内插帧的个数、所述多个第一图像块的运动矢量和所述多个第一图像块的残差数据生成所述视频帧序列对应的内插帧。

可选的，所述根据所述视频帧序列对应的内插帧的个数、所述多个第一图像块的运动矢量和所述多个第一图像块的残差数据生成所述视频帧序列对应的内插帧，包括：

对于每个所述第一图像块，将所述第一图像块的运动矢量进行分解，得到所述第一图像块的n+1个运动分矢量，所述n表示所述内插帧的个数，所述n为正整数；

对于每个所述第一图像块，将所述第一图像块的残差数据进行分解，得到所述第一图像块的n+1个残差分数据；

对于每个所述第一图像块，根据所述第一图像块的像素数据以及所述第一图像块的n+1个残差分数据中前i个残差分数据，获取所述第一图像块对应的等效图像块，1≤i≤n，所述i为正整数；

对于每个所述第一图像块，根据所述第一位置以及所述第一图像块的n+1个运动分矢量中前i个运动分矢量，获取所述第一图像块对应的第三位置，所述第三位置为所述等效图像块在所述视频帧序列对应的内插帧中的第i个内插帧中的位置；

根据所述多个第一图像块对应的等效图像块以及所述多个第一图像块对应的第三位置生成所述第i个内插帧。

可选的，所述根据所述视频帧序列对应的内插帧的个数、所述多个第一图像块的运动矢量和所述多个第一图像块的残差数据生成所述视频帧序列对应的内插帧，包括：

根据所述视频帧序列对应的内插帧的个数确定处理组件的时钟频率；

控制所述处理组件在所述时钟频率下，根据所述视频帧序列对应的内插帧的个数、所述多个第一图像块的运动矢量和所述多个第一图像块的残差数据生成所述视频帧序列对应的内插帧。

第二方面，提供了一种视频处理装置，所述装置包括：

第一获取模块，用于获取目标视频，所述目标视频包括多个视频帧序列，每个所述视频帧序列包括时序上相邻的两个视频帧；

第二获取模块，用于对于每个所述视频帧序列，根据所述视频帧序列所包括的两个视频帧获取所述视频帧序列对应的内插帧；

插帧模块，用于对于每个所述视频帧序列，将所述视频帧序列对应的所述内插帧插入所述视频帧序列所包括的两个视频帧之间；

确定模块，用于将插入有所述内插帧的所述目标视频确定为处理后的目标视频。

可选的，所述第二获取模块，包括：

获取子模块，用于对于每个所述视频帧序列，获取所述视频帧序列所包括的两个视频帧的相似度；

确定子模块，用于根据所述相似度与目标相似度范围的关系，确定所述视频帧序列对应的内插帧。

可选的，所述确定子模块，包括：

确定单元，用于当所述相似度处于所述目标相似度范围外时，将所述视频帧序列所包括的两个视频帧中的任意一个视频帧确定为所述视频帧序列对应的内插帧；

获取单元，用于当所述相似度处于所述目标相似度范围内时，获取所述视频帧序列对应的运动信息，所述运动信息用于表征所述视频帧序列所包括的两个视频帧中相同物体的位置变化；生成单元，用于根据所述运动信息生成所述视频帧序列对应的内插帧。

可选的，所述视频帧序列所包括的所述两个视频帧包括第一视频帧和第二视频帧，所述获取单元，用于：

将所述第一视频帧分割为互不重叠的多个第一图像块；

对于每个所述第一图像块，在所述第二视频帧中确定与所述第一图像块相匹配的第二图像块，所述第二图像块与所述第一图像块的相似度大于目标相似度阈值；

对于每个所述第一图像块，将第一位置和第二位置之间的位移确定为所述第一图像块的运动矢量，所述第一位置为所述第一图像块在所述第一视频帧中的位置，所述第二位置为与所述第一图像块相匹配的所述第二图像块在所述第二视频帧中的位置；

将所述第一视频帧中的所有所述第一图像块的运动矢量确定为所述视频帧序列对应的运动信息。

可选的，每个所述第一图像块包括多个像素，所述生成单元，包括：

第一获取子单元，用于从所述多个第一图像块的所述运动矢量中获取至少一个目标运动矢量，所述目标运动矢量的模大于目标矢量模阈值；

确定子单元，用于根据所述至少一个目标运动矢量的模确定所述视频帧序列对应的内插帧的个数；

第二获取子单元，用于对于每个所述第一图像块，获取所述第一图像块的残差数据，所述残差数据为与所述第一图像块相匹配的所述第二图像块的像素数据与所述第一图像块的像素数据的差值；

生成子单元，用于根据所述视频帧序列对应的内插帧的个数、所述多个第一图像块的运动矢量和所述多个第一图像块的残差数据生成所述视频帧序列对应的内插帧。

可选的，所述生成子单元，用于：

对于每个所述第一图像块，将所述第一图像块的运动矢量进行分解，得到所述第一图像块的n+1个运动分矢量，所述n表示所述内插帧的个数，所述n为正整数；

对于每个所述第一图像块，将所述第一图像块的残差数据进行分解，得到所述第一图像块的n+1个残差分数据；

对于每个所述第一图像块，根据所述第一图像块的像素数据以及所述第一图像块的n+1个残差分数据中前i个残差分数据，获取所述第一图像块对应的等效图像块，1≤i≤n，所述i为正整数；

对于每个所述第一图像块，根据所述第一位置以及所述第一图像块的n+1个运动分矢量中前i个运动分矢量，获取所述第一图像块对应的第三位置，所述第三位置为所述等效图像块在所述视频帧序列对应的内插帧中的第i个内插帧中的位置；

根据所述多个第一图像块对应的等效图像块以及所述多个第一图像块对应的第三位置生成所述第i个内插帧。

可选的，所述生成子单元，用于：

根据所述视频帧序列对应的内插帧的个数确定处理组件的时钟频率；

控制所述处理组件在所述时钟频率下，根据所述视频帧序列对应的内插帧的个数、所述多个第一图像块的运动矢量和所述多个第一图像块的残差数据生成所述视频帧序列对应的内插帧。

第三方面，提供了一种视频处理设备，包括：

处理器；

用于存储所述处理器的可执行指令的存储器；

其中，所述处理器运行所述可执行指令时，能够执行第一方面或第一方面的任一可选方式所述的视频处理方法。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在处理组件上运行时，使得处理组件执行第一方面或第一方面的任一可选方式所述的视频处理方法。

本发明提供的技术方案带来的有益效果是：

本发明提供的视频处理方法及装置、设备、存储介质，视频处理设备在获取目标视频后，针对目标视频中的每个视频帧序列，获取相应的内插帧，将获取到的内插帧插入相应的视频帧序列所包括的两个视频帧之间，并将插入有内插帧的目标视频确定为处理后的目标视频。由于是在目标视频的视频帧序列中插入内插帧得到处理后的目标视频的，因此该处理后的目标视频的视频帧数量较多，使得该处理后的目标视频在播放时，能够在单位时间内播放更多数量的视频帧，提高了目标视频的帧率，从而提高了目标视频的播放流畅度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

为了更清楚地说明本发明的实施例，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例所涉及的一种实施环境的示意图。

图2是本发明实施例提供的一种视频处理方法的方法流程图。

图3是本发明实施例提供的另一种视频处理方法的方法流程图。

图4是本发明实施例提供的一种目标视频的示意图。

图5是本发明实施例提供的另一种目标视频的示意图。

图6是本发明实施例提供的再一种目标视频的示意图。

图7是本发明实施例提供的又一种目标视频的示意图。

图8是本发明实施例提供的一种获取运动信息的方法流程图。

图9是对图7所示的目标视频中的第二视频帧序列进行运动分析的示意图。

图10是本发明实施例提供的一种根据运动信息生成内插帧的方法流程图。

图11是本发明实施例提供的一种根据内插帧的个数、运动矢量和残差数据生成内插帧的方法流程图。

图12是在图9所示的视频帧序列中插入内插帧后的示意图。

图13是本发明实施例提供的一种视频处理装置的框图。

图14是本发明实施例提供的一种第二获取模块的框图。

图15是本发明实施例提供的一种确定子模块的框图。

图16是本发明实施例提供的一种生成单元的框图。

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所涉及的一种实施环境的示意图，该实施环境包括：视频提供设备11和显示设备12，视频提供设备11可以为数字通用光盘(Digital VideoDisc，DVD)播放机、影音光盘(Video Compact Disc，VCD)播放机、服务器或智能硬盘等，显示设备12可以为手机、平板电脑、台式电脑或者电视机等具有显示功能的视频处理设备。视频提供设备11和显示设备12之间建立有通信连接，该通信连接可以是无线网络连接和有线网络连接的至少一种。其中，无线网络连接例如可以为采用第三代移动通信技术(the3thGeneration mobile communication technology，3G)/第四代移动通信技术(the4thGeneration mobile communication technology，4G)/第五代移动通信技术(the5thGeneration mobile communication technology，5G)等的移动通信网络、蓝牙、紫峰(Zigbee)或者无线保真(Wireless Fidelity，WIFI)等方式进行的通信连接，有线网络连接例如可以为采用双绞线、同轴电缆、光纤、网线或者数据线(如USB、IEEE1394、串口或并口等)等方式进行的通信连接。

本发明实施例提供的视频处理方法可以由视频处理设备来执行，该视频处理设备可以是图1所示的实施环境中的视频提供设备11或显示设备12。当视频处理设备为图1所示的实施环境中的视频提供设备11时，视频处理设备可以获取目标视频，并在目标视频的视频帧序列中插入内插帧得到处理后的目标视频，将处理后的目标视频发送至显示设备12，以由显示设备12对该处理后的目标视频进行播放。当视频处理设备为图1所示的实施环境中的显示设备12时，视频处理设备可以从视频提供设备11中获取目标视频，在目标视频的视频帧序列中插入内插帧得到处理后的目标视频，并对该处理后的目标视频进行播放。

在本发明实施例中，视频处理设备中可以设置有处理组件、存储组件和驱动组件。该处理组件可以采用现场可编程门阵列(Field－Programmable GateArray，FPGA)的硬件形式实现。该驱动组件可以生成处理组件的时钟频率，并驱动处理组件在该时钟频率下工作。其中，处理组件的时钟频率指的是处理组件运算的频率，其一般可以用单位时间内处理组件执行运算的次数来表征。可选的，该驱动组件和处理组件可以集成设置，该存储组件可以存储操作系统、应用程序或其他程序模块，该处理组件通过执行存储组件中存储的应用程序来实现本发明实施例提供的视频处理方法。

图2为本发明实施例提供的一种视频处理方法的方法流程图，该视频处理方法可以应用于视频处理设备，请参考图2，该视频处理方法可以包括以下步骤：

步骤201、获取目标视频，该目标视频包括多个视频帧序列，每个视频帧序列包括时序上相邻的两个视频帧。

步骤202、对于每个视频帧序列，根据该视频帧序列所包括的两个视频帧获取该视频帧序列对应的内插帧。

步骤203、对于每个视频帧序列，将该视频帧序列对应的内插帧插入该视频帧序列所包括的两个视频帧之间。

步骤204、将插入有内插帧的目标视频确定为处理后的目标视频。

综上所述，本发明实施例提供的视频处理方法，视频处理设备在获取目标视频后，针对目标视频中的每个视频帧序列，获取相应的内插帧，将获取到的内插帧插入相应的视频帧序列所包括的两个视频帧之间，并将插入有内插帧的目标视频确定为处理后的目标视频。由于是在目标视频的视频帧序列中插入内插帧得到处理后的目标视频的，因此该处理后的目标视频的视频帧数量较多，使得该处理后的目标视频在播放时，能够在单位时间内播放更多数量的视频帧，提高了目标视频的帧率，从而提高了目标视频的播放流畅度。

图3为本发明实施例提供的另一种视频处理方法的方法流程图，该视频处理方法可以应用于视频处理设备，请参考图3，该视频处理方法包括以下步骤：

步骤301、获取目标视频，该目标视频包括多个视频帧序列，每个视频帧序列包括时序上相邻的两个视频帧。

在本发明实施例中，视频处理设备可以获取目标视频。可选的，当视频处理设备为视频提供设备时，视频处理设备可以从自身存储的视频中获取目标视频；当视频处理设备为显示设备时，在一种可实现方式中，视频处理设备可以从视频提供设备中获取目标视频，例如，视频处理设备可以通过目标视频对应的统一资源定位符(Uniform ResourceLocator，URL)从视频提供设备下载目标视频；在另一种可实现方式中，视频处理设备存储有目标视频，视频处理设备可以从自身存储的视频中获取该目标视频。

其中，目标视频包括多个视频帧序列，每个视频帧序列包括时序上相邻的两个视频帧。在本发明实施例中，视频帧序列与视频帧的关系可以有多种。假设时序上相邻的两个视频帧序列中，时序上靠前的视频帧序列为第一视频帧序列，时序上靠后的视频帧序列为第二视频帧序列，每个视频帧序列包括时序上靠前的第一视频帧以及时序上靠后的第二视频帧，则视频帧序列与视频帧的关系可以包括以下几种可实现方式：

第一种可实现方式：一个视频帧属于两个视频帧序列，第一视频帧序列中的第二视频帧与第二视频帧序列中的第一视频帧为同一视频帧。示例的，请参考图4，图4为本发明实施例提供的一种目标视频的示意图，该目标视频包括时序t上相邻的第一视频帧序列41和第二视频帧序列42，该目标视频包括时序t上依次排布的视频帧P1～P3，第一视频帧序列41包括时序t上相邻的视频帧P1和视频帧P2，第二视频帧序列42包括时序t上相邻的视频帧P2和视频帧P3，视频帧P2为第一视频帧序列41中的第二视频帧，且为第二视频帧序列42中的第一视频帧。

第二种可实现方式：一个视频帧属于一个视频帧序列，第一视频帧序列和第二视频帧序列间隔有m个视频帧，m为正整数。示例的，请参考图5，图5为本发明实施例提供的另一种目标视频的示意图，该目标视频包括时序t上相邻的第一视频帧序列51和第二视频帧序列52，且该目标视频包括时序t上依次排布的视频帧P1～P5，第一视频帧序列51包括时序t上相邻的视频帧P1和视频帧P2，第二视频帧序列52包括时序t上相邻的视频帧P4和视频帧P5，第一视频帧序列51和第二视频帧序列52间隔有1(m＝1)个视频帧P3。

需要说明的是，时序上相邻的两个视频帧序列可以构成视频帧序列组，在每个视频帧序列组中，第一视频帧序列和第二视频帧序列可以间隔有m个视频帧，且对于不同的视频帧序列组而言，其间隔的视频帧的个数可以不同。示例的，请参考图6，图6为本发明实施例提供的再一种目标视频的示意图，该目标视频包括时序t上依次排布的第一视频帧序列51、第二视频帧序列52和第三视频帧序列53，第一视频帧序列51和第二视频帧序列52构成一个视频帧序列组，第二视频帧序列52和第三视频帧序列53构成一个视频帧序列组，且该目标视频包括时序t上依次排布的视频帧P1～P9，第一视频帧序列51包括时序t上相邻的视频帧P1和视频帧P2，第二视频帧序列52包括时序t上相邻的视频帧P4和视频帧P5，第三视频帧序列53包括时序t上相邻的视频帧P8和视频帧P9，第一视频帧序列51和第二视频帧序列52间隔有1(m＝1)个视频帧P3，第二视频帧序列52和第三视频帧序列53间隔有2(m＝2)个视频帧P6和P7。

第三种可实现方式：一个视频帧属于一个视频帧序列，第一视频帧序列中的第二视频帧与第二视频帧序列中的第一视频帧为时序上相邻的两个视频帧。示例的，请参考图7，图7为本发明实施例提供的又一种目标视频的示意图，该目标视频包括时序t上相邻的第一视频帧序列61和第二视频帧序列62，且该目标视频包括时序t上依次排布的视频帧P1～P4，第一视频帧序列61包括时序t上相邻的视频帧P1和视频帧P2，第二视频帧序列62包括时序t上相邻的视频帧P3和视频帧P4，视频帧P2和视频帧P3为时序t上相邻的两个视频帧。

步骤302、对于每个视频帧序列，获取该视频帧序列所包括的两个视频帧的相似度。

对于每个视频帧序列，视频处理设备可以获取该视频帧序列所包括的两个视频帧的相似度，该两个视频帧的相似度可以通过多种信息来表征，根据用于表征该两个视频帧的相似度的信息的不同，视频处理设备可以通过不同的方式获取该两个视频帧的相似度。

本发明实施例以两种可选的实现方式为例，且以每个视频帧序列所包括的两个视频帧为第一视频帧和第二视频帧，第一视频帧是该视频帧序列中时序上靠前的视频帧，第二视频帧是该视频帧序列中时序上靠后的视频帧为例，对视频处理设备获取视频帧序列所包括的两个视频帧的相似度的过程进行说明：

第一种可选实现方式：对于每个视频帧序列，该视频帧序列所包括的两个视频帧的相似度通过该两个视频帧中相同像素的比例来表征。则示例的，该步骤302中，视频处理设备获取视频帧序列所包括的两个视频帧的相似度可以包括：视频处理设备首先在第一视频帧中获取目标像素的数量，该目标像素为第一视频帧和第二视频帧中，位置相同且像素值相同的像素(例如，若第一视频帧中第一行第一列的像素的像素值等于第二视频帧中第一行第一列的像素的像素值，则该第一视频帧中的第一行第一列的像素即为第一视频帧中的目标像素)，然后确定该目标像素的数量与第一视频帧所包含的像素的总数量的比值，将该比值确定为第一视频帧和第二视频帧的相似度。例如，假设对于一视频帧序列，视频处理设备在第一视频帧中获取的目标像素的数量为t，第一视频帧所包含的像素的总数量为n，则视频处理设备确定该目标像素的数量与第一视频帧所包含的像素的总数量的比值为t/n，从而视频处理设备确定第一视频帧和第二视频帧的相似度为t/n。

第二种可选实现方式：对于每个视频帧序列，该视频帧序列所包括的两个视频帧的相似度通过视频帧序列对应的运动信息来表征，该运动信息用于表征该视频帧序列所包括的两个视频帧中相同物体的位置变化，例如，第一视频帧和第二视频帧具有相同的物体，则该运动信息可以用于表征从第一视频帧到第二视频帧，该物体在该第一视频帧和第二视频帧中的位置变化。示例的，视频处理设备可以通过图像宏块的运动分析、光流分析、特征点的运动分析以及前景运动分析等方式获取视频帧序列对应的运动信息，根据视频帧序列对应的运动信息确定该视频帧序列所包括的两个视频帧的相似度。其中，图像宏块的运动分析指的是将视频帧序列所包括的第一视频帧分割为互不重叠的多个第一图像宏块，在第二视频帧中确定与第一视频帧中的第一图像宏块相匹配的第二图像宏块，再确定从第一视频帧到第二视频帧，该第一图像宏块与该第二图像宏块之间的运动矢量。光流分析指的是对于视频帧序列所包括的第一视频帧和第二视频帧，分析从第一视频帧到第二视频帧，灰度随时间变化的大小和方向，通过灰度随时间变化的大小和方向确定从第一视频帧到第二视频帧像素的运动矢量。特征点的运动分析指的是在视频帧序列所包括的第一视频帧中获取第一特征点，在视频帧序列所包括的第二视频帧中获取与该第一特征点相匹配的第二特征点，确定从第一视频帧到第二视频帧，该第一特征点与该第二特征点之间的运动矢量。前景运动分析指的是提取视频帧序列所包括的第一视频帧和第二视频帧中的前景，确定从第一视频帧到第二视频帧，该前景的运动矢量。

需要说明的是，视频处理设备获取视频帧序列所包括的两个视频帧的相似度后，可以根据该相似度与目标相似度范围的关系，确定该视频帧序列对应的内插帧。其中，根据该相似度是否处于目标相似度范围，视频处理设备可以通过不同的方式获取该视频帧序列对应的内插帧。视频处理设备获取该视频帧序列对应的内插帧的步骤可以参考下述步骤303至步骤306。

步骤303、判断视频帧序列所包括的两个视频帧的相似度是否处于目标相似度范围内。若该相似度未处于目标相似度范围内(也即是处于目标相似度范围外)，则执行步骤304；若该相似度处于目标相似度范围内，则执行步骤305至步骤306。

视频处理设备可以存储有目标相似度范围，该目标相似度范围可以是用户预先在视频处理设备中配置的，该目标相似度范围包括目标相似度上限和目标相似度下限，视频处理设备可以将该视频帧序列所包括的两个视频帧的相似度分别与目标相似度上限和目标相似度下限进行比较，来判断视频帧序列所包括的两个视频帧的相似度是否处于目标相似度范围内，当该视频帧序列所包括的两个视频帧的相似度大于目标相似度上限或者小于目标相似度下限时，视频处理设备确定该视频帧序列所包括的两个视频帧的相似度处于目标相似度范围外，当该视频帧序列所包括的两个视频帧的相似度小于目标相似度上限且大于目标相似度下限时，视频处理设备确定该视频帧序列所包括的两个视频帧的相似度处于目标相似度范围内，此外，当该视频帧序列所包括的两个视频帧的相似度等于目标相似度上限或目标相似度下限时，视频处理设备也确定该视频帧序列所包括的两个视频帧的相似度处于目标相似度范围内。

步骤304、将视频帧序列所包括的两个视频帧中的任意一个视频帧确定为视频帧序列对应的内插帧。

当视频帧序列所包括的两个视频帧的相似度处于目标相似度范围外时，视频处理设备可以将视频帧序列所包括的两个视频帧中的任意一个视频帧确定为视频帧序列对应的内插帧。可选的，视频处理设备可以将视频帧序列所包括的两个视频帧中，时序上靠前的视频帧确定为视频帧序列对应的内插帧。

示例的，以图7为例，第一视频帧序列61包括时序上相邻的视频帧P1和视频帧P2，假设视频帧P1和视频帧P2的相似度处于目标相似度范围外，则视频处理设备将视频帧P1和视频帧P2中的任意一个视频帧确定为第一视频帧序列61对应的内插帧，例如，视频处理设备将视频帧P1确定为第一视频帧序列61对应的内插帧。

需要说明的是，容易理解，视频帧序列所包括的两个视频帧的相似度处于目标相似度范围外包括：视频帧序列所包括的两个视频帧的相似度大于目标相似度上限或小于目标相似度下限两种情况，当视频帧序列所包括的两个视频帧的相似度大于目标相似度上限时，该视频帧序列所包括的两个视频帧的相似度较高，可以认为该视频帧序列所包括的两个视频帧为重复帧，该视频帧序列所包括的两个视频帧的关联性较大，则将视频帧序列所包括的两个视频帧中的任意一个视频帧确定为视频帧序列对应的内插帧均可以保证目标视频的播放流畅度，因此视频处理设备可以将该视频帧序列所包括的两个视频帧中的任意一个视频帧确定为视频帧序列对应的内插帧；当视频帧序列所包括的两个视频帧的相似度小于目标相似度下限时，该视频帧序列所包括的两个视频帧的相似度较低，可以认为该视频帧序列所包括的两个视频帧为完全不同的视频帧，该视频帧序列所包括的两个视频帧关联性较小，则将目标视频中的任意一个视频帧确定为视频帧序列对应的内插帧均可以保证目标视频的播放流畅度，因此，视频处理设备可以将该视频帧序列所包括的两个视频帧中的任意一个视频帧确定为视频帧序列对应的内插帧，这样可以简化视频插帧过程。本发明实施例中，当视频帧序列所包括的两个视频帧的相似度处于目标相似度范围外时，将该视频帧序列所包括的两个视频帧中的任意一个视频帧确定为该视频帧序列对应的内插帧，这样一来，一方面，可以减小视频处理设备的功耗，提高视频处理设备获取内插帧的效率，另一方面，可以提高视频帧之间切换的流畅度，从而提高目标视频的播放流畅度。

步骤305、获取视频帧序列对应的运动信息。

当视频帧序列所包括的两个视频帧的相似度处于目标相似度范围内时，视频处理设备可以获取该视频帧序列对应的运动信息。示例的，以图7为例，第二视频帧序列62包括时序上相邻的视频帧P3和视频帧P4，假设视频帧P3和视频帧P4的相似度处于目标相似度范围内，则视频处理设备获取该第二视频帧序列62对应的运动信息。

其中，该运动信息用于表征视频帧序列所包括的两个视频帧中相同物体的位置变化，例如，该视频帧序列所包括的两个视频帧具有相同的物体，则该运动信息可以用于表征该视频帧序列所包括的两个视频帧中该物体的位置变化。可选的，视频帧序列对应的运动信息可以为视频帧序列所包括的两个视频帧中相同物体的运动矢量，且该视频帧序列所包括的两个视频帧可以包括第一视频帧和第二视频帧，则请参考图8，图8为本发明实施例提供的一种获取视频帧序列对应的运动信息的方法流程图，该方法可以包括以下步骤：

子步骤3051、将第一视频帧分割为互不重叠的多个第一图像块。

其中，视频处理设备可以将第一视频帧分割为互不重叠的多个第一图像块，每个第一图像块可以为图像宏块，且每个第一图像块可以为矩形图像块，每个第一图像可以包括多个像素。

示例的，请参考图9，图9为对图7所示的第二视频帧序列62进行运动分析的示意图，该第二视频帧序列62包括第一视频帧P3和第二视频帧P4，视频处理设备可以将第一视频帧P3分割成互不重叠的多个第一图像块P31，每个第一图像块P31可以包括多个像素(图9中未示出)。

子步骤3052、对于每个第一图像块，在第二视频帧中确定与第一图像块相匹配的第二图像块。

其中，第二图像块与第一图像块的相似度大于目标相似度阈值。可选的，视频处理设备可以根据第一图像块在第一视频帧中的位置，在第二视频帧中确定目标区域，然后在目标区域中确定与第一图像块的相似度大于目标相似度阈值的图像块，将目标区域中与第一图像块的相似度大于目标相似度阈值的图像块确定为与第一图像块相匹配的第二图像块。其中，确定第一图像块和第二图像块的相似度的过程可以参考上述步骤302，本发明实施例在此不做赘述。

示例的，如图9所示，第一视频帧P3的多个第一图像块包括第一图像块P3a，本发明实施例以在第二视频帧P4中确定与第一图像块P3a相匹配的第二图像块，且以目标相似度阈值为95％(百分之95)为例对视频处理设备在第二视频帧中确定与第一图像块相匹配的第二图像块为例进行说明，视频处理设备可以根据第一图像块P3a在第一视频帧P3中的位置，在第二视频帧P4中确定目标区域A，在该目标区域A中确定与第一图像块P3a的相似度大于95％的图像块P4a，将该图像块P4a确定为与第一图像块P3a相匹配的第二图像块。

子步骤3053、对于每个第一图像块，将第一位置和第二位置之间的位移确定为第一图像块的运动矢量。

其中，第一位置为第一图像块在第一视频帧中的位置，第二位置为与第一图像块相匹配的第二图像块在第二视频帧中的位置。

可选的，对于每个第一图像块，视频处理设备在确定与第一图像块相匹配的第二图像块后，可以将第一图像块在第一视频帧中的位置确定为第一位置，将与该第一图像块相匹配的第二图像块在第二视频帧中的位置确定为第二位置，并将该第一位置和第二位置之间的位移确定为第一图像块的运动矢量。

示例的，请继续参考图9，视频处理设备可以将第一图像块P3a在第一视频帧P3中的位置确定为第一位置M₁，将第二图像块P4a在第二视频帧P4中的位置确定为第二位置N₁，将该第一位置M₁与第二位置N₁之间的位移M₁N₁确定为第一图像块P3a的运动矢量，也即是，第一图像块P3a的运动矢量为M₁N₁。需要说明的是，实际应用中，可以将第一图像块P3a和第二图像块P4a均视为质点，第一图像块P3a在第一视频帧P3中的第一位置M₁和第二图像块P4a在第二视频帧P4中的第二位置N₁均为质点位置。还需要说明的是，为了清晰示出第一图像块P3a的运动矢量，图9中示出了第一图像块P3a在第二视频帧P4中对应的位置M₁'，则可以通过矢量M₁'N₁表示第一图像块P3a的运动矢量M₁N₁。

子步骤3054、将第一视频帧中的所有第一图像块的运动矢量确定为视频帧序列对应的运动信息。

可选的，视频处理设备可以将第一视频帧中的所有第一图像块的运动矢量确定为视频帧序列对应的运动信息。例如，对于图9所示的第二视频帧序列62，视频处理设备可以将{M₁N₁、M₂N₂、M₃N₃、M₄N₄······M_nN_n}确定为该第二视频帧序列62对应的运动信息，M₁N₁、M₂N₂、M₃N₃、M₄N₄······M_nN_n均为运动矢量，n表示该第二视频帧序列62中的第一视频帧P3中的第一图像块的数量，以及该第二视频帧序列62中的第二视频帧P4中的第二图像块的数量，n为正整数。

步骤306、根据视频帧序列对应的运动信息生成视频帧序列对应的内插帧。

示例的，请参考图10，图10为本发明实施例提供的一种根据视频帧序列对应的运动信息生成该视频帧序列对应的内插帧的方法流程图，该方法可以包括：

子步骤3061、从多个第一图像块的运动矢量中获取至少一个目标运动矢量。

其中，目标运动矢量的模大于目标矢量模阈值。

视频处理设备可以存储有目标矢量模阈值，视频处理设备可以计算多个第一图像块的运动矢量中的各个运动矢量的模，将每个第一图像块的运动矢量的模与目标矢量模阈值进行比较，根据比较结果，从多个第一图像块的运动矢量中获取至少一个目标运动矢量。例如，如上述子步骤3054所述，第二视频帧序列62对应的运动信息为{M₁N₁、M₂N₂、M₃N₃、M₄N₄······M_nN_n}，视频处理设备可以从{M₁N₁、M₂N₂、M₃N₃、M₄N₄······M_nN_n}中获取至少一个目标运动矢量，示例的，该至少一个目标运动矢量为M₁N₁、M₄N₄、M₆N₆以及M₉N₉。

需要说明的是，对于目标视频中的每个视频帧，该视频帧中通常可以存在静态物体和动态物体，由于在对目标视频进行播放时，静态物体在多个视频帧中的位置变化通常较小，而动态物体在多个视频帧中的位置变化通常较大，因此，静态物体所在的第一图像块的运动矢量通常较小，而动态物体所在的第一图像块的运动矢量通常较大，根据动态物体所在的第一图像块的运动矢量确定视频帧序列对应的内插帧的个数以生成内插帧，可以保证生成内插帧的准确性。本发明实施例中，视频处理设备可以根据目标矢量模阈值，从多个第一图像块的运动矢量中获取动态物体所在的第一图像块的运动矢量，以排除静态物体所在的第一图像块的运动矢量，减小了视频处理设备的功耗，提高了视频处理设备生成内插帧的效率，且保证了生成内插帧的准确性。

子步骤3062、根据至少一个目标运动矢量的模确定视频帧序列对应的内插帧的个数。

可选的，当目标运动矢量为一个时，视频处理设备可以根据该目标运动矢量的模确定视频帧序列对应的内插帧的个数，内插帧的个数可以与该目标运动矢量的模成正比，也即是，当该目标运动矢量的模较大时，视频处理设备所确定的内插帧的个数较多；当该目标运动矢量的模较小时，视频处理设备所确定的内插帧的个数较少。示例的，视频处理设备将目标运动矢量的模确定为视频帧序列对应的内插帧的个数。

可选的，目标运动矢量为多个时，视频处理设备可以根据该多个目标运动矢量的模的平均值和/或方差确定视频帧序列对应的内插帧的个数，该内插帧的个数与该目标运动矢量的模的平均值和/或方差成正比，也即是，当该目标运动矢量的模的平均值和/或方差较大时，视频处理设备所确定的内插帧的个数较多，当该目标运动矢量的模的平均值和/或方差较小时，视频处理设备所确定的内插帧的个数较少。示例的，视频处理设备将多个目标运动矢量的模的平均值确定为视频帧序列对应的内插帧的个数，或者，视频处理设备将多个目标运动矢量的模的方差确定为视频帧序列对应的内插帧的个数，或者，视频处理设备综合多个目标运动矢量的模的平均值和方差，根据该多个目标运动矢量的模的平均值和方差计算得到视频帧序列对应的内插帧的个数。

子步骤3063、对于每个第一图像块，获取第一图像块的残差数据。

该第一图像块的残差数据为第二图像块的像素数据与第一图像块的像素数据的差值，该第二图像块指的是第二视频帧中与该第一图像块相匹配的图像块。第一图像块的像素数据可以为第一图像块所包括的像素的像素值(也称灰度值)，第二图像块的像素数据可以为第二图像块所包括的像素的像素值，第二图像块的像素数据与第一图像块的像素数据的差值包括：第二图像块所包括的每个像素的像素值与第一图像块中与该每个像素对应的像素的像素值的差值。

可选的，视频处理设备可以获取第一图像块所包括的像素的像素值，以及与该第一图像块相匹配的第二图像块所包括的像素的像素值，并确定该第二图像块所包括的像素的像素值与该第一图像块所包括的像素的像素值的差值，将该差值确定为该第一图像块的残差数据。示例的，如图9所示，在第二视频帧序列62中，第二图像块P4a为第二视频帧P4中，与第一视频帧P3中的第一图像块P3a相匹配的图像块，假设第一图像块P3a所包括的像素的像素值(也即是第一图像块P3a的像素数据)为{a0，a1，a2，a3}，第二图像块P4a所包括的像素的像素值(也即是第二图像块P4a的像素数据)为{b0，b1，b2，b3}，则视频处理设备获取的该第一图像块P3a的残差数据可以为{b0－a0，b1－a1，b2－a2，b3－a3}。

子步骤3064、根据视频帧序列对应的内插帧的个数、多个第一图像块的运动矢量和多个第一图像块的残差数据生成视频帧序列对应的内插帧。

可选的，视频处理设备可以将每个第一图像块的运动矢量以及每个第一图像块的残差数据，按照视频帧序列对应的内插帧的个数进行分解，再根据第一图像块的像素数据、分解得到的运动分矢量以及残差分数据生成视频帧序列对应的内插帧。

示例的，请参考图11，图11为本发明实施例提供的一种根据视频帧序列对应的内插帧的个数、多个第一图像块的运动矢量和多个第一图像块的残差数据生成视频帧序列对应的内插帧的方法流程图，该方法可以包括：

子步骤30641、对于每个第一图像块，将第一图像块的运动矢量进行分解，得到第一图像块的n+1个运动分矢量。

其中，n表示子步骤3062中确定的内插帧的个数，n为正整数，该第一图像块的n+1个运动分矢量的和等于该第一图像块的运动矢量。可选的，视频处理设备可以预先设置n+1个比例值，该n+1个比例值的总和为1，视频处理设备将第一图像块的运动矢量，按照该预先设置的n+1个比例值以及该运动矢量的方向分解为n+1个运动分矢量，每个运动分矢量的方向与该第一图像块的运动矢量的方向相同，且该n+1个运动分矢量的模与第一图像块的运动矢量的模的比值和该n+1个比例值一一对应。其中，该第一图像块的n+1个运动分矢量可以按照一定的顺序排列，例如，该第一图像块的n+1个运动分矢量可以按照该n+1个运动分矢量对应的n+1个比例值的大小排序。

示例的，以图9所示的第一图像块P3a为例，假设内插帧的个数为3，该第一图像块P3a的运动矢量为M₁N₁，视频处理设备可以预先设置4个比例值分别为1/8、1/4、3/8和1/4，视频处理设备将该第一图像块P3a的运动矢量M₁N₁进行分解，得到该第一图像块P3a的4个运动分矢量，该4个运动分矢量分别为M₁₁N₁₁，M₁₂N₁₂，M₁₃N₁₃以及M₁₄N₁₄，M₁₁N₁₁，M₁₂N₁₂，M₁₃N₁₃以及M₁₄N₁₄中的每个运动分矢量的方向与M₁N₁的方向相同，且该M₁₁N₁₁，M₁₂N₁₂，M₁₃N₁₃以及M₁₄N₁₄与M₁N₁的比值与1/8、1/4、3/8和1/4一一对应，例如，M₁₁N₁₁与M₁N₁的比值为1/8，M₁₂N₁₂与M₁N₁的比值为1/4，M₁₃N₁₃与M₁N₁的比值为3/8，M₁₄N₁₄与M₁N₁的比值为1/4。其中，可以将该第一图像块的n+1个运动分矢量按照该n+1个运动分矢量对应的n+1个比例值的大小进行排序，则该4个运动分矢量的排序结果可以为M₁₁N₁₁，M₁₂N₁₂，M₁₄N₁₄以及M₁₃N₁₃。

子步骤30642、对于每个第一图像块，将第一图像块的残差数据进行分解，得到第一图像块的n+1个残差分数据。

其中，n表示子步骤3062中确定的内插帧的个数，该第一图像块的n+1个残差分数据的和等于该第一图像块的残差数据，该残差数据的分解方式与前述运动矢量的分解方式相同。如前述子步骤30641所述，n+1个运动分矢量的模与第一图像块的运动矢量的模的比值与n+1个比例值一一对应，则该n+1个残差分数据与残差数据的比值与该n+1个比例值一一对应。可选的，视频处理设备可以按照该n+1个比例值将第一图像块的残差数据分解为n+1个残差分数据。其中，该第一图像块的n+1个残差分数据可以按照与前述n+1个运动分矢量的排列顺序对应的顺序排列，例如，如前述步骤30641所述，该第一图像块的n+1个运动分矢量可以按照该n+1个运动分矢量对应的n+1个比例值的大小排序，则相应的，该第一图像块的n+1个残差分数据可以按照该n+1个残差分数据对应的n+1个比例值的大小进行排序。

示例的，以图9所示的第一图像块P3a为例，假设内插帧的个数为3，该第一图像块P3a的残差数据为{b0－a0，b1－a1，b2－a2，b3－a3}，如前述子步骤30641所述，该第一图像块P3a的4个运动分矢量对应的4个比例值分别为1/8、1/4、3/8和1/4，视频处理设备按照该4个比例值将该第一图像块P3a的残差数据{b0－a0，b1－a1，b2－a2，b3－a3}进行分解，得到该第一图像块P3a的4个残差分数据，该4个残差分数据分别为：{(b0－a0)/8，(b1－a1)/8，(b2－a2)/8，(b3－a3)/8}、{(b0－a0)/4，(b1－a1)/4，(b2－a2)/4，(b3－a3)/4}、{3(b0－a0)/8，3(b1－a1)/8，3(b2－a2)/8，3(b3－a3)/8}以及{(b0－a0)/4，(b1－a1)/4，(b2－a2)/4，(b3－a3)/4}。其中，可以将该第一图像块的n+1个残差分数据按照与前述n+1个运动分矢量的排列顺序对应的顺序排列，则该4个残差分数据的排序结果可以为：{(b0－a0)/8，(b1－a1)/8，(b2－a2)/8，(b3－a3)/8}、{(b0－a0)/4，(b1－a1)/4，(b2－a2)/4，(b3－a3)/4}、{(b0－a0)/4，(b1－a1)/4，(b2－a2)/4，(b3－a3)/4}以及{3(b0－a0)/8，3(b1－a1)/8，3(b2－a2)/8，3(b3－a3)/8}。

子步骤30643、对于每个第一图像块，根据第一图像块的像素数据以及第一图像块的n+1个残差分数据中前i个残差分数据，获取第一图像块对应的等效图像块，1≤i≤n。

其中，该前i个残差分数据指的是上述按照顺序排列的n+1个残差分数据中的前i个残差分数据，i为正整数。

可选的，则对于每个第一图像块，视频处理设备可以确定该第一图像块的像素数据与该第一图像块的前i个残差分数据的和，根据该第一图像块的像素数据与该第一图像块的前i个残差分数据的和确定第一图像块对应的等效图像块。

示例的，以图9所示的第一图像块P3a为例，假设i为2，该第一图像块P3a的像素数据为{a0，a1，a2、a3}，该第一图像块P3a的前2个残差分数据分别为：{(b0－a0)/8，(b1－a1)/8，(b2－a2)/8，(b3－a3)/8}和{(b0－a0)/4，(b1－a1)/4，(b2－a2)/4，(b3－a3)/4}，视频处理设备可以确定该第一图像块P3a的前2个残差分数据之和为{3(b0－a0)/8，3(b1－a1)/8，3(b2－a2)/8，3(b3－a3)/8}，该第一图像块P3a的像素数据与该第一图像块P3a的前2个残差分数据的和为{a0+3(b0－a0)/8，a1+3(b1－a1)/8，a2+3(b2－a2)/8，a3+3(b3－a3)/8}，视频处理设备可以根据{a0+3(b0－a0)/8，a1+3(b1－a1)/8，a2+3(b2－a2)/8，a3+3(b3－a3)/8}确定第一图像块P3a对应的等效图像块。

子步骤30644、对于每个第一图像块，根据第一位置以及第一图像块的n+1个运动分矢量中前i个运动分矢量，获取第一图像块对应的第三位置。

其中，该前i个运动分矢量指的是上述按照顺序排列的n+1个运动分矢量中的前i个运动分矢量。第一图像块对应的第三位置为该第一图像块对应的等效图像块在视频帧序列对应的n个内插帧中的第i个内插帧中的位置。

可选的，对于每个第一图像块，视频处理设备可以确定该第一图像块的前i个运动分矢量的矢量和，根据该第一图像块在第一视频帧中的第一位置与该矢量和确定第一图像块对应的第三位置，该矢量和为第一位置和第三位置之间的位移。

示例的，以图9所示的第一图像块P3a为例，假设i为2，第一图像块P3a在第一视频帧P3中的第一位置为M₁，该第一图像块P3a的前2个运动分矢量为M₁₁N₁₁和M₁₂N₁₂，视频处理设备可以确定第一图像块P3a的前2个运动分矢量的矢量和为M₁₁N₁₁+M₁₂N₁₂，根据第一位置M₁以及该矢量和M₁₁N₁₁+M₁₂N₁₂确定第一图像块P3a对应的第三位置，该矢量和M₁₁N₁₁+M₁₂N₁₂为第一位置M₁与第三位置之间的位移。

子步骤30645、根据多个第一图像块对应的等效图像块以及多个第一图像块对应的第三位置生成第i个内插帧。

可选的，视频处理设备可以将每个第一图像块对应的等效图像块配置在该第一图像块对应的第三位置，使每个等效图像块处于相应的第三位置，根据多个处于第三位置的等效图像块生成第i个内插帧，换句话来讲，多个处于相应的第三位置的等效图像块拼接形成第i个内插帧。示例的，n为3，该第i个内插帧可以为第1个内插帧、第2个内插帧或第3个内插帧。

可选的，视频处理设备在生成视频帧序列对应的内插帧后，可以对视频帧序列对应的内插帧进行去区块效应滤波处理，以提高内插帧的质量。由于视频帧序列对应的内插帧是根据多个等效图像块生成的，因此各个等效图像块之间的相关性较低，使得在对内插帧进行播放时，人眼能够感受到各个等效图像块的边界，也即是，各个等效图像块的边界处出现视觉瑕疵，对视频帧序列对应的内插帧进行去区块效应滤波处理，能够降低内插帧的各个等效图像块的边界处出现视觉瑕疵的概率，从而提高内插帧的质量。

需要说明的是，在本发明实施例中，上述子步骤3064可以由视频处理设备的处理组件执行，在该子步骤3064中，视频处理设备可以根据视频帧序列对应的内插帧的个数确定视频处理设备的处理组件的时钟频率，并控制该处理组件在该时钟频率下，根据视频帧序列对应的内插帧的个数、多个第一图像块的运动矢量和多个第一图像块的残差数据生成视频帧序列对应的内插帧。其中，该处理组件生成内插帧的过程可以参考上述图11所示实施例，本发明实施例在此不做赘述。

可选的，视频处理设备可以采用基于时间平均频率直接周期合成技术(Time-Average-Frequency Direct Period Synthesis，TAF-DPS)的动态时钟作为处理组件的时钟源，输出处理组件的时钟频率。TAF-DPS是一种频率合成技术，该技术的特点为：频率粒度小且频率切换速度快。在本发明实施例中，不同的视频帧序列对应的内插帧的个数不同，由于需要满足视频输出时序，因此，各个视频帧序列对应的内插帧的生成时间是相同的，则处理组件的时钟频率需要根据生成内插帧的个数的不同而变化，当内插帧的个数较多时，处理组件的计算量较大，所需的时钟频率较高；当内插帧的个数较少时，处理组件的计算量较小，所需的时钟频率较低，因此，处理组件需要频率动态可调的时钟源，以满足时序要求。相关技术中通常采用锁相环(Phase Locked Loop，PLL)作为时钟源，但是PLL在进行时钟频率变换时需要较长时间的稳定期，会影响处理组件生成内插帧的效率，本发明实施例中采用基于TAF-DPS的动态时钟作为处理组件的时钟源，由于TAF-DPS的频率切换速度快，因此，基于TAF-DPS的动态时钟能够迅速准确的产生频率可调的时钟信号，从而提高了处理组件生成内插帧的效率。

步骤307、对于每个视频帧序列，将视频帧序列对应的内插帧插入视频帧序列所包括的两个视频帧之间。

可选的，对于每个视频帧序列，视频处理设备可以按照该视频帧序列对应的内插帧的时序，在该视频帧序列的第一视频帧与第二视频帧之间，插入该该视频帧序列对应的内插帧。示例的，视频处理设备可以在播放该视频帧序列的过程中，在该视频帧序列的第一视频帧与第二视频帧之间，按照该视频帧序列对应的内插帧的时序，播放该视频帧序列对应的内插帧，以将视频帧序列对应的内插帧插入视频帧序列所包括的两个视频帧之间。

示例的，对于如图9所示的第二视频帧序列62，该第二视频帧序列62包括第一视频帧P3和第二视频帧P4，假设该第二视频帧序列62对应的内插帧的个数为3，且该3个内插帧为时序上依次排布的第一内插帧P621、第二内插帧P622和第三内插帧P623，则请参考图12，图12为在图9所示的第二视频帧序列62中插入内插帧后的示意图，视频处理设备按照第一内插帧P621、第二内插帧P622和第三内插帧P623的时序，将第一内插帧P621、第二内插帧P622和第三内插帧P623插入第一视频帧P3和第二视频帧P4之间，在该第二视频帧序列62中插入内插帧后，该第二视频帧序列62所包括的视频帧可以包括时序t上依次排布的第一视频帧P3、第一内插帧P621、第二内插帧P622、第三内插帧P623和第二视频帧P4。需要说明的是，对比图9和图12可以看出，该图12所示的第二视频帧序列62(插入内插帧后的第二视频帧序列62)所包括的视频帧的个数较多，因此，通过插入内插帧，提高了第二视频帧序列62的帧率，从而提高了目标视频的播放流畅度。

步骤308、将插入有内插帧的目标视频确定为处理后的目标视频。

视频处理设备可以将插入有内插帧的目标视频确定为处理后的目标视频。可选的，可以在每个视频帧序列中插入相应的内插帧，视频处理设备可以将在每个视频帧序列中插入内插帧的目标视频确定为处理后的目标视频。

需要说明的是，在本发明实施例中，视频处理设备在步骤301获取目标视频之后，可以先对目标视频的帧率进行检测，当该目标视频的帧率小于目标帧率阈值时，由于帧率较低(帧率小于目标帧率阈值)的目标视频的播放流畅度较差，因此，该视频处理设备可以执行后续步骤302至步骤308以对该目标视频进行插帧处理，从而提高该帧率较低的目标视频的播放流畅度；当该目标视频的帧率大于或等于目标帧率阈值时，由于帧率较高(帧率大于或等于目标帧率阈值)的目标视频的播放流畅度较好，因此，该视频处理设备可以不执行后续步骤302至步骤308。其中，该目标帧率阈值可以由技术人员预先设置在视频处理设备中。

还需要说明的是，本发明实施例提供的视频处理方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，例如，在步骤302之前，可以先对目标视频的帧率进行检测，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。

综上所述，本发明实施例提供的视频处理方法，视频处理设备在获取目标视频后，针对目标视频中的每个视频帧序列，获取相应的内插帧，将获取到的内插帧插入相应的视频帧序列所包括的两个视频帧之间，并将插入有内插帧的目标视频确定为处理后的目标视频。由于是在目标视频的视频帧序列中插入内插帧得到处理后的目标视频的，因此该处理后的目标视频的视频帧数量较多，使得该处理后的目标视频在播放时，能够在单位时间内播放更多数量的视频帧，提高了目标视频的帧率，从而提高了目标视频的播放流畅度。

请参考图13，图13为本发明实施例提供的一种视频处理装置70的框图，该视频处理装置70包括：

第一获取模块71，用于获取目标视频，该目标视频包括多个视频帧序列，每个视频帧序列包括时序上相邻的两个视频帧。

第二获取模块72，用于对于每个视频帧序列，根据该视频帧序列所包括的两个视频帧获取视频帧序列对应的内插帧。

插帧模块73，用于对于每个视频帧序列，将视频帧序列对应的内插帧插入该视频帧序列所包括的两个视频帧之间。

确定模块74，用于将插入有内插帧的目标视频确定为处理后的目标视频。

综上所述，本发明实施例提供的视频处理装置，视频处理设备在通过第一获取模块获取目标视频后，针对目标视频中的每个视频帧序列，通过第二获取模块获取相应的内插帧，通过插帧模块将获取到的内插帧插入相应的视频帧序列所包括的两个视频帧之间，并通过确定模块将插入有内插帧的目标视频确定为处理后的目标视频。由于是在目标视频的视频帧序列中插入内插帧得到处理后的目标视频的，因此该处理后的目标视频的视频帧数量较多，使得该处理后的目标视频在播放时，能够在单位时间内播放更多数量的视频帧，提高了目标视频的帧率，从而提高了目标视频的播放流畅度。

可选的，请参考图14，图14为本发明实施例提供的一种第二获取模块72的框图，该第二获取模块72包括：

获取子模块721，用于对于每个视频帧序列，获取该视频帧序列所包括的两个视频帧的相似度。

确定子模块722，用于根据相似度与目标相似度范围的关系，确定视频帧序列对应的内插帧。

可选的，请参考图15，图15为本发明实施例提供的一种确定子模块722的框图，该确定子模块722包括：

确定单元7221，用于当相似度处于目标相似度范围外时，将视频帧序列所包括的两个视频帧中的任意一个视频帧确定为视频帧序列对应的内插帧。

获取单元7222，用于当相似度处于目标相似度范围内时，获取视频帧序列对应的运动信息，该运动信息用于表征视频帧序列所包括的两个视频帧中相同物体的位置变化。

生成单元7223，用于根据运动信息生成视频帧序列对应的内插帧。

可选的，该视频帧序列所包括的两个视频帧包括第一视频帧和第二视频帧，该获取单元7222，用于：

将第一视频帧分割为互不重叠的多个第一图像块。

对于每个第一图像块，在第二视频帧中确定与第一图像块相匹配的第二图像块，该第二图像块与该第一图像块的相似度大于目标相似度阈值。

对于每个第一图像块，将第一位置和第二位置之间的位移确定为第一图像块的运动矢量，该第一位置为第一图像块在第一视频帧中的位置，该第二位置为与该第一图像块相匹配的第二图像块在第二视频帧中的位置。

将第一视频帧中的所有第一图像块的运动矢量确定为视频帧序列对应的运动信息。

可选的，每个第一图像块包括多个像素，请参考图16，图16为本发明实施例提供的一种生成单元7223的框图，该生成单元7223，包括：

第一获取子单元72231，用于从多个第一图像块的运动矢量中获取至少一个目标运动矢量，该目标运动矢量的模大于目标矢量模阈值。

确定子单元72232，用于根据至少一个目标运动矢量的模确定视频帧序列对应的内插帧的个数。

第二获取子单元72233，用于对于每个第一图像块，获取该第一图像块的残差数据，该残差数据为与第一图像块相匹配的第二图像块的像素数据与第一图像块的像素数据的差值。

生成子单元72234，用于根据视频帧序列对应的内插帧的个数、多个第一图像块的运动矢量和多个第一图像块的残差数据生成视频帧序列对应的内插帧。

可选的，该生成子单元72234，用于：

对于每个第一图像块，将第一图像块的运动矢量进行分解，得到第一图像块的n+1个运动分矢量，n表示内插帧的个数，n为正整数。

对于每个第一图像块，将该第一图像块的残差数据进行分解，得到该第一图像块的n+1个残差分数据。

对于每个第一图像块，根据第一图像块的像素数据以及第一图像块的n+1个残差分数据中前i个残差分数据，获取第一图像块对应的等效图像块，1≤i≤n，i为正整数。

对于每个第一图像块，根据第一位置以及第一图像块的n+1个运动分矢量中前i个运动分矢量，获取第一图像块对应的第三位置，该第三位置为该等效图像块在视频帧序列对应的内插帧中的第i个内插帧中的位置。

根据多个第一图像块对应的等效图像块以及多个第一图像块对应的第三位置生成第i个内插帧。

可选的，上述生成子单元72234，用于：

根据视频帧序列对应的内插帧的个数确定处理组件的时钟频率。

控制处理组件在该时钟频率下，根据视频帧序列对应的内插帧的个数、多个第一图像块的运动矢量和多个第一图像块的残差数据生成视频帧序列对应的内插帧。

综上所述，本发明实施例提供的视频处理装置，视频处理设备在通过第一获取模块获取目标视频后，针对目标视频中的每个视频帧序列，通过第二获取模块获取相应的内插帧，通过插帧模块将获取到的内插帧插入相应的视频帧序列所包括的两个视频帧之间，并通过确定模块将插入有内插帧的目标视频确定为处理后的目标视频。由于是在目标视频的视频帧序列中插入内插帧得到处理后的目标视频的，因此该处理后的目标视频的视频帧数量较多，使得该处理后的目标视频在播放时，能够在单位时间内播放更多数量的视频帧，提高了目标视频的帧率，从而提高了目标视频的播放流畅度。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的视频处理装置的各个模块的具体工作过程，可以参考前述方法实施例中的对应过程，本发明实施例在此不再赘述。

本发明实施例提供了一种视频处理设备，包括：

处理器。

用于存储处理器的可执行指令的存储器。

其中，处理器运行可执行指令时，能够执行本发明实施例所述的视频处理方法。

本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在处理组件上运行时，使得处理组件执行本发明实施例所述的视频处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (6)

1.一种视频处理方法，其特征在于，所述方法包括：

获取目标视频，所述目标视频包括多个视频帧序列，每个所述视频帧序列包括时序上相邻的两个视频帧，所述两个视频帧包括第一视频帧和第二视频帧；

对于每个所述视频帧序列，获取所述视频帧序列所包括的两个视频帧的相似度；

当所述相似度处于所述目标相似度范围外时，将所述视频帧序列所包括的两个视频帧中的任意一个视频帧确定为所述视频帧序列对应的内插帧；

当所述相似度处于所述目标相似度范围内时，将所述第一视频帧分割为互不重叠的多个第一图像块，每个所述第一图像块包括多个像素；

对于每个所述第一图像块，在所述第二视频帧中确定与所述第一图像块相匹配的第二图像块，所述第二图像块与所述第一图像块的相似度大于目标相似度阈值；

对于每个所述第一图像块，将第一位置和第二位置之间的位移确定为所述第一图像块的运动矢量，所述第一位置为所述第一图像块在所述第一视频帧中的位置，所述第二位置为与所述第一图像块相匹配的所述第二图像块在所述第二视频帧中的位置；

将所述第一视频帧中的所有所述第一图像块的运动矢量确定为所述视频帧序列对应的运动信息；

从所述多个第一图像块的所述运动矢量中获取至少一个目标运动矢量，所述目标运动矢量的模大于目标矢量模阈值；

根据所述至少一个目标运动矢量的模确定所述视频帧序列对应的内插帧的个数；

对于每个所述第一图像块，获取所述第一图像块的残差数据，所述残差数据为与所述第一图像块相匹配的所述第二图像块的像素数据与所述第一图像块的像素数据的差值；

根据所述视频帧序列对应的内插帧的个数、所述多个第一图像块的运动矢量和所述多个第一图像块的残差数据生成所述视频帧序列对应的内插帧，所述运动信息用于表征所述视频帧序列所包括的两个视频帧中相同物体的位置变化；

对于每个所述视频帧序列，将所述视频帧序列对应的所述内插帧插入所述视频帧序列所包括的两个视频帧之间；

将插入有所述内插帧的所述目标视频确定为处理后的目标视频。

2.根据权利要求1所述的方法，其特征在于，所述根据所述视频帧序列对应的内插帧的个数、所述多个第一图像块的运动矢量和所述多个第一图像块的残差数据生成所述视频帧序列对应的内插帧，包括：

对于每个所述第一图像块，将所述第一图像块的运动矢量进行分解，得到所述第一图像块的n+1个运动分矢量，所述n表示所述内插帧的个数，所述n为正整数；

对于每个所述第一图像块，将所述第一图像块的残差数据进行分解，得到所述第一图像块的n+1个残差分数据；

对于每个所述第一图像块，根据所述第一图像块的像素数据以及所述第一图像块的n+1个残差分数据中前i个残差分数据，获取所述第一图像块对应的等效图像块，1≤i≤n，所述i为正整数；

对于每个所述第一图像块，根据所述第一位置以及所述第一图像块的n+1个运动分矢量中前i个运动分矢量，获取所述第一图像块对应的第三位置，所述第三位置为所述等效图像块在所述视频帧序列对应的内插帧中的第i个内插帧中的位置；

根据所述多个第一图像块对应的等效图像块以及所述多个第一图像块对应的第三位置生成所述第i个内插帧。

3.根据权利要求1所述的方法，其特征在于，所述根据所述视频帧序列对应的内插帧的个数、所述多个第一图像块的运动矢量和所述多个第一图像块的残差数据生成所述视频帧序列对应的内插帧，包括：

根据所述视频帧序列对应的内插帧的个数确定处理组件的时钟频率；

控制所述处理组件在所述时钟频率下，根据所述视频帧序列对应的内插帧的个数、所述多个第一图像块的运动矢量和所述多个第一图像块的残差数据生成所述视频帧序列对应的内插帧。

4.一种视频处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标视频，所述目标视频包括多个视频帧序列，每个所述视频帧序列包括时序上相邻的两个视频帧，所述两个视频帧包括第一视频帧和第二视频帧；

第二获取模块，用于对于每个所述视频帧序列，获取所述视频帧序列所包括的两个视频帧的相似度；

当所述相似度处于所述目标相似度范围外时，将所述视频帧序列所包括的两个视频帧中的任意一个视频帧确定为所述视频帧序列对应的内插帧；

当所述相似度处于所述目标相似度范围内时，将所述第一视频帧分割为互不重叠的多个第一图像块，每个所述第一图像块包括多个像素；

对于每个所述第一图像块，在所述第二视频帧中确定与所述第一图像块相匹配的第二图像块，所述第二图像块与所述第一图像块的相似度大于目标相似度阈值；

对于每个所述第一图像块，将第一位置和第二位置之间的位移确定为所述第一图像块的运动矢量，所述第一位置为所述第一图像块在所述第一视频帧中的位置，所述第二位置为与所述第一图像块相匹配的所述第二图像块在所述第二视频帧中的位置；

将所述第一视频帧中的所有所述第一图像块的运动矢量确定为所述视频帧序列对应的运动信息；

从所述多个第一图像块的所述运动矢量中获取至少一个目标运动矢量，所述目标运动矢量的模大于目标矢量模阈值；

根据所述至少一个目标运动矢量的模确定所述视频帧序列对应的内插帧的个数；

对于每个所述第一图像块，获取所述第一图像块的残差数据，所述残差数据为与所述第一图像块相匹配的所述第二图像块的像素数据与所述第一图像块的像素数据的差值；

根据所述视频帧序列对应的内插帧的个数、所述多个第一图像块的运动矢量和所述多个第一图像块的残差数据生成所述视频帧序列对应的内插帧，所述运动信息用于表征所述视频帧序列所包括的两个视频帧中相同物体的位置变化；

插帧模块，用于对于每个所述视频帧序列，将所述视频帧序列对应的所述内插帧插入所述视频帧序列所包括的两个视频帧之间；

确定模块，用于将插入有所述内插帧的所述目标视频确定为处理后的目标视频。

5.一种视频处理设备，其特征在于，包括：

处理器；

用于存储所述处理器的可执行指令的存储器；

其中，所述处理器运行所述可执行指令时，能够执行权利要求1至3任一所述的视频处理方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在处理组件上运行时，使得所述处理组件执行权利要求1至3任一所述的视频处理方法。

Images