CN111641829B - 视频处理方法及装置、系统、存储介质和电子设备 - Google Patents

Abstract

本公开提供了一种视频处理方法、视频处理装置、视频处理系统、计算机可读存储介质和电子设备，涉及视频处理技术领域。该视频处理方法包括：获取待处理视频，确定待处理视频中待进行插帧的原始视频帧序列；确定原始视频帧序列中预设两个原始视频帧的前景对象的变化程度；根据两个原始视频帧的前景对象的变化程度，确定两个原始视频帧之间待进行插帧的可选时间相位；基于两个原始视频帧之间待进行插帧的可选时间相位，在两个原始视频帧之间进行插帧，生成处理后的视频。本公开可以对视频固有内容进行修改。

Description

视频处理方法及装置、系统、存储介质和电子设备

技术领域

本公开涉及视频处理技术领域，具体而言，涉及一种视频处理方法、视频处理装置、视频处理系统、计算机可读存储介质和电子设备。

背景技术

随着视频技术以及互联网技术的发展，人们在个人计算机、手机、平板等电子设备上观看视频已经成为一种普遍的现象，各类视频的数量正在飞速增长。

目前，对视频进行修改的方式包括添加特效、添加文本等，这些修改方式无法改变视频本身已存在的内容，而例如视频剪裁的方式可能会丢失视频信息。

发明内容

本公开提供一种视频处理方法、视频处理装置、视频处理系统、计算机可读存储介质和电子设备，进而至少在一定程度上克服视频修改方式单一且效果不佳的问题。

根据本公开的第一方面，提供了一种视频处理方法，包括：获取待处理视频，确定待处理视频中待进行插帧的原始视频帧序列；确定原始视频帧序列中预设两个原始视频帧的前景对象的变化程度；根据两个原始视频帧的前景对象的变化程度，确定两个原始视频帧之间待进行插帧的可选时间相位；基于两个原始视频帧之间待进行插帧的可选时间相位，在两个原始视频帧之间进行插帧，生成处理后的视频。

根据本公开的第二方面，提供了一种视频处理装置，包括：视频获取模块，用于获取待处理视频，确定待处理视频中待进行插帧的原始视频帧序列；对象变化程度确定模块，用于确定原始视频帧序列中预设两个原始视频帧的前景对象的变化程度；相位确定模块，用于根据两个原始视频帧的前景对象的变化程度，确定两个原始视频帧之间待进行插帧的可选时间相位；插帧处理模块，用于基于两个原始视频帧之间待进行插帧的可选时间相位，在两个原始视频帧之间进行插帧，生成处理后的视频。

根据本公开的第三方面，提供了一种视频处理系统，包括：视频抽取器，用于获取待处理视频，从待处理视频中抽取待进行插帧的原始视频帧序列；视频生成器，用于确定原始视频帧序列中预设两个原始视频帧的前景对象的变化程度，根据两个原始视频帧的前景对象的变化程度，确定两个原始视频帧之间待进行插帧的可选时间相位，并基于两个原始视频帧之间待进行插帧的可选时间相位，在两个原始视频帧之间进行插帧，得到插帧的结果；视频融合器，用于获取两个原始视频帧在待处理视频中的位置，将插帧的结果融合至位置，生成处理后的视频。

根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的视频处理方法。

根据本公开的第五方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的视频处理方法。

在本公开的一些实施例所提供的技术方案中，从待处理视频中确定待进行插帧的原始视频帧序列，确定原始视频帧序列中两个原始视频帧的前景对象的变化程度，根据变化程度确定出待进行插帧的可选时间相位，并结合待进行插帧的帧数量在两个原始视频帧之间进行插帧，利用插帧的结果生成处理后的视频。一方面，本公开通过插帧的方式，可以使视频本身固有的内容发生变化，达到修改视频内容的目的；另一方面，进行插帧的原始视频帧包含前景对象，在修改后的视频中，可以产生前景对象逐渐变化的视觉效果；再一方面，基于前景对象的变化程度确定待进行插帧的可选时间相位，因此，可以在前景对象变化剧烈的情况下，多配置插帧图像，以便用户能够充分感知视频内容。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的视频处理方案的示例性系统架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的结构示意图；

图3示意性示出了根据本公开的示例性实施方式的视频处理方法的流程图；

图4示出了根据本公开实施例的进行视频帧抽取而得到的原始视频帧序列的示意图；

图5示出了根据本公开的示例性实施方式的一种相邻原始视频帧的前景对象变化的示意图；

图6示出了与图5对应的进行插帧后前景对象的变化示意图；

图7示出了根据本公开的示例性实施方式的另一种相邻原始视频帧的前景对象变化的示意图；

图8示出了与图7对应的进行插帧后全景对象的变化示意图；

图9示出了本公开示例性实施例中一种基于运动估计确定运动矢量的示意图；

图10示出了本公开示例性实施例中一种对修正后的运动矢量的示意图；

图11示出了本公开示例性实施例中一种基于运动补偿进行插帧的示意图；

图12示出了本公开一个实施例的进行插帧后的视频片段的示意图；

图13示意性示出了根据本公开的示例性实施方式的一种带有视频抽取及视频融合功能的视频处理架构图；

图14示意性示出了根据本公开的示例性实施方式的视频处理装置的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”仅是为了区分的目的，不应作为本公开内容的限制。

图1示出了可以应用本公开实施例的视频处理方案的示例性系统架构的示意图。

如图1所示，系统架构1000可以包括终端设备1001、1002、1003中的一种或多种，网络1004和服务器1005。网络1004用以在终端设备1001、1002、1003和服务器1005之间提供通信链路的介质。网络1004可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器1005可以是多个服务器组成的服务器集群等。

用户可以使用终端设备1001、1002、1003通过网络1004与服务器1005交互，以接收或发送消息等。终端设备1001、1002、1003可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。另外，服务器1005可以是提供各种服务的服务器。

在基于服务器1005实现本公开视频处理方案的实施例中，首先，服务器1005可以获取由终端设备1001、1002、1003发送的视频，作为待处理视频，并确定待处理视频中待进行插帧的原始视频帧序列；接下来，服务器1005可以确定原始视频帧序列中相邻两个原始视频帧的前景对象的变化程度，并根据该变化程度，确定相邻两个原始视频帧之间待进行插帧的可选时间相位；随后，服务器1005可以获取相邻两个原始视频帧之间待进行插帧的帧数量，基于获取的帧数量以及可选时间相位，在相邻两个原始视频帧之间进行插帧，并利用插帧的结果生成与待处理视频对应的处理后的视频。另外，服务器1005还可以将处理后的视频反馈给终端设备1001、1002、1003，进行播放或保存。

在基于终端设备1001、1002、1003实现本公开视频处理方案的实施例中，终端设备1001、1002、1003可以确定待处理视频中待进行插帧的原始视频帧序列，根据原始视频帧序列中相邻两个原始视频帧的前景对象的变化程度确定待进行插帧的可选时间相位，利用获取到的待进行插帧的帧数量以及可选时间相位，在相邻两个原始视频帧之间进行插帧，并利用插帧的结果生成与待处理视频对应的处理后的视频。

此外，本公开视频处理方案的实现过程还可以由终端设备1001、1002、1003和服务器1005共同实现。例如，终端设备1001、1002、1003可以获取待处理视频，并确定待处理视频中待进行插帧的原始视频帧序列，并将原始视频帧序列发送给服务器1005。服务器1005可以确定原始视频帧序列中相邻两个原始视频帧的前景对象的变化程度，并根据该变化程度确定待进行插帧的可选时间相位，在获取待进行插帧的帧数量后，服务器1005可以在相邻两个原始视频帧之间进行插帧，并生成插帧后的视频。

虽然下面的描述以终端设备1001、1002、1003执行本公开视频处理过程为例进行说明，然而，如上所说明的，本公开对实现视频处理各步骤的设备类型不做限制。

此外，本公开的视频处理方案应用广泛，例如，可以应用于电视、电影的后期制作过程，也可以应用于视频编辑、视频制作的过程。

图2示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开所述的终端设备可以被配置为如图2所示的形式。需要说明的是，图2示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的视频处理方法。

具体的，如图2所示，电子设备200可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule，SIM)卡接口295等。其中传感器模块280可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。

USB接口230是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口230可以用于连接充电器为电子设备200充电，也可以用于电子设备200与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。

电子设备200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。

移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块260可以提供应用在电子设备200上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案。

电子设备200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

电子设备200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或N个摄像模组291，N为大于1的正整数，若电子设备200包括N个摄像头，N个摄像头中有一个是主摄像头。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。

电子设备200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。

扬声器271，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备200可以通过扬声器271收听音乐，或收听免提通话。受话器272，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时，可以通过将受话器272靠近人耳接听语音。麦克风273，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风273发声，将声音信号输入到麦克风273。电子设备200可以设置至少一个麦克风273。耳机接口274用于连接有线耳机。

针对电子设备200中传感器模块280可以包括的传感器，深度传感器用于获取景物的深度信息。压力传感器用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器可以用于确定电子设备200的运动姿态。气压传感器用于测量气压。磁传感器包括霍尔传感器。电子设备200可以利用磁传感器检测翻盖皮套的开合。加速度传感器可检测电子设备200在各个方向上(一般为三轴)加速度的大小。距离传感器用于测量距离。接近光传感器可以包括例如发光二极管(LED)和光检测器，例如光电二极管。指纹传感器用于采集指纹。温度传感器用于检测温度。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏290提供与触摸操作相关的视觉输出。环境光传感器用于感知环境光亮度。骨传导传感器可以获取振动信号。

按键294包括开机键，音量键等。按键294可以是机械按键。也可以是触摸式按键。马达293可以产生振动提示。马达293可以用于来电振动提示，也可以用于触摸振动反馈。指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口295用于连接SIM卡。电子设备200通过SIM卡和网络交互，实现通话以及数据通信等功能。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

图3示意性示出了本公开的示例性实施方式的视频处理方法的流程图。参考图3，所述视频处理方法可以包括以下步骤：

S32.获取待处理视频，确定待处理视频中待进行插帧的原始视频帧序列。

在本公开的示例性实施方式中，待处理视频可以是终端设备通过其摄像模组拍摄而得到的视频，也可以是从网络上下载的或由其他设备发送的视频，本公开对待处理视频的来源、大小以及视频内容的类型均不作限制。另外，还可以响应用户的视频选择操作，从包括多个视频的视频集合中确定出本公开所述的待处理视频。

根据本公开的一些实施例，在获取到待处理视频后，终端设备可以将待处理视频中的每一帧作为执行本公开方案的原始视频帧，也就是说，确定出的原始视频帧序列即是获取到的待处理视频本身。

根据本公开的另一些实施例，终端设备还可以对待处理视频进行视频帧提取，以得到本公开方案所述的原始视频帧，并将提取出的原始视频帧配置为原始视频帧序列。应当理解的是，原始视频帧序列中至少包括两个原始视频帧。另外，可以根据提取出原始视频帧在待处理视频中的位置(即，时间先后顺序)，配置原始视频帧序列。

针对提取视频帧的方式，首先，终端设备可以从待处理视频中提取包含前景对象的视频片段。其中，前景对象是相对于视频中背景而言，在不同视频帧中发生变化的对象，例如，视频中滚动的小球。而背景可以被理解为视频中几乎不发生变化的区域。

另外，提取视频帧时针对的前景对象可以由用户进行选择，例如，通过图像识别技术对视频中各对象进行识别，并将识别的结果反馈给用户，用户可以选择其中的一个或多个对象，作为提取视频帧时所依据的前景对象。

接下来，终端设备可以从包含该前景对象的视频片段中确定出待进行插帧的原始视频帧。

在本公开的一个实施例中，终端设备可以从包含该前景对象的视频片段中，提取该前景对象满足运动属性要求的视频帧，并利用该前景对象满足运动属性要求的视频帧生成原始视频帧序列。其中，运动属性要求指代在运动属性上满足预设要求，其可以由用户配置。

仍以小球为例，运动属性要求可以是小球位于地面。在这种情况下，就避免提取到小球处于空中的视频帧。又或者，运动属性要求可以是小球处于空中。这些仅是示例，本公开对运动属性要求不做限制。

在本公开的另一个实施例中，包含前景对象的视频片段可以包括第一视频片段和第二视频片段，在这种情况下，终端设备可以从第一视频片段中提取至少一个视频帧，并从第二视频片段中提取至少一个视频帧，并利用从第一视频片段中提取到的至少一个视频帧以及从第二视频片段中提取到的至少一个视频帧，生成原始视频帧序列。在这种实施例中，对原始视频帧序列中第一视频片段所提取的视频帧与第二视频片段所提取的视频帧的数量以及先后布置顺序不做限制。

例如，从第一视频片段中提取视频帧A和视频帧B，从第二视频片段中提取视频帧C，可以将原始视频帧序列配置为：视频帧A、视频帧C、视频帧B。也可以将原始视频帧序列配置为：视频帧C、视频帧A、视频帧B。

另外，从第一视频片段中提取到的至少一个视频帧包含的前景对象可以具有第一运动属性，从第二视频片段中提取到的至少一个视频帧包含的前景对象可以具有第二运动属性，其中，第一运动属性与第二运动属性不同。仍以视频中包含的小球为例，第一运动属性可以是小球处于地面上，第二运动属性可以是小球处于空中。

需要说明的是，在视频片段中视频帧进行组合以得到原始视频帧序列的实施例中，待处理视频中包含前景对象的视频片段还可以包括第三视频片段、第四视频片段、第五视频片段等，本领域技术人员可以通过上述描述联想到其他配置方式，然而，这些均属于本公开内容的保护范围。

在上面的实施例中，通过提取视频片段再提取视频片段中的视频帧来生成原始视频帧序列，这样分步进行处理可以优化系统计算资源配置。然而，在本公开的另一些实施例中，还可以直接基于前景对象的运动属性从待处理视频中直接提取出视频帧，以生成本公开所述的原始视频帧序列。

图4示出了根据本公开实施例的进行视频帧抽取而得到的原始视频帧序列的示意图。参考图4，原始视频帧序列中可以包括原始视频帧1、原始视频帧2、原始视频帧3和原始视频帧4。可以看出，原始视频帧1、原始视频帧2、原始视频帧3和原始视频帧4相邻的两两之间的时间间隔可以存在差异，如，原始视频帧1与原始视频帧2之间的时间间隔小于原始视频帧2与原始视频帧3之间的时间间隔。另外，应当理解的是，图4仅是示例性的描述，原始视频帧序列中还可以包括其他提取出的原始视频帧。

S34.确定原始视频帧序列中预设两个原始视频帧的前景对象的变化程度。

在下面的描述中，以预设两个原始视频帧表示原始视频帧序列中相邻的两个原始视频帧为例进行说明。然而，应当理解的是，预设两个原始视频帧还可以是原始视频帧序列中任意两个原始视频帧或由用户指定的两个原始视频帧。另外，下面的描述中，除特殊说明，否则术语“两个视频帧”均指的是预设两个原始视频帧。

在本公开的示例性实施方式中，前景对象的变化可以包括但不限于移动、放大、缩小等，本公开对此不做限制。而前景对象的变化程度可以指的是前景对象的移动距离、移动方向、放大或缩小的倍数等。具体的，可以分别对相邻的两个原始视频帧的前景对象进行识别，以确定变化程度。

另外，应当理解的是，原始视频帧序列中可以包括一个或多个相邻的两个原始视频帧，可以看出，如果原始视频帧序列包括m个视频帧，则原始视频帧存在m-1个时间间隔，也就是说，可以分别对m-1个时间间隔执行插帧处理。

S36.根据两个原始视频帧的前景对象的变化程度，确定两个原始视频帧之间待进行插帧的可选时间相位。

在本公开的示例性实施方式中，可选时间相位指的是两个原始视频帧之间能够允许插入视频帧的时间相位。

通常，可选时间相位与前景对象的变化程度正相关。

首先，终端设备可以根据两个原始视频帧的前景对象的变化程度，确定两个原始视频帧之间待进行插帧的最大可插帧数量。其中，可以预先构建前景对象变化程度与最大可插帧数量的映射关系，并将该映射关系存储于终端设备，以便在确定出前景对象的变化程度时，可以利用该映射关系得到该两个原始视频帧之间待进行插帧的最大可插帧数量。

随后，可以获取该两个原始视频帧之间的时间间隔。例如，可以计算两个原始视频帧在待处理视频中的时间相位的差，以得到该时间间隔。

接下来，可以按该最大可插帧数量，对时间间隔进行等相位划分，以确定出该两个原始视频帧之间待进行插帧的可选时间相位。例如，可以得到298个时间相位，且时间相位之间的时间间隔相等。

另外，根据前景对象的变化程度配置间距可变的时间相位也属于本公开内容的构思。

S38.基于两个原始视频帧之间待进行插帧的可选时间相位，在两个原始视频帧之间进行插帧，生成处理后的视频。

首先，可以获取两个原始视频帧之间待进行插帧的帧数量。

在本公开的示例性实施方式中，两个原始视频帧之间待进行插帧的帧数量指的是实际进行插帧的帧数量，也就是实际要插入新的视频帧的数量。

在一些实施例中，两个原始视频帧之间待进行插帧的帧数量可以由用户根据需求自行设定。在另一些实施例中，终端设备可以将该帧数量确定为在步骤S36中得到的可选时间相位的数量。

如果获取到的帧数量与两个原始视频帧之间待进行插帧的最大可插帧数量相同，则针对可选时间相位中的每一个时间相位均进行插帧操作。例如，步骤S36中得到298个可选时间相位，那么每个相位插值一帧，如果加上两个原始视频帧，则此处即得到300帧的图像。在人眼可以接收的范围内，可以在10s将这300帧播放完毕，每帧播放的时间间隔为33ms。

如果获取到的帧数量小于两个原始视频帧之间待进行插帧的最大可插帧数量，则可以根据插帧规则在两个原始视频帧之间进行插帧。其中，插帧规则可以包括从可选时间相位中筛选出数量与获取到的帧数量相同的目标时间相位，并基于该目标时间相位进行插帧。

具体的，可以由用户人为筛选出目标时间相位，例如，步骤S36中得到298个可选时间相位，获取到的帧数量为118，则可以将298个可选时间相位中前118个作为待插帧的时间相位，加上两个原始视频帧，可输出120个视频帧，可以在4s将这120帧播放完毕，每帧播放的时间间隔为33ms。

应当理解的是，上述的配置方式仅是实例，用户可以自行确定出目标时间相位。在非等间隔配置插帧的实施例中，可以在输出的视频中构造出前景对象变化程度快慢不均的效果。

另外，针对获取到的帧数量小于两个原始视频帧之间待进行插帧的最大可插帧数量的情况，在另一些实施例中，可以针对目标时间相位进行插帧操作，对于可选时间相位中除目标时间相位之外的非目标时间相位而言，可以复制距该非目标时间相位最近的视频帧，并将复制的视频帧配置于非目标时间相位。其中，复制的视频帧可以是两个原始视频帧其中之一，也可以是新插入的视频帧。

仍以上面的例子进行说明，步骤S36中得到298个可选时间相位，获取到的帧数量为118，则可以将298个可选时间相位中前118个作为待插帧的时间相位，也就是作为目标时间相位。对于可选时间相位的后180个非目标时间相位而言，可以复制第118个新插入的视频帧或距这180非目标时间相位最近的原始视频帧。由此，由于存在重复帧，也可以实现前景对象变化程度快慢不均的效果。

此外，还可以将目标时间相位配置为两两之间时间间隔不完全一致的情况，也均属于本公开内容的保护范围。

图5示出了一种两个原始视频帧的前景对象变化的示意图。参考图5，这两个原始视频帧可以记为第一原始视频帧51和第二原始视频帧52。相比于第一原始视频帧51，第二原始视频帧52中的前景对象向右移动了一段距离。在这种情况下，可以利用本公开上述方案进行插帧处理，得到例如图6所示的前景对象变化过程。如视频60中插入了3个前景对象处于第一原始视频帧51的位置与第二原始视频帧52的位置之间的视频帧，以表征前景对象的移动过程。应当理解的是，图6仅是视频示例性的描述，不应作为本公开的限制。

图7示出了另一种两个原始视频帧的前景对象变化的示意图。参考图7，这两个原始视频帧可以记为第一原始视频帧71和第二原始视频帧72。相比于第一原始视频帧71，第二原始视频帧72中的前景对象更大，相当于对前景对象进行了放大。在这种情况下，可以利用本公开上述方案进行插帧处理，得到例如图8所示的前景对象大小的变化过程。如可以插入了2个前景对象的大小在第一原始视频帧71中的大小与第二原始视频帧72中的大小之间的视频帧，以表征前景对象的放大过程。应当理解的是，图8仅是视频示例性的描述，不应作为本公开的限制。

针对插帧的过程，本公开可以采用的方法包括但不限于MEMC(Motion Estimateand Motion Compensation，运动估计和运动补偿)、光流法、神经网络等FRC(Frame RateConversion，频率转换)方法。下面以MEMC为例进行说明。

在将两个原始视频帧记为第一原始视频帧和第二原始视频帧的情况下，首先，可以分别对第一原视频帧和第二原始视频帧进行图像分块操作，并确定第一原始视频帧中图像块相对于第二原始视频帧的运动矢量。参考图9，可以将第一原始视频帧中图像块相对于第二原始视频帧的运动矢量记为前向运动矢量。另外，还可以确定第二原始视频帧中图像块相对于第一原始视频帧的运动矢量，记为后向运动矢量。

另外，可以对前向运动矢量进行修正操作，其中，该修正操作包括滤波、加权等操作中的至少一种，以确定出每个图像块的前向运动矢量。针对利用后向运动矢量的实施例，过程类似，如图10所示。

接下来，可以根据第一原始视频帧中图像块相对于第二原始视频帧的运动矢量(即，前向运动矢量)，并基于第一原始视频帧与第二原始视频帧之间待进行插帧的时间相位，确定待生成的插帧图像中与该图像块对应的插帧块相对于第一原始视频帧和第二原始视频帧的映射运动矢量，如图11所示。针对后向运动矢量的过程类似。

随后，利用映射运动矢量在第一原始视频帧和第二原始视频帧中查找对应的图像块，并对查找出的图像块进行插值操作，进而生成插帧图像，并将该插帧图像配置于对应的时间相位。

与图4对应，一种进行插帧操作后的视频片段如图12所示。应当理解的是，图12仅是均匀插帧的实例，本公开还可以包括产生视觉上前景对象变化程度快慢不均效果的插帧结果，本公开对此不做限制。

此外，本公开还可以包括将插帧后的结果与原有视频进行融合，以得到新的视频并输出的方案。

具体的，首先，终端设备可以获取两个原始视频帧在待处理视频中的位置，其中，该位置指代该两个原始视频帧在待处理视频中的时间相位。接下来，可以将插帧的结果融合至该位置，应当理解的是，融合的过程通常指替换的过程。

图13示意性示出了根据本公开的示例性实施方式的一种带有视频抽取及视频融合功能的视频处理系统架构图。

参考图13，原始视频可以被输入至视频抽取器131，视频抽取器131可以获取待处理视频，并从待处理视频中抽取出待进行插帧的原始视频帧序列。视频抽取器131可以将原始视频帧序列输入至视频生成器132，视频生成器132利用上述视频处理方法实现对原始视频帧序列进行插帧的过程，并将插帧的结果输入视频融合器133，视频融合器133获取两个原始视频帧在待处理视频中的位置，将插帧的结果融合至该位置，生成处理后的视频。

例如，可以将前期视频没有变化且后期有前景变化的视频片段输入视频生成器132，视频生成器132可以对该视频片段的第一帧和最后一帧进行抽取，并执行插帧操作，形成一段前景对象迅速过渡的新视频片。该新视频片段的帧率与原视频片段的帧率一致，且该新视频片段的时长小于原视频片段。随后，可以将新视频片段替换原视频片段。

下面以视频中的小球作为前景对象为例对上述视频处理方法进行示例性说明。

首先，终端设备获取待处理视频，从待处理视频中提取包含小球的视频片段，并从这些视频片段中抽取小球处于地面的视频帧，利用这些视频帧生成原始视频帧序列。

接下来，针对原始视频帧序列中相邻两个原始视频帧，确定二者中小球的变化程度(如，移动的方向和距离)。根据小球的变化程度确定该相邻两个原始视频帧之间待进行插帧的可选时间相位，获取由用户确定出的插帧的帧数量，并基于可选时间相位以及帧数量，利用如MEMC的方法执行插帧操作。

然后，利用插帧的结果生成与待处理视频对象的处理后的视频。由此，可以得到视频中包括小球移动的效果。

此外，针对原始视频帧序列，如果提取出的视频片段包括第一视频片段和第二视频片段，第一视频片段中仅包括小球在地面上的视频，而第二视频片段中包括小球处于空中的视频帧。在这种情况下，可以利用上述视频处理方法，在生成原始视频帧序列时，针对第一视频片段的部分，可以插入第二视频片段中小球处于空中的视频帧。由此，在进行插帧后，可以在第一视频片段对应的时间内出现小球弹跳至空中的视频效果。

上面仅以小球为例对本公开方案进行示例性说明，应当理解的是，在利用本公开示例性实施方式的视频处理方法的基础上生成视频的方案，均应属于本公开的保护范围。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种视频处理装置。

图14示意性示出了本公开的示例性实施方式的视频处理装置的方框图。参考图14，根据本公开的示例性实施方式的视频处理装置14可以包括视频获取模块141、对象变化程度确定模块143、相位确定模块145和插帧处理模块147。

具体的，视频获取模块141可以用于获取待处理视频，确定待处理视频中待进行插帧的原始视频帧序列；对象变化程度确定模块143可以用于确定原始视频帧序列中预设两个原始视频帧的前景对象的变化程度；相位确定模块145可以用于根据两个原始视频帧的前景对象的变化程度，确定两个原始视频帧之间待进行插帧的可选时间相位；插帧处理模块147可以用于基于两个原始视频帧之间待进行插帧的可选时间相位，在两个原始视频帧之间进行插帧，生成处理后的视频。

根据本公开的示例性实施例，视频获取模块141确定待处理视频中待进行插帧的原始视频帧序列的过程可以被配置为执行：从待处理视频中提取包含前景对象的视频片段；从包含前景对象的视频片段中确定出待进行插帧的原始视频帧序列。

根据本公开的示例性实施例，视频获取模块141从包含前景对象的视频片段中确定出待进行插帧的原始视频帧序列的过程可以被配置为执行：从包含前景对象的视频片段中，提取前景对象满足运动属性要求的视频帧；利用前景对象满足运动属性要求的视频帧生成原始视频帧序列。

根据本公开的示例性实施例，待处理视频中包含前景对象的视频片段包括第一视频片段和第二视频片段。在这种情况下，视频获取模块141从包含前景对象的视频片段中确定出待进行插帧的原始视频帧序列的过程可以被配置为执行：从第一视频片段中提取至少一个视频帧；从第二视频片段中提取至少一个视频帧；利用从第一视频片段中提取到的至少一个视频帧以及从第二视频片段中提取到的至少一个视频帧，生成原始视频帧序列。

根据本公开的示例性实施例，从第一视频片段中提取到的至少一个视频帧包含的前景对象具有第一运动属性，从第二视频片段中提取到的至少一个视频帧包含的前景对象具有第二运动属性；其中，第一运动属性与第二运动属性不同。

根据本公开的示例性实施例，相位确定模块145可以被配置为执行：根据两个原始视频帧的前景对象的变化程度，确定两个原始视频帧之间待进行插帧的最大可插帧数量；获取两个原始视频帧之间的时间间隔；按最大可插帧数量，对两个原始视频帧之间的时间间隔进行等相位划分，以确定出两个原始视频帧之间待进行插帧的可选时间相位。

根据本公开的示例性实施例，插帧处理模块147可以被配置为执行：获取两个原始视频帧之间待进行插帧的帧数量；如果获取到的帧数量与两个原始视频帧之间待进行插帧的最大可插帧数量相同，则针对可选时间相位中的每一个时间相位均进行插帧操作；如果获取到的帧数量小于两个原始视频帧之间待进行插帧的最大可插帧数量，则根据插帧规则在两个原始视频帧之间进行插帧；其中，插帧规则包括从可选时间相位中筛选出数量与获取到的帧数量相同的目标时间相位，并基于目标时间相位进行插帧操作。

根据本公开的示例性实施例，插帧处理模块147基于目标时间相位进行插帧操作的过程可以被配置为执行：针对目标时间相位进行插帧操作；针对可选时间相位中除目标时间相位之外的非目标时间相位，复制距非目标时间相位最近的视频帧，并将复制的视频帧配置于非目标时间相位。

根据本公开的示例性实施例，两个原始视频帧包括第一原始视频帧和第二原始视频帧，在这种情况下，插帧处理模块147在相邻两个原始视频帧之间进行插帧的过程可以被配置为执行：分别对第一原始视频帧和第二原始视频帧进行图像分块操作，并确定第一原始视频帧中图像块相对于第二原始视频帧的运动矢量；根据第一原始视频帧中图像块相对于第二原始视频帧的运动矢量，并基于第一原始视频帧与第二原始视频帧之间待进行插帧的时间相位，确定待生成的插帧图像中与图像块对应的插值块相对于第一原始视频帧和第二原始视频帧的映射运动矢量；根据映射运动矢量分别在第一原始视频帧和第二原始视频帧中查找对应的图像块；对查找出的图像块进行插值操作，结合插值操作的结果生成插帧图像，并将插帧图像配置于对应的时间相位。

根据本公开的示例性实施例，插帧处理模块147利用插帧的结果生成与待处理视频对应的处理后的视频的过程可以被配置为执行：获取两个原始视频帧在待处理视频中的位置；将插帧的结果融合至位置。

由于本公开实施方式的视频处理装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (12)

1.一种视频处理方法，其特征在于，包括：

获取待处理视频，从所述待处理视频中提取包含前景对象的视频片段，从包含所述前景对象的视频片段中确定出待进行插帧的原始视频帧序列；

确定所述原始视频帧序列中预设两个原始视频帧的所述前景对象的变化程度；

根据所述两个原始视频帧的前景对象的变化程度，确定所述两个原始视频帧之间待进行插帧的最大可插帧数量，获取所述两个原始视频帧之间的时间间隔，按所述最大可插帧数量，对所述两个原始视频帧之间的时间间隔进行等相位划分，以确定出所述两个原始视频帧之间待进行插帧的可选时间相位；

基于所述两个原始视频帧之间待进行插帧的可选时间相位，在所述两个原始视频帧之间进行插帧，生成处理后的视频。

2.根据权利要求1所述的视频处理方法，其特征在于，从包含所述前景对象的视频片段中确定出待进行插帧的原始视频帧序列包括：

从包含所述前景对象的视频片段中，提取所述前景对象满足运动属性要求的视频帧；

利用所述前景对象满足运动属性要求的视频帧生成所述原始视频帧序列。

3.根据权利要求1所述的视频处理方法，其特征在于，所述待处理视频中所述前景对象的视频片段包括第一视频片段和第二视频片段；其中，从包含所述前景对象的视频片段中确定出待进行插帧的原始视频帧序列包括：

从所述第一视频片段中提取至少一个视频帧；

从所述第二视频片段中提取至少一个视频帧；

利用从所述第一视频片段中提取到的至少一个视频帧以及从所述第二视频片段中提取到的至少一个视频帧，生成所述原始视频帧序列。

4.根据权利要求3所述的视频处理方法，其特征在于，从所述第一视频片段中提取到的至少一个视频帧包含的所述前景对象具有第一运动属性，从所述第二视频片段中提取到的至少一个视频帧包含的所述前景对象具有第二运动属性；

其中，所述第一运动属性与第二运动属性不同。

5.根据权利要求1所述的视频处理方法，其特征在于，基于所述两个原始视频帧之间待进行插帧的可选时间相位，在所述两个原始视频帧之间进行插帧，包括：

获取所述两个原始视频帧之间待进行插帧的帧数量；

如果获取到的帧数量与所述两个原始视频帧之间待进行插帧的最大可插帧数量相同，则针对所述可选时间相位中的每一个时间相位均进行插帧操作；

如果获取到的帧数量小于所述两个原始视频帧之间待进行插帧的最大可插帧数量，则根据插帧规则在所述两个原始视频帧之间进行插帧；

其中，所述插帧规则包括从所述可选时间相位中筛选出数量与所述获取到的帧数量相同的目标时间相位，并基于所述目标时间相位进行插帧操作。

6.根据权利要求5所述的视频处理方法，其特征在于，基于所述目标时间相位进行插帧操作包括：

针对目标时间相位进行插帧操作；

针对所述可选时间相位中除所述目标时间相位之外的非目标时间相位，复制距所述非目标时间相位最近的视频帧，并将复制的视频帧配置于所述非目标时间相位。

7.根据权利要求1、5或6所述的视频处理方法，其特征在于，所述两个原始视频帧包括第一原始视频帧和第二原始视频帧：其中，在所述两个原始视频帧之间进行插帧，包括：

分别对所述第一原始视频帧和所述第二原始视频帧进行图像分块操作，并确定所述第一原始视频帧中图像块相对于所述第二原始视频帧的运动矢量；

根据所述第一原始视频帧中图像块相对于所述第二原始视频帧的运动矢量，并基于所述第一原始视频帧与所述第二原始视频帧之间待进行插帧的时间相位，确定待生成的插帧图像中与图像块对应的插值块相对于所述第一原始视频帧和所述第二原始视频帧的映射运动矢量；

根据所述映射运动矢量分别在所述第一原始视频帧和所述第二原始视频帧中查找对应的图像块；

对查找出的图像块进行插值操作，结合插值操作的结果生成所述插帧图像，并将所述插帧图像配置于对应的时间相位。

8.根据权利要求1所述的视频处理方法，其特征在于，生成处理后的视频包括：

获取所述两个原始视频帧在所述待处理视频中的位置；

将所述插帧的结果融合至所述位置。

9.一种视频处理装置，其特征在于，包括：

视频获取模块，用于获取待处理视频，从所述待处理视频中提取包含前景对象的视频片段，从包含所述前景对象的视频片段中确定出待进行插帧的原始视频帧序列；

对象变化程度确定模块，用于确定所述原始视频帧序列中预设两个原始视频帧的所述前景对象的变化程度；

相位确定模块，用于根据所述两个原始视频帧的前景对象的变化程度，确定所述两个原始视频帧之间待进行插帧的最大可插帧数量，获取所述两个原始视频帧之间的时间间隔，按所述最大可插帧数量，对所述两个原始视频帧之间的时间间隔进行等相位划分，以确定出所述两个原始视频帧之间待进行插帧的可选时间相位；

插帧处理模块，用于基于所述两个原始视频帧之间待进行插帧的可选时间相位，在所述两个原始视频帧之间进行插帧，生成处理后的视频。

10.一种视频处理系统，其特征在于，包括：

视频抽取器，用于获取待处理视频，从所述待处理视频中提取包含前景对象的视频片段，从包含所述前景对象的视频片段中确定出待进行插帧的原始视频帧序列；

视频生成器，用于确定所述原始视频帧序列中预设两个原始视频帧的所述前景对象的变化程度，根据所述两个原始视频帧的前景对象的变化程度，确定所述两个原始视频帧之间待进行插帧的最大可插帧数量，获取所述两个原始视频帧之间的时间间隔，按所述最大可插帧数量，对所述两个原始视频帧之间的时间间隔进行等相位划分，以确定出所述两个原始视频帧之间待进行插帧的可选时间相位，并基于所述两个原始视频帧之间待进行插帧的可选时间相位，在所述两个原始视频帧之间进行插帧，得到插帧的结果；

视频融合器，用于获取所述两个原始视频帧在所述待处理视频中的位置，将所述插帧的结果融合至所述位置，生成处理后的视频。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至8中任一项所述的视频处理方法。

12.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至8中任一项所述的视频处理方法。

Images