CN107948543A - 一种视频特效处理方法及装置 - Google Patents

Abstract

本发明公开一种视频特效处理方法及装置，应用视频处理技术领域，该方法包括：启动视频录制；在视频录制过程中对当前所采集的视频帧进行特效预览处理，生成录制时特效预览图像；在视频录制过程中，实时呈现录制时特效预览图像；对视频录制过程中采集的视频帧进行录制特效处理，生成特效视频帧，录制特效处理的精度大于所述特效预览处理的精度；在视频录制过程结束后，获得特效视频帧组成的特效视频文件。通过本发明实现了特效视频录制过程中向用户展示特效预览图像不卡顿，而录制而成的特效视频文件又保持有良好的特效效果。

Description

一种视频特效处理方法及装置

技术领域

本发明涉及视频处理技术领域，尤其涉及一种视频特效处理方法及装置。

背景技术

抠像技术，简单地说就是把图像中某个部分选取出来，然后再与其它图像内容进行合成的技术。具体而言，抠像技术分为图片抠像和视频抠像，视频抠像可以实现对原始视频和特效的合成，从而形成具有特效的新视频。

抠像技术可以应用到视频录制中，用于录制特效视频，录制特效视频的过程中包含特效视频文件生成和实时的特效预览两方面，特效视频文件为最终保存下来的用于进行播放和分享的文件，为了获得更高效果好的特效视频文件，就需要使用高精度的特效处理技术，高精度的特效处理技术就需要大量的神经网络计算，而特效预览又需要在特效视频的录制过程中实时向用户展示。目前的抠像技术应用到硬件配置较低的设备中，比如：移动终端，就会造成在特效视频录制过程中向用户展示的特效预览图像卡顿，比如，在移动终端的CPU主频为1.5GHZ情况下，单个视频帧进行抠像处理的处理时间就需要200～800毫秒，显然会导致特效视频录制过程中向用户展示的特效预览图像卡顿。

发明内容

本发明实施例通过提供一种视频处理方法及装置，解决了特效视频录制过程中向用户展示的特效预览图像卡顿的技术问题。

第一方面，本发明实施例提供一种视频特效处理方法，其特征在于，包括：

启动视频录制；

在视频录制过程中对当前所采集的视频帧进行特效预览处理，生成录制时特效预览图像；

在所述视频录制过程中，实时呈现所述录制时特效预览图像；

对所述视频录制过程中采集的视频帧进行录制特效处理，生成特效视频帧，其中，所述录制特效处理的精度大于所述特效预览处理的精度；

在视频录制过程结束后，获得所述特效视频帧组成的特效视频文件。

结合第一方面，在第一方面的第一种可能的实现方式中，在启动视频录制之前，所述方法还包括：

将启动视频录制之前采集的视频帧经过所述特效预览处理，生成录制前特效预览图像；

在启动视频录制之前，实时显示所述录制前特效预览图像。

结合第一方面，在第一方面的第二种可能的实现方式中，所述对所述视频录制过程中采集的视频帧进行录制特效处理，生成特效视频帧，包括：

在视频录制过程结束后，对所述视频录制过程中采集的各视频帧分别进行录制特效处理生成特效视频帧。

结合第一方面的第二种可能的实现方式，在第一方面的第三可能的实现方式中，所述在视频录制过程结束后，对所述视频录制过程中采集的视频帧分别进行录制特效处理生成特效视频帧，包括：

在视频录制过程结束后，将所述视频录制过程中采集的视频帧编码保存为原始视频文件；

将所述原始视频文件中的视频帧进行录制抠像处理，生成所述原始视频文件中各视频帧的第一抠像内容；

所述原始视频文件中各视频帧的第一抠像内容与特效内容合成，生成所述原始视频文件中各视频帧对应的特效视频帧。

结合第一方面，在第一方面的第四种可能的实现方式中，所述对所述视频录制过程中采集的视频帧进行录制特效处理，生成特效视频帧，包括：

在所述视频录制过程中，根据视频帧采集顺序对所采集的视频帧进行录制特效处理，生成所述视频录制过程中采集的视频帧的特效视频帧。

结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述在所述视频录制过程中，根据视频帧采集顺序对所采集的视频帧进行录制特效处理，生成所述视频录制过程中采集的视频帧的特效视频帧，包括：

对当前所采集的视频帧进行录制抠像处理，生成当前所采集的视频帧对应的第二抠像内容；

将当前所采集的视频帧对应的第二抠像内容与特效内容合成，生成当前所采集的视频帧对应的特效视频帧；

采集下一视频帧，并返回对当前所采集的视频帧进行录制抠像处理的步骤，直至视频录制过程结束。

结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，所述对当前所采集的视频帧进行录制抠像处理，包括：

完成对当前所采集的视频帧的录制后，对录制后视频帧进行录制抠像处理；或者

直接对当前所采集的视频帧进行录制抠像处理。

结合第一方面的第五种可能的实现方式或者第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述在视频录制过程中对当前所采集的视频帧进行特效预览处理，生成录制时特效预览图像，包括：

将当前所采集的视频帧进行预览抠像处理，生成第三抠像内容，其中，同一视频帧的所述第三抠像内容与所述第一抠像内容为针对同一个抠像目标的不同精度的抠像结果，或者同一视频帧的所述第三抠像内容与所述第二抠像内容为针对同一个抠像目标的不同精度的抠像结果；

将所述第三抠像内容与所述特效内容合成为所述录制时特效预览图像；

采集下一视频帧，并返回将当前所采集的视频帧进行预览抠像处理的步骤，直至视频录制过程结束。

结合第一方面的第七种可能的实现方式，在第一方面的第八种可能的实现方式中，所述录制特效处理的精度大于所述特效预览处理的精度，具体为：所述录制抠像处理的精度大于所述预览抠像处理的精度。

结合第一方面至第一方面的第六种可能的实现方式，在第一方面的第九种可能的实现方式中，在获得所述特效视频帧组成的特效视频文件之后，还包括进行如下至少一种对所述特效视频文件的处理步骤：

存储所述特效视频文件至云端存储空间；

播放所述特效视频文件；

存储所述特效视频文件至本地；

分享所述特效视频文件至另一终端设备。

第二方面，本发明实施例提供一种相机，包括：摄像头、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述摄像头用于采集视频帧；所述处理器用于控制所述摄像头，并执行所述程序时实现第一方面至第一方面的第六种可能的实现方式中的任一种可能的实现方式中所述的步骤。

第三方面，本发明实施例提供一种移动终端，包括：摄像头、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述移动终端上安装有相机应用程序，所述摄像头用于在所述相机应用程序处于启动时采集视频帧，所述处理器用于控制所述摄像头，并执行所述程序时实现第一方面至第一方面的第六种可能的实现方式中的任一种可能的实现方式中所述的步骤。

第三方面，本发明实施例提供一种行车记录仪，包括：摄像头、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述摄像头用于采集视频帧，所述处理器用于控制所述摄像头，并执行所述程序时实现第一方面至第一方面的第六种可能的实现方式中的任一种可能的实现方式中所述的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面至第一方面的第六种可能的实现方式中的任一种可能的实现方式中所述的步骤。

第五方面，本发明实施例提供一种视频特效处理装置，包括：

启动模块，用于启动视频录制；

特效预览处理模块，用于在视频录制过程中对当前所采集的视频帧进行特效预览处理，生成录制时特效预览图像；

第一呈现模块，用于在所述视频录制过程中，实时呈现所述录制时特效预览图像；

录制特效处理模块，用于对所述视频录制过程中采集的视频帧进行录制特效处理，生成特效视频帧，其中，所述录制特效处理的精度大于所述特效预览处理的精度；

视频文件生成模块，用于在视频录制过程结束后，获得所述特效视频帧组成的特效视频文件。

结合第五方面，在第五方面的第一种可能的实现方式中，所述装置还包括：

录制前预览处理模块，用于将启动视频录制之前采集的视频帧经过所述特效预览处理，生成录制前特效预览图像；

第二呈现模块，用于在启动视频录制之前，实时显示所述录制前特效预览图像。

结合第五方面，在第五方面的第二种可能的实现方式中，所述录制特效处理模块，具体为：

第一特效处理单元，用于在视频录制过程结束后，对所述视频录制过程中采集的各视频帧分别进行录制特效处理生成特效视频帧。

结合第五方面的第二种可能的实现方式，在第五方面的第三可能的实现方式中，所述第一特效处理单元，包括：

编码保存子单元，用于在视频录制过程结束后，将所述视频录制过程中采集的视频帧编码保存为原始视频文件；

第一抠像子单元，用于将所述原始视频文件中的视频帧进行录制抠像处理，生成所述原始视频文件中各视频帧的第一抠像内容；

第一合成子单元，用于所述原始视频文件中各视频帧的第一抠像内容与特效内容合成，生成所述原始视频文件中各视频帧对应的特效视频帧。

结合第五方面，在第五方面的第四种可能的实现方式中，所述录制特效处理模块，具体为：

第二特效处理单元，用于在所述视频录制过程中，根据视频帧采集顺序对所采集的视频帧进行录制特效处理，生成所述视频录制过程中采集的视频帧的特效视频帧。

结合第五方面的第四种可能的实现方式，在第五方面的第五种可能的实现方式中，所述第二特效处理单元，包括：

第二抠像至单元，用于对当前所采集的视频帧进行录制抠像处理，生成当前所采集的视频帧对应的第二抠像内容；

第二合成子单元，用于将当前所采集的视频帧对应的第二抠像内容与特效内容合成，生成当前所采集的视频帧对应的特效视频帧；

采集子单元，用于采集下一视频帧，并返回对当前所采集的视频帧进行录制抠像处理的步骤，直至视频录制过程结束。

结合第五方面的第五种可能的实现方式，在第五方面的第六种可能的实现方式中，所述第二抠像至单元，具体用于：

完成对当前所采集的视频帧的录制后，对录制后视频帧进行录制抠像处理；或者

直接对当前所采集的视频帧进行录制抠像处理。

结合第五方面的第五种可能的实现方式或者第六种可能的实现方式，在第五方面的第七种可能的实现方式中，所述特效预览处理模块，包括：

抠像单元，用于将当前所采集的视频帧进行预览抠像处理，生成第三抠像内容，其中，同一视频帧的所述第三抠像内容与所述第一抠像内容为针对同一个抠像目标的不同精度的抠像结果，或者同一视频帧的所述第三抠像内容与所述第二抠像内容为针对同一个抠像目标的不同精度的抠像结果；

特效预览合成单元，用于将所述第三抠像内容与所述特效内容合成为所述录制时特效预览图像；

采集单元，用于采集下一视频帧，并返回将当前所采集的视频帧进行预览抠像处理的步骤，直至视频录制过程结束。

结合第五方面至第五方面的第六种可能的实现方式，在第五方面的第八种可能的实现方式中，所述装置还包括如下至少一种程序模块：

上传模块，用于上传所述特效视频文件至云端存储空间；

播放模块，用于播放所述特效视频文件；

存储模块存储所述特效视频文件至本地；

分享模块，用于分享所述特效视频文件至另一终端设备。

本发明实施例提供的一个或多个技术方案，至少实现了如下技术效果或者优点：

通过在视频录制过程中对视频录制过程中采集的视频帧进行特效预览处理，生成用于在视频录制过程中实时呈现的特效预览图像；还对视频录制过程中采集的视频帧进行录制特效处理生成特效视频文件，从而使特录制过程中的特效预览图像与最终保存下来的特效视频文件中的特效处理分离，使得能够针对特效预览图像和特效视频文件中的特效使用不同精度的特效处理方式，由于录制特效处理的精度大于特效预览处理的精度，保证了在视频录制过程中的特效预览图像的快速处理而不会卡顿，而特效视频文件的中的特效精度较高，进而实现了特效视频录制过程中向用户展示特效预览图像不卡顿，而录制而成的特效视频文件又保持有良好的特效效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例中视频特效处理方法的流程图；

图2为本发明实施例中视频特效处理方法的场景示意图；

图3为本发明实施例中移动终端的结构示意图；

图4为本发明实施例中相机的结构示意图；

图5为本发明实施例中行车记录仪的结构示意图；

图6为本发明实施例中视频特效处理装置的程序模块图。

具体实施方式

鉴于现有技术存在特效视频录制过程中向用户展示特效预览图像卡顿的技术问题，本发明实施例提供一种视频特效处理方法及装置，总体思路如下：

通过在视频录制过程中对视频录制过程中采集的视频帧进行特效预览处理，生成用于在视频录制过程中实时呈现的特效预览图像；还对视频录制过程中采集的视频帧进行录制特效处理生成特效视频文件，从而使特录制过程中的特效预览图像与最终保存下来的特效视频文件中的特效处理分离，使用录制特效处理的精度大于特效预览处理的精度。

通过上述技术方案，保证了在视频录制过程中的特效预览图像的快速处理而不会卡顿，而特效视频文件的中的特效精度较高，进而实现了特效视频录制过程中向用户展示特效预览图像不卡顿，而录制而成的特效视频文件又保持有良好的特效效果。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的说明书和权利要求书中的“第一”、“第二”用于区别类似的对象，而不必用于描述特定的顺序或者先后次序，应该理解这样的数据在适当的情况下可以互换，以便这里描述的实施例能够以除了这里图示或者描述的那些以外的顺序实施。

参考图1所示，图1为本发明视频特效处理方法的流程图，本发明实施例提供的视频特效处理方法可以由视频特效处理装置来执行，该视频特效处理装置可以与摄像头集成于同一主体设备，比如，集成于数码摄相机、行车记录仪、网络摄像设备或者移动终端上，当然，该视频特效处理装置也可以独立设置。

摄像头用于对着目标物体采集视频帧，摄像头的采集范围内的图像通过摄像头生成光学图像，生成的光学图像投射到图像传感器表面上，然后转为电信号，经过A/D(模数转换)转换后变为数字图像信号，即形成本发明中的视频帧。

该视频特效处理装置通过硬件和/或软件的方式实现，接收来自于摄像头的数字图像信号，基于来自摄像头的数值图像信号执行本实施例中的视频特效处理方法。

如果该视频特效处理装置以软件的方式实现，可以为带有摄像头、存储器和处理器的主体设备上安装的摄像应用程序，比如，安装于移动终端上的相机APP。由摄像应用程序调用摄像头采集图像，形成视频帧。摄像应用程序中植入有两个进行视频特效处理的模块，一个为用于对视频帧处理为特效预览图像的小模型程序模块，另一个为用于对视频帧处理为特效视频文件中的特效视频帧的大模型程序模块。

下面结合图1，对本实施例提供的应用于视频特效处理装置的视频特效处理方法进行详细描述，包括如下步骤：

步骤S101、启动视频录制。

通过启动视频录制的指令启动视频录制。

具体的，在获取到满足设定条件的信号时生成启动视频录制的指令。在具体实施过程中，可以有多种实施方式显示通过启动视频录制的指令启动视频录制，下面给出如下多种实施方式，但是，也不限于如下举例：

方式一、启动视频录制的指令可以基于用户的启动操作生成，检测到用户的启动操作时，生成启动视频录制的指令。比如，检测到在主体设备上的触控显示单元上进行的针对启停录制虚拟控件的触控操作时，生成启动视频录制的指令，则启动视频录制。

方式二、可以设置有启动视频录制的起始时间，在当前时间到达设置的起始时间时，生成启动视频录制的指令。

方式三、对摄像头采集的视频帧进行检测，如果检测到当前采集的视频帧中存在预设目标，启动视频录制。需要说明的是，预设目标可以为预先设置的用户面部图像，对摄像头当前采集的视频帧进行检测，如果从摄像头当前采集的视频帧中检测到与预先设置的用户面部图像相同，则启动视频录制。也可以如果从摄像头当前采集的视频帧中检测到任一面部图像，则启动视频录制。

在启动视频录制之后，可以按顺序执行如下步骤S102～S105，从而实现先进行实时特效预览的特效处理，再进行特效视频文件中视频帧的特效处理。也可以步骤S102～S103与步骤S104～S105为独立执行的步骤分支，从而实现实时特效预览的特效处理与特效视频文件中视频帧的特效处理能够同时处理。

下面继续参考图1，对步骤S102～S103中的每个步骤的实现过程进行详细描述：

步骤S102、在视频录制过程中，对当前所采集的视频帧进行特效预览处理，生成录制时特效预览图像。

需要说明的是，步骤S102为在视频录制过程中持续执行的动作，对摄像头持续采集的视频帧，进行实时的特效预览处理。

为了实现在视频录制过程中的实时特效预览不卡顿，可以通过调用小模型特效处理模块对当前所采集的视频帧进行特效预览处理。

需要说明的是，小模型特效处理模块进行的特效预览处理为通过省略一些边缘、细节的处理来降低了特效预览处理的精度，从而减少了特效预览处理时的计算开销，能够针对当前所采集的视频帧实时的生成录制时特效预览图像。

在一实施方式中，可以通过如下步骤S1021～S1023实现对当前所采集的视频帧进行特效预览处理，生成录制时特效预览图像：

S1021、将当前所采集的视频帧进行预览抠像处理，生成第三抠像内容。

可以通过神经网络模型(ANN)对当前所采集的视频帧进行预览抠像处理。具体来讲，通过神经网络模型将当前所采集的视频帧中的前景图像与背景图像分离，并提取出分离的前景图像为第三抠像内容。

更具体来讲，通过神经网络模型(ANN)对当前所采集的视频帧进行预览抠像处理的过程可以为：先对当前采集的视频帧进行用于消除视频帧中光照和阴影干扰的预处理，得到预处理后视频帧，对当前所采集的视频帧进行的预处理的过程可以包括：去除噪声和图像配准；再通过神经网络模型对预处理后视频帧中进行前景图像与背景图像的分离，并提取出分离出的前景图像为第三抠像内容。

需要说明的是，人工神经网络模型是在对人脑神经网络的基本认识的基础上，用数理方法和信息处理的角度对人脑神经网络进行抽象的简化模型，通过大量简单关系连接实现复杂的函数关系。比如，在本实施例中，可以使用BP(Back Propagation)神经网络模型对当前所采集的视频帧进行预览抠像处理，也可以采用RBF(RadialBasisFunction,径向基)神经网络模型对当前所采集的视频帧进行预览抠像处理。

具体的，将当前所采集的视频帧进行预览抠像处理所用可以为抠像精度较低的人工神经网络模型，比如，使用标准的3层网络模型，并且该标准三维3层网络模型中隐含层中的神经元数目为可以设置为最少个或者尽量少。从而以牺牲抠像精度的方式减少预览抠像处理的计算开销，从而提高了预览抠像处理的速度。

第三抠像内容针对的抠像目标可以为当前所采集的视频帧中的人物整体或者人物面部，也可以为预先设定的需要提取的其他类型前景图像。

S1022、将第三抠像内容与特效内容合成为特效预览图像。

具体的，如果第三抠像内容为从视频帧中提取的人物面部，对应的特效内容可以为装饰物特效、面部妆容特效、涂鸦特效、视频背景特效中的一种或多种的结合，特效内容也可以为从其他视频帧中选定的背景图像。如果第三抠像内容为从视频帧中提取的人物整体，则特效内容可以为从其他视频帧中选定的背景图像，也可以为服装特效、背景特效。

具体的，可以基于图像融合算法将第三抠像内容与特效内容融合，从而合成为针对当前所采集视频帧的特效预览图像。可以使用的图像融合算法有IHS算法、PCA算法、Brovey算法和小波算法，为了说明书的简洁，本文不再赘述基于图像融合算法将第三抠像内容与特效内容融合的过程。

S1023、采集下一视频帧，并返回将当前所采集的视频帧进行预览抠像处理的步骤，直至视频录制过程结束。

具体的，小模型特效处理模块包括预览抠像SDK(Software Development Kit,软件开发工具包)和特效合成处理单元，通过调用预览抠像SDK完成步骤S1021，通过特效合成处理单元完成基于图像融合算法将第三抠像内容与特效内容融合的过程。

步骤S103、在视频录制过程中，实时呈现录制时特效预览图像。

结合图2所示，在当前所采集的视频帧所对应的录制时特效预览图像生成后，即时覆盖当前显示的录制时特效预览图像，在下一采集的视频帧所对应的录制时特效预览图像生成时，再次覆盖在上一覆盖的录制时特效预览图像，循环此过程，直至视频录制过程结束，实现视频录制过程中的实时特效预览。

通过上述步骤S102～S103，使得预览特效处理的精度较低，能够在即使硬件配置较低的情况下也能快速完成对当前所采集的视频帧的特效处理，并实时呈现该录制时特效预览图像，避免卡顿。

下面继续参考图1，对步骤S104～S105中的每个步骤的实现过程进行详细描述：

步骤S104、对视频录制过程中采集的视频帧进行录制特效处理，生成特效视频帧，其中，录制特效处理的精度大于特效预览处理的精度。

本发明提供两种对视频录制过程中采集的视频帧进行录制特效处理的实施方式：一种实施方式为：在视频录制过程结束后，对视频录制过程中采集的各视频帧分别进行录制特效处理，生成特效视频帧。另一种实施方式为：在视频录制过程中，根据视频帧采集顺序对所采集的视频帧进行录制特效处理，生成视频录制过程中采集的视频帧的特效视频帧。

就在视频录制过程结束后对视频录制过程中采集的各视频帧分别进行录制特效处理的实施方式而言，能够在视频录制过程中只进行原始视频文件的录制，视频录制过程中录制的仅为未加任何特效的原始视频帧，减少了在视频录制过程中对CPU的占用，在硬件配置更小的情况下使用。

具体的，在视频录制过程结束后对视频录制过程中采集的各视频帧分别进行录制特效处理的过程，可以包括如下步骤S1041～S1043：

S1041:在视频录制过程结束后，将视频录制过程中采集的视频帧编码保存为原始视频文件。

需要说明的是，原始视频文件中的视频帧为未加任何特效的原始视频帧。在视频录制过程中或者视频录制过程结束对原始视频文件中的视频帧进行用于消除视频帧中光照和阴影干扰的预处理。对原始视频文件中的视频帧进行预处理的过程也包括：去除噪声和图像配准。

S1042:将原始视频文件中的视频帧进行录制抠像处理，生成原始视频文件中各视频帧的第一抠像内容。

为了对原始视频文件中的视频帧进行录制抠像处理，需要对原始视频文件解码，解码后，逐帧进行录制抠像处理或者同时多帧进行录制抠像处理，生成原始视频文件中各视频帧的第一抠像内容。

具体的，由于特效处理包括抠像处理和特效合成两个步骤，抠像处理的精度直接决定了特效处理的精度，为了录制特效处理的精度大于特效预览处理的精度，具体为：录制抠像处理的精度大于预览抠像处理的精度。

需要说明的是，同一视频帧的第三抠像内容与第一抠像内容为针对同一个抠像目标的不同精度的抠像结果：第一抠像内容的精度大于第三抠像内容的精度。

对视频帧进行录制抠像处理的程序集成于大模型抠像SDK，对视频帧进行预览抠像处理的程序集成于小模型抠像SDK。同一视频帧需要在不同时间通过大模型抠像SDK和小模型抠像SDK进行抠像处理，得到各自的抠像结果。

录制抠像处理所用的人工神经网络模型的抠像精度大于预览抠像处理所用的人工神经网络模型的抠像精度，从而使得录制抠像处理的精度大于预览抠像处理的精度，从而使得同一视频帧的第三抠像内容与第一抠像内容为针对同一个抠像目标的不同精度的抠像结果。

在一实施方式中，可以为录制抠像处理所用的人工神经网络模型的层数多于预览抠像处理所用的人工神经网络模型的层数。人工神经网络模型的层数越多，则人工神经网络的计算越复杂、抠图精度越高。比如，可以预览抠像处理所用的人工神经网络模型包括至少一个S型隐含层和线形输出层标准的3层网络模型。录制抠像处理所用的人工神经网络为多于3层的神经网络模型。增加人工神经网络的层数使人工神经网络的网络复杂化，增加了抠像时间，但是提高了抠像精度，降低了抠像误差。

在另一实施方式中，录制抠像处理所用的人工神经网络模型的层数与预览抠像处理所用的人工神经网络模型的层数相同，而录制抠像处理所用的人工神经网络模型的隐含层中神经元数目多于预览抠像处理所用的人工神经网络模型的隐含层中神经元数目。通过增加隐含层中神经元数目来获得提高抠图的精度，其训练效果比增加层数更容易观察和调整，举例来讲，可以录制抠像处理和预览抠像处理均选择三层的人工神经网络模型,再通过调整隐含层的神经元个数来达到录制抠像处理的精度大于预览抠像处理的精度的目的。

在具体实施过程中，也可以结合前述两种实施方式：录制抠像处理所用的人工神经网络模型的层数多于预览抠像处理所用的人工神经网络模型的层数，录制抠像处理所用的人工神经网络模型中隐含层的神经元数目多于预览抠像处理所用的人工神经网络模型中隐含层的神经元数目。

具体来讲，对原始视频文件中的视频帧进行录制抠像处理的过程可以为：通过录制抠像SDK中的神经网络模型从原始视频文件解码后的各视频帧中提取的前景图像确定为第一抠像内容。

同一视频帧的第三抠像内容为与第一抠像内容为针对同一抠像目标。具体而言，如果第三抠像内容为从视频帧中提取的人物面部，第一抠像内容也为从该视频帧中提取的该人物面部。如果第三抠像内容为从视频帧中提取的人物整体，则第一抠像内容也为从该视频帧中提取的该人物整体。

S1043:原始视频文件中各视频帧的第一抠像内容与特效内容合成，生成原始视频文件中各视频帧对应的特效视频帧。

具体的，可以基于图像融合算法将原始视频文件中各视频帧的第一抠像内容与特效内容融合，从而合成为针对原始视频文件中各视频帧的特效预览帧。可以使用的图像融合算法有IHS算法、PCA算法、Brovey算法和小波算法。

就在视频录制过程中对视频录制过程中采集的各视频帧分别进行录制特效处理而言，能够避免录制过程结束后的进行特效处理的等待时间，录制过程结束就形成了特效视频文件，缩短了特效视频文件的生成时间，录制过程结束就能播放或者及时分享该特效视频文件给其他终端设备，提高了用户体验。

具体的，在视频录制过程中，对视频录制过程中采集的各视频帧进行录制特效处理的过程，可以包括如下步骤S1041’～S1043’：

S1041’:对当前所采集的视频帧进行录制抠像处理，生成当前所采集的视频帧对应的第二抠像内容。

针对同一视频帧的第三抠像内容与第二抠像内容为针对同一个抠像目标的不同精度的抠像结果。

对当前所采集的视频帧进行录制抠像处理，可以为完成对当前所采集的视频帧的录制后，对录制后视频帧进行录制抠像处理；或者直接对当前所采集的视频帧进行录制抠像处理。

S1042’:将当前所采集的视频帧对应的第二抠像内容与特效内容合成，生成当前所采集的视频帧对应的特效视频帧；

S1043’:采集下一视频帧，并返回对当前所采集的视频帧进行录制抠像处理的步骤，直至视频录制过程结束。

在基于步骤S1041’～S1043’的实施方式中更多实施细节可以参考前述基于步骤S1041～S1043的实施方式中的描述，为了说明书的简洁，本文不再赘述。

步骤S105、在视频录制过程结束后，获得特效视频帧组成的特效视频文件。

通过对原始视频文件中各视频帧对应的特效视频帧重新编码，保存为特效视频文件。

通过步骤S104～S105，由于在视频录制过程中只进行原始视频文件的录制，而未进行录制特效处理，减少了在视频录制过程中对CPU的占用，在硬件配置更小的情况下使用，从而使得配置很小的设备中录制特效视频，也能够在不影响实时特效预览的同时获得高精度的特效视频文件。

结合前述实施例，在进一步的技术方案中，还提供在启动视频录制之前的实时特效预览，通过如下步骤实现：在启动视频录制之前，将启动视频录制之前采集的视频帧经过特效预览处理，生成录制前特效预览图像；在启动视频录制之前实时显示录制前特效预览图像。

与录制过程中的实时特效预览相似的：在启动视频录制之前，当前所采集的视频帧所对应的录制时特效预览图像生成后，即时覆盖当前显示的录制前特效预览图像，在下一采集的视频帧所对应的录制前特效预览图像生成时，再次覆盖在上一覆盖的录制前特效预览图像，循环此过程，实现视频录制前的实时特效预览。

结合前述实施例，在进一步的技术方案中，获得特效视频帧组成的特效视频文件之后，还包括进行如下至少一种对特效视频文件的处理步骤：存储特效视频文件至云端存储空间、播放特效视频文件、存储特效视频文件至本地、分享特效视频文件至另一终端设备。

由于特效预览图像与特效视频文件的特效处理分离，使得能够用更高精度的录制特效处理方式进行处理，从而使得分享给另一终端设备的特效视频文件的特效效果更好、存储下来的特效视频文件的特效效果更好、播放时特效效果更好。

基于同一发明构思，本发明实施例还提供一种移动终端，参考图3所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以终端为手机为例：

图3示出的是与本发明实施例提供的移动通信终端相关的手机的部分结构的框图。参考图3，手机包括：射频(Radio Frequency，RF)电路310、存储器320、输入单元330、显示单元340、传感器350、音频电路360、无线保真(wireless-fidelity，Wi-Fi)模块360、处理器380、以及电源390等部件。本领域技术人员可以理解，图3中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图3对手机的各个构成部件进行具体的介绍：

RF电路310可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器380处理；另外，将设计上行的数据发送给基站。通常，RF电路310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器320可用于存储软件程序以及模块，处理器380通过运行存储在存储器320的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元330可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元330可包括触控面板331以及其他输入设备332。触控面板331，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板331上或在触控面板331附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板331可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器380，并能接收处理器380发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板331。除了触控面板331，输入单元330还可以包括其他输入设备332。具体地，其他输入设备332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元340可包括显示面板341，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板341。进一步的，触控面板331可覆盖显示面板341，当触控面板331检测到在其上或附近的触摸操作后，传送给处理器380以确定触摸事件的类型，随后处理器380根据触摸事件的类型在显示面板341上提供相应的视觉输出。虽然在图3中，触控面板331与显示面板341是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板331与显示面板341集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器350，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板341的亮度，接近传感器可在手机移动到耳边时，关闭显示面板341和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路360、扬声器361，传声器362可提供用户与手机之间的音频接口。音频电路360可将接收到的音频数据转换后的电信号，传输到扬声器361，由扬声器361转换为声音信号输出；另一方面，传声器362将收集的声音信号转换为电信号，由音频电路360接收后转换为音频数据，再将音频数据输出处理器380处理后，经RF电路310以发送给比如另一手机，或者将音频数据输出至存储器320以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块360可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图3示出了WiFi模块360，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器380是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器320内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器380可包括一个或多个处理单元；优选的，处理器380可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器380中。

手机还包括给各个部件供电的电源390(比如电池)，优选的，电源可以通过电源管理系统与处理器380逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，该移动终端还蓝牙模块等，在此不再赘述。

手机的输入单元还包括摄像头333，移动终端上安装有相机应用程序，所述摄像头333用于在相机应用程序处于启动时采集视频帧，处理器380用于控制所述摄像头333，在本发明实施例中，该移动通信终端所包括的处理器380还执行程序时实现前述视频特效处理方法实施例的相应功能。

基于同一发明构思，本发明实施例提供一种相机400，参考图4所示，该相机包括：摄像头403、存储器402、处理器401、显示器404及存储在存储器402上并可在处理器上运行的计算机程序，摄像头403用于采集视频帧；处理器401用于控制摄像头403，并执行程序时实现前述视频特效处理方法中的任一实施例所述的步骤。

基于同一发明构思，本发明实施例还提供一种行车记录仪500，参考图5所示，包括：摄像头503、存储器502、处理器501、显示器504及存储在存储器502上并可在处理器上运行的计算机程序，摄像头503用于采集视频帧；处理器401用于控制摄像头503，并执行程序时实现前述视频特效处理方法中的任一实施例所述的步骤。

基于同一发明构思，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述视频特效处理方法中的任一实施例所述的步骤。

基于同一发明构思，本发明实施例提供一种视频特效处理装置，参考图6所示，包括如下程序模块：

启动模块601，用于启动视频录制；

特效预览处理模块602，用于在视频录制过程中对当前所采集的视频帧进行特效预览处理，生成录制时特效预览图像；

第一呈现模块603，用于在视频录制过程中，实时呈现录制时特效预览图像；

录制特效处理模块604，用于对视频录制过程中采集的视频帧进行录制特效处理，生成特效视频帧，其中，录制特效处理的精度大于特效预览处理的精度；

视频文件生成模块605，用于在视频录制过程结束后，获得特效视频帧组成的特效视频文件。

在一实施例中，该装置还包括：

录制前预览处理模块，用于将启动视频录制之前采集的视频帧经过特效预览处理，生成录制前特效预览图像；

第二呈现模块，用于在启动视频录制之前，实时显示录制前特效预览图像。

在一实施例中，录制特效处理模块604，具体为：

第一特效处理单元，用于在视频录制过程结束后，对视频录制过程中采集的各视频帧分别进行录制特效处理生成特效视频帧。

在一实施例中，第一特效处理单元，包括：

编码保存子单元，用于在视频录制过程结束后，将视频录制过程中采集的视频帧编码保存为原始视频文件；

第一抠像子单元，用于将原始视频文件中的视频帧进行录制抠像处理，生成原始视频文件中各视频帧的第一抠像内容；

第一合成子单元，用于原始视频文件中各视频帧的第一抠像内容与特效内容合成，生成原始视频文件中各视频帧对应的特效视频帧。

在一实施例中，录制特效处理模块604，具体为：

第二特效处理单元，用于在视频录制过程中，根据视频帧采集顺序对所采集的视频帧进行录制特效处理，生成视频录制过程中采集的视频帧的特效视频帧。

在一实施例中，第二特效处理单元，包括：

第二抠像至单元，用于对当前所采集的视频帧进行录制抠像处理，生成当前所采集的视频帧对应的第二抠像内容；

第二合成子单元，用于将当前所采集的视频帧对应的第二抠像内容与特效内容合成，生成当前所采集的视频帧对应的特效视频帧；

采集子单元，用于采集下一视频帧，并返回对当前所采集的视频帧进行录制抠像处理的步骤，直至视频录制过程结束。

在一实施例中，第二抠像至单元，具体用于：

完成对当前所采集的视频帧的录制后，对录制后视频帧进行录制抠像处理；或者

直接对当前所采集的视频帧进行录制抠像处理。

在一实施例中，特效预览处理模块602，包括：

抠像单元，用于将当前所采集的视频帧进行预览抠像处理，生成第三抠像内容，其中，同一视频帧的第三抠像内容与第一抠像内容为针对同一个抠像目标的不同精度的抠像结果，或者同一视频帧的第三抠像内容与第二抠像内容为针对同一个抠像目标的不同精度的抠像结果；

特效预览合成单元，用于将第三抠像内容与特效内容合成为特效预览图像；

采集单元，用于采集下一视频帧，并返回将当前所采集的视频帧进行预览抠像处理的步骤，直至视频录制过程结束。

在一实施例中，该装置还包括如下至少一种程序模块：上传模块，用于上传特效视频文件至云端存储空间；播放模块，用于播放特效视频文件；存储模块存储特效视频文件至本地；分享模块，用于分享特效视频文件至另一终端设备。

本发明实施例提供的一个或多个技术方案，至少实现了如下技术效果或者优点：

通过在视频录制过程中对视频录制过程中采集的视频帧进行特效预览处理，生成用于在视频录制过程中实时呈现的特效预览图像；还对视频录制过程中采集的视频帧进行录制特效处理生成特效视频文件，从而使特录制过程中的特效预览图像与最终保存下来的特效视频文件中的特效处理分离，使得能够针对特效预览图像和特效视频文件中的特效使用不同精度的特效处理方式，由于录制特效处理的精度大于特效预览处理的精度，保证了在视频录制过程中的特效预览图像的快速处理而不会卡顿，而特效视频文件的中的特效精度较高，进而实现了特效视频录制过程中向用户展示特效预览图像不卡顿，而录制而成的特效视频文件又保持有良好的特效效果。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的实现扩展应用程序的推送通知的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

Claims (10)

1.一种视频特效处理方法，其特征在于，包括：

启动视频录制；

在视频录制过程中对当前所采集的视频帧进行特效预览处理，生成录制时特效预览图像；

在所述视频录制过程中，实时呈现所述录制时特效预览图像；

对所述视频录制过程中采集的视频帧进行录制特效处理，生成特效视频帧，其中，所述录制特效处理的精度大于所述特效预览处理的精度；

在视频录制过程结束后，获得所述特效视频帧组成的特效视频文件。

2.如权利要求1所述的视频特效处理方法，其特征在于，在启动视频录制之前，所述方法还包括：

将启动视频录制之前采集的视频帧经过所述特效预览处理，生成录制前特效预览图像；

在启动视频录制之前，实时显示所述录制前特效预览图像。

3.如权利要求1所述的视频特效处理方法，其特征在于，所述对所述视频录制过程中采集的视频帧进行录制特效处理，生成特效视频帧，包括：

在视频录制过程结束后，对所述视频录制过程中采集的各视频帧分别进行录制特效处理生成特效视频帧。

4.如权利要求3所述的视频特效处理方法，其特征在于，所述在视频录制过程结束后，对所述视频录制过程中采集的视频帧分别进行录制特效处理生成特效视频帧，包括：

在视频录制过程结束后，将所述视频录制过程中采集的视频帧编码保存为原始视频文件；

将所述原始视频文件中的视频帧进行录制抠像处理，生成所述原始视频文件中各视频帧的第一抠像内容；

所述原始视频文件中各视频帧的第一抠像内容与特效内容合成，生成所述原始视频文件中各视频帧对应的特效视频帧。

5.如权利要求1所述的视频特效处理方法，其特征在于，所述对所述视频录制过程中采集的视频帧进行录制特效处理，生成特效视频帧，包括：

在所述视频录制过程中，根据视频帧采集顺序对所采集的视频帧进行录制特效处理，生成所述视频录制过程中采集的视频帧的特效视频帧。

6.一种相机，其特征在于，包括：摄像头、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述摄像头用于采集视频帧；

所述处理器用于控制所述摄像头，并执行所述程序时实现如权利要求1-5中任一项所述的步骤。

7.一种移动终端，其特征在于，包括：摄像头、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述移动终端上安装有相机应用程序，所述摄像头用于在所述相机应用程序处于启动时采集视频帧，所述处理器用于控制所述摄像头，并执行所述程序时实现如权利要求1-5中任一项所述的步骤。

8.一种行车记录仪，其特征在于，包括：摄像头、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述摄像头用于采集视频帧，所述处理器用于控制所述摄像头，并执行所述程序时实现权利要求1-5中任一项所述的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述的步骤。

10.一种视频特效处理装置，其特征在于，包括：

启动模块，用于启动视频录制；

特效预览处理模块，用于在视频录制过程中对当前所采集的视频帧进行特效预览处理，生成录制时特效预览图像；

第一呈现模块，用于在所述视频录制过程中，实时呈现所述录制时特效预览图像；

录制特效处理模块，用于对所述视频录制过程中采集的视频帧进行录制特效处理，生成特效视频帧，其中，所述录制特效处理的精度大于所述特效预览处理的精度；

视频文件生成模块，用于在视频录制过程结束后，获得所述特效视频帧组成的特效视频文件。