CN107770626B - 视频素材的处理方法、视频合成方法、装置及存储介质 - Google Patents

Abstract

本申请公开了视频素材的处理方法、视频合成方法、装置及存储介质。其中，一种视频素材的处理方法，包括：获取待合成视频的素材集合，并确定素材集合的属性，其中，该素材集合包括多个素材元素，每个素材元素包括图片、文字、音频和视频中至少一种媒体内容，属性包括该素材集合中各素材元素的播放顺序和播放时长；确定与素材集合对应的效果参数，效果参数对应于一种视频效果模式；将素材集合和效果参数传输至视频合成服务器，以便视频合成服务器根据效果参数和素材集合的属性，将素材集合中的多个素材元素合成为对应于视频效果模式的视频。

Description

视频素材的处理方法、视频合成方法、装置及存储介质

技术领域

本申请涉及视频合成领域，尤其涉及视频素材的处理方法、视频合成方法、装置及存储介质。

背景技术

随着多媒体技术的发展，视频制作已广泛应用在人们的生活中。视频制作是对图片、视频、音频等素材进行重组编码而生成视频。目前，视频制作通常需要在个人计算设备中安装视频制作软件。这些视频制作软件可以提供功能丰富的视频编辑功能，但操作复杂。

发明内容

为此，本申请提出了一种新的视频合成方案，以解决如何降低视频合成的操作复杂性的问题。

根据本申请一个方面，提出了一种视频素材的处理方法，包括：获取待合成视频的素材集合，并确定所述素材集合的属性，其中，该素材集合包括多个素材元素，每个素材元素包括图片、文字、音频和视频中至少一种媒体内容，所述属性包括该素材集合中各素材元素的播放顺序和播放时长；确定与素材集合对应的效果参数，效果参数对应于一种视频效果模式；将素材集合和所述效果参数传输至视频合成服务器，以便视频合成服务器根据效果参数和所述素材集合的属性，将素材集合中的多个素材元素合成为对应于视频效果模式的视频。

在一些实施例中，所述获取待合成视频的素材集合，包括：提供用于获取素材元素的用户界面，所述用户界面包括分别对应于至少一种媒体类型的至少一个控件，所述至少一种媒体类型包括：文字、图片、音频、视频中的至少一个；响应于对所述用户界面中任一控件的操作，获取与该控件的媒体类型对应的媒体内容，并将其作为所述素材集合中一个素材元素的一项媒体内容。

在一些实施例中，所述响应于对所述用户界面中任一控件的操作，获取与该控件的媒体类型对应的媒体内容，并将其作为所述素材集合中一个素材元素的一项媒体内容，包括：响应于对所述用户界面中一个图片控件的操作，获取一张图片并将其作为所述素材集合的一个素材元素的图片内容。

在一些实施例中，所述响应于对所述用户界面中任一控件的操作，获取与该控件的媒体类型对应的媒体内容，并将其作为所述素材集合中一个素材元素的一项媒体内容，还包括：响应于对与所述图片控件相关联的文字输入控件的操作，获取所输入与所述图片内容关联的文字信息，并将其作为所述素材元素的文字内容。

在一些实施例中，所述响应于对所述用户界面中任一控件的操作，获取与该控件的媒体类型对应的媒体内容，并将其作为所述素材集合中一个素材元素的一项媒体内容，还包括：响应于对与所述图片控件相关联的音频控件的操作，获取所输入与所述图片内容关联的音频信息，并将其作为所述素材元素的音频内容。

在一些实施例中，所述响应于对所述用户界面中任一控件的操作，获取该控件对应的媒体类型的媒体内容，并将其作为所述素材集合中一个素材元素的一项媒体内容，包括：响应于对所述用户界面中一个视频控件的操作，获取一个视频片段并将其作为所述素材集合的一个素材元素的视频内容。

在一些实施例中，所述获取待合成视频的素材集合，包括：获取一段视频；根据预定的视频剪辑算法，从该段视频中提取至少一个视频片段并生成每个视频片段的描述信息；提供显示所述每个视频片段的描述信息的用户界面，以便用户根据每个视频片段的描述信息进行片段选择；响应于对所述至少一个视频片段的选择操作，分别将所选定的每个视频片段作为所述素材集合中一个素材元素的视频内容。

在一些实施例中，所述根据预定的视频剪辑算法，从该段视频中提取至少一个视频片段并生成每个视频片段的描述信息，包括：确定所述视频的至少一个关键图像帧；对于每个关键图像帧，从该视频中提取包含该关键图像帧的一个视频片段，该视频片段包括一个相应的音频片段；对所述音频片段进行文字识别以获取相应的文字，并根据所述文字生成与所述视频片段对应的描述信息。

在一些实施例中，所述确定所述素材集合的属性，包括：提供呈现所述素材集合中各素材元素对应的缩略图的用户界面，所述各素材元素对应的缩略图在所述用户界面的相应显示区域内依次排列；响应于对所述用户界面中缩略图的移动操作而调节所述素材集合中各元素的排列顺序，并将调节后的排列顺序作为所述素材集合的播放顺序。

在一些实施例中，所述确定与所述素材集合对应的效果参数，所述效果参数对应于一种视频效果模式，包括：提供包含多个效果选项的用户界面，其中，每个效果选项对应于一种效果参数；响应于对所述多个效果选项中任一个的预览操作，在所述用户界面中显示相应的预览效果图；响应于对所述多个效果选项中任一个的选定操作，将所选定的效果选项所对应的效果参数作为与所述素材集合对应的效果参数。

在一些实施例中，所述确定所述素材集合中各个素材元素的属性，包括：在一个素材元素包括图片内容时，将该图片内容的播放时长作为该素材元素的播放时长；在一个素材元素包括视频内容时，将该视频内容的播放时长作为该素材元素的播放时长。

在一些实施例中，所述方法进一步包括，向所述视频合成服务器发送视频合成请求，以便所述视频合成服务器响应于所述视频合成请求而将所述素材集合中的多个素材元素合成为对应于所述视频效果模式的所述视频。根据本申请又一个方面，提出一种视频合成方法，包括：从视频素材客户端获取一个待合成视频的素材集合和关于该素材集合的效果参数，其中，素材集合包括多个素材元素，每个素材元素包括图片、文字、音频和视频中至少一种媒体内容，素材集合的属性包括该素材集合中各个素材元素的播放顺序和播放时长，所述效果参数对应于一种视频效果模式；根据效果参数和素材集合的属性，将素材集合中的多个素材元素合成为视频效果模式的视频。

在一些实施例中，当所述素材集合中一个素材元素包括图片内容和相应的文字内容时，该方法还包括：生成与所述文字内容对应的语音信息；生成与所述语音信息对应的字幕信息；将所述语音信息和所述字幕信息加入到所述视频中。

在一些实施例中，所述根据所述效果参数，将所述素材集合合成为所述视频效果模式的视频，包括：对所述素材集合进行标准化处理，以使得各个素材元素转换成预定格式，所述预定格式包括图像编码格式、图像播放帧率和图像尺寸；根据所述效果参数，将经过标准化处理的所述素材集合合成为所述视频。

在一些实施例中，所述根据所述效果参数和所述素材集合的属性，将所述素材集合中的多个素材元素合成为所述视频效果模式的视频，包括：基于用于在预定的视频合成应用中执行的多个视频合成脚本，确定所述效果参数所对应的多个渲染阶段，其中，每个视频合成脚本对应于一种视频合成效果，每个渲染阶段包括所述多个视频合成脚本中至少一个脚本，每个渲染阶段的渲染结果为下一个渲染阶段的输入内容；基于所述多个渲染阶段，对所述素材集合进行渲染，以生成所述视频。

在一些实施例中，所述视频效果模式包括相邻素材元素之间的视频转场模式。

根据本申请又一个方面，提供一种视频素材的处理装置，包括素材获取单元、效果确定单元和传输单元。素材获取单元，获取待合成视频的素材集合，并确定所述素材集合的属性。其中，该素材集合包括多个素材元素，每个素材元素包括图片、文字、音频和视频中至少一种媒体内容，属性包括该素材集合中各素材元素的播放顺序和播放时长。效果确定单元确定与素材集合对应的效果参数。效果参数对应于一种视频效果模式。传输单元将素材集合和效果参数传输至视频合成服务器，以便视频合成服务器根据效果参数和素材集合的属性，将素材集合中的多个素材元素合成为对应于视频效果模式的视频。

在一些实施例中，素材获取单元用于根据下述方式获取待合成视频的素材集合：提供用于获取素材元素的用户界面，所述用户界面包括分别对应于至少一种媒体类型的至少一个控件，所述至少一种媒体类型包括：文字、图片、音频、视频中的至少一个；响应于对所述用户界面中任一控件的操作，获取与该控件的媒体类型对应的媒体内容，并将其作为所述素材集合中一个素材元素的一项媒体内容。

在一些实施例中，素材获取单元用于根据下述方式响应于对所述用户界面中任一控件的操作，获取与该控件的媒体类型对应的媒体内容，并将其作为所述素材集合中一个素材元素的一项媒体内容：响应于对所述用户界面中一个图片控件的操作，获取一张图片并将其作为所述素材集合的一个素材元素的图片内容。

在一些实施例中，素材获取单元还用于：响应于对与所述图片控件相关联的文字输入控件的操作，获取所输入与所述图片内容关联的文字信息，并将其作为所述素材元素的文字内容。

在一些实施例中，素材获取单元还用于：响应于对与所述图片控件相关联的音频控件的操作，获取所输入与所述图片内容关联的音频信息，并将其作为所述素材元素的音频内容。

在一些实施例中，素材获取单元用于根据下述方式响应于对所述用户界面中任一控件的操作，获取该控件对应的媒体类型的媒体内容，并将其作为所述素材集合中一个素材元素的一项媒体内容：响应于对所述用户界面中一个视频控件的操作，获取一个视频片段并将其作为所述素材集合的一个素材元素的视频内容。

在一些实施例中，素材获取单元用于根据下述方式获取待合成视频的素材集合：获取一段视频；根据预定的视频剪辑算法，从该段视频中提取至少一个视频片段并生成每个视频片段的描述信息；提供显示所述每个视频片段的描述信息的用户界面，以便用户根据每个视频片段的描述信息进行片段选择；响应于对所述至少一个视频片段的选择操作，分别将所选定的每个视频片段作为所述素材集合中一个素材元素的视频内容。

在一些实施例中，素材获取单元用于根据下述方式来执行根据预定的视频剪辑算法，从该段视频中提取至少一个视频片段并生成每个视频片段的描述信息：确定视频段的至少一个关键图像帧；对于每个关键图像帧，从该段视频中提取包含该关键图像帧的一个视频片段，该视频片段包括一个相应的音频片段；对音频片段进行文字识别以获取相应的文字，并根据文字生成与视频片段对应的描述信息。

在一些实施例中，素材获取单元用于根据下述方式确定素材集合的属性：提供呈现所述素材集合中各素材元素对应的缩略图的用户界面，所述各素材元素对应的缩略图在所述用户界面的相应显示区域内依次排列；响应于对用户界面中缩略图的移动操作而调节素材集合中各元素的排列顺序，并将调节后的排列顺序作为素材集合的播放顺序。

在一些实施例中，素材获取单元用于根据下述方式确定素材集合中各个素材元素的属性：在一个素材元素包括图片内容时，将该图片内容的播放时长作为该素材元素的播放时长；在一个素材元素包括视频内容时，将该视频内容的播放时长作为该素材元素的播放时长。

在一些实施例中，效果确定单元用于根据下述方式确定与素材集合对应的效果参数：提供包含多个效果选项的用户界面，其中，每个效果选项对应于一种效果参数；响应于对所述多个效果选项中任一个的预览操作，在所述用户界面中显示相应的预览效果图；响应于对所述多个效果选项中任一个的选定操作，将所选定的效果选项所对应的效果参数作为与所述素材集合对应的效果参数。

根据本申请又一个方面，提供一种视频合成装置，包括：通信单元，从视频素材客户端获取一个待合成视频的素材集合和关于该素材集合的效果参数，其中，所述素材集合包括多个素材元素，每个素材元素包括图片、文字、音频和视频中至少一种媒体内容，所述素材集合的属性包括该素材集合中各个素材元素的播放顺序和播放时长，所述效果参数对应于一种视频效果模式；视频合成单元，根据所述效果参数和所述素材集合的属性，将所述素材集合中的多个素材元素合成为所述视频效果模式的视频。

在一些实施例中，视频合成装置还包括语音合成单元、字幕生成单元和添加单元。当素材集合中一个素材元素包括图片内容和相应的文字内容时，语音合成单元生成所述文字内容对应的语音信息，所述字幕生成单元生成所述语音信息对应的字幕信息；添加单元用于将所述语音信息和所述字幕信息加入到所述视频中。

在一些实施例中，视频合成单元用于根据下述方式执行根据效果参数，将素材集合合成为所述视频效果模式的视频的操作：对所述素材集合进行标准化处理，以使得各个素材元素转换成预定格式，所述预定格式包括图像编码格式、图像播放帧率和图像尺寸；根据所述效果参数，将经过标准化处理的所述素材集合合成为所述视频。

在一些实施例中，所述视频合成单元用于根据下述方式执行根据所述效果参数和所述素材集合的属性，将所述素材集合中的多个素材元素合成为所述视频效果模式的视频的操作：基于用于在预定的视频合成应用中执行的多个视频合成脚本，确定所述效果参数所对应的多个渲染阶段，其中，每个视频合成脚本对应于一种视频合成效果，每个渲染阶段包括所述多个视频合成脚本中至少一个脚本，每个渲染阶段的渲染结果为下一个渲染阶段的输入内容；基于所述多个渲染阶段，对所述素材集合进行渲染，以生成所述视频。视频效果模式包括相邻素材元素之间的视频转场模式。

根据本申请又一个方面，提供一种计算设备，包括：一个或多个处理器、存储器以及一个或多个程序。程序存储在该存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行本申请的方法的指令。

根据本申请又一个方面，提供一种存储介质，存储有一个或多个程序。所述一个或多个程序包括指令。所述指令当由计算设备执行时，使得所述计算设备执行本申请的方法。

综上，根据本申请的视频素材的处理方案，可以在用户界面(例如图3A至3G的用户界面)中进行简捷的内容选择，从而可以方便地获取待合成视频的素材集合。特别是，本申请的处理方案还可以对视频进行自动化剪辑而生成视频片段和相应的描述信息，从而可以使得用户通过查看描述信息而快速确定视频片段的内容并进行片段选择。另外，本申请的处理方案可以直观向用户呈现多种视频效果模式的预览效果图(例如效果动画等等)，从而便于用户快速确定待合成视频的效果模式，进而可以避免用户在本地计算设备上进行与视频效果有关的复杂操作。在此基础上，本申请的处理方案可以通过视频合成服务器合成视频，从而极大提高用户体验度。

附图说明

为了更清楚地说明本申请实例中的技术方案，下面将对实例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本申请一些实施例的应用场景100的示意图；

图2示出了根据本申请一些实施例的视频素材的处理方法200的流程图；

图3A示出了根据本申请一个实施例的获取图片内容的用户界面示意图；

图3B示出了一个实施例的显示图片的界面示意图；

图3C示出了根据本申请一个实施例的获取音频信息的示意图；

图3D示出了根据本申请一个实施例的生成视频片段的用户界面；

图3E示出了一个视频片段的编辑界面；

图3F示出了根据本申请一个实施例的调节播放顺序的用户界面；

图3G示出了根据本申请一个实施例的确定效果参数的用户界面；

图4示出了根据本申请一些实施例的视频合成方法400的流程图；

图5示出了根据本申请一个实施例的视频渲染过程；

图6示出了根据本申请一些实施例的视频合成方法600的流程图；

图7示出了根据本申请一些实施例的视频素材的处理装置700的示意图；

图8示出了根据本申请一些实施例的视频合成装置800的示意图；

图9示出了根据本申请一些实施例的视频合成装置900的示意图；及

图10示出了一个计算设备的组成结构图。

具体实施方式

下面将结合本申请实例中的附图，对本申请实例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅是本申请一部分实例，而不是全部的实例。基于本申请中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本申请保护的范围。

图1示出了根据本申请一些实施例的应用场景100的示意图。如图1所示，应用场景100包括计算设备110和服务器120。这里，计算设备110可以被实现为台式电脑、笔记本电脑、平板电脑、移动电话或掌上游戏机等各种终端设备，但不限限于此。服务器120可以被实现为硬件独立的服务器、虚拟服务器或者分布式集群等设备资源，但不限于此。计算设备110可以驻留各种应用，例如应用111。应用111可以获取待合成视频的视频素材，并将视频素材传输到服务器120中。这样，服务器120可以基于所接收的视频素材合成相应的视频。服务器120还可以将所合成的视频传输到计算设备110。这里，应用111可以被实现为素材处理应用或者浏览器等，本申请对此不作限制。下面结合图2对视频素材的处理方法进行说明。

图2示出了根据本申请一些实施例的视频素材的处理方法200的流程图。方法200例如可以在应用111中执行，但不限于此。这里，应用111可以被实现为浏览器和素材处理应用。另外，应用111也可以被实现为即时通讯应用(QQ、微信等等)、社交网络应用、视频应用(例如腾讯视频等)或者新闻客户端等应用的一个组件。

如图2所示，方法200包括步骤S201，获取待合成视频的素材集合，并确定素材集合的属性。这里，素材集合可以包括多个素材元素。每个素材元素包括图片、文字、音频和视频中至少一种媒体内容。素材集合的属性包括该素材集合中各素材元素的播放顺序和播放时长。根据本申请一些实施例，在步骤S201中，提供用于获取素材元素的用户界面。用户界面可以包括分别对应于至少一种媒体类型的至少一个控件。这里，一个控件是用户界面用于与用户进行交互的视图对象，例如为输入框、下拉选择框、按钮等等。媒体类型的范围例如包括：文字、图片、音频和视频，但不限于此。在此基础上，步骤S201可以响应于对用户界面中任一控件的操作，获取与该控件的媒体类型对应的媒体内容，并将其作为素材集合中一个素材元素的一项媒体内容。

在一个实施例中，在用户通过一个图片控件选择一幅本地存储或来自网络的图片时，步骤S201可以响应于对图片控件的操作，将该图片作为一个素材元素的图片内容。另外说明的是，包含图片内容的素材元素通常还可以包括与图片相关联文字或音频。在一个实施例中，在用户通过一个文字输入控件输入对应于该图片的文字时，步骤S201响应于对文字输入控件的操作，获取与图片内容关联的文字信息，并将其作为相应素材元素的文字内容。在又一个实施例中，步骤S201可以响应于对音频控件的操作，获取与图片内容关联的音频信息，并将其作为相应素材元素的音频内容。这里，音频内容例如为旁白或者背景音乐等等。另外，步骤S201可以将图片的播放时长作为相应素材元素的播放时长。为了更形象说明步骤S201的执行过程，下面结合图3A至图3C进行示例性描述。

图3A示出了根据本申请一个实施例的获取图片内容的用户界面示意图。图3B示出了一个实施例的显示图片的界面示意图。如图3A及3B所示，在用户对控件301进行操作时，步骤S201可以获取一张图片并显示在预览窗口302中。步骤S201可以响应于对播放时长控件303的操作，确定图片的播放时长。步骤S201可以响应于对文字输入控件304的操作，获取与预览窗口302中图片相关的文字信息。换言之，文字信息是对图片的补充说明。图3C示出了根据本申请一个实施例的获取音频信息的示意图。例如，步骤S201可以响应于对控件305的操作获取本地存储的音频(例如为背景音乐)。又例如，步骤S201可以响应于对控件306的操作，录制一段音频内容。该音频内容例如是针对预览窗口302中图片而录制的旁白。

在又一个实施例中，步骤S201可以获取一段视频，并将其作为一个素材元素的视频内容。例如，步骤S201响应于对用户界面中一个视频控件的操作，获取一个视频片段,并将其作为一个素材元素的视频内容。这里，视频例如可以是存储在本地的视频文件，也可以是存储在云端的视频内容。对于包含视频内容的素材元素，步骤S201还可以在其中加入文字内容、音频内容等等。在一个素材元素包括视频内容时，步骤S201可以将视频内容的播放时长作为该素材元素的播放时长。

在又一个实施例中，步骤S201可以被实施为图4所示的方法400。如图4所示，在步骤S401中，获取一段视频。在步骤S402中，根据预定的视频剪辑算法，从该段视频中提取至少一个视频片段并生成每个视频片段的描述信息。具体而言，根据本申请一个实施例，步骤S402首先确定视频段的至少一个关键图像帧。对于每个关键图像帧，步骤S402可以从该段视频中提取包含该关键图像帧的一个视频片段。该视频片段可以包括一个相应的音频片段。这样，步骤S402对音频片段进行文字识别以获取相应的文字，并根据该文字生成与视频片段对应的描述信息。应当理解，步骤S402可以采用各种能够自动剪辑视频的算法，本申请对此不作限制。

在此基础上，在步骤S403中，提供显示每个视频片段的描述信息的用户界面，以便用户根据每个视频片段的描述信息进行片段选择。

在步骤S404中，响应于对至少一个视频片段的选择操作，分别将所选定的每个视频片段作为素材集合中一个素材元素的视频内容。换言之，步骤S404可以将所选定的每个视频片段生成为一个相应的素材元素。

另外说明的是，不限于通过步骤S402对视频进行剪辑，本申请的实施例还可以向云端发送视频剪辑请求，并由云端设备(例如服务器120)进行视频剪辑。在此基础上，本申请的实施例可以从云端设备获取已剪辑的视频片段。另外，为了更形象说明生成包含视频内容的素材元素的过程，下面结合图3D和3E进行示例性说明。

图3D示出了根据本申请一个实施例的生成视频片段的用户界面。如图3D所示，窗口307为待剪辑视频的预览窗口。响应于对控件308操作，本申请的实施例可以生成多个视频片段，例如片段309。图3E示出了一个视频片段的编辑界面。例如，响应于对片段309的操作(例如为点击或双击等等)，而进入图3E所示界面。其中，窗口310为片段309的预览窗口、区域311为关于片段309的描述信息。另外，用户可以通过文字输入控件312输入与视频片段对应的文字内容。用户还可以通过控件313或者控件314获取针对视频片段的音频内容。例如，图标315表示所获取的一个音频文件。另外，通过操作图3D中勾选框，用户可以选定至少一个视频片段。这样，本实施例可以将所选择的每个视频片段以及相应的文字内容和音频内容作为为一个素材元素。

综上，步骤S201可以获取多个素材元素。这里，步骤S201可以将多个素材元素的生成顺序作为默认相应的播放顺序。另外，步骤S201还可以响应于用户操作对多个素材元素的播放顺序进行调节。例如，图3F示出了根据本申请一个实施例的调节播放顺序的用户界面。图3F呈现有各素材元素对应的缩略图。例如316和317。缩略图在显示区域内依次排列。步骤S201可以响应于对用户界面中缩略图的移动操作而调节素材集合中各元素的排列顺序，并将调节后的排列顺序作为素材集合的播放顺序。

对于步骤S201中确定的素材集合，方法200可以执行步骤S202。在步骤S202中，确定与素材集合对应的效果参数。这里，每种效果参数对应于一种视频效果模式。视频效果例如包括相邻素材元素之间的转场效果和粒子特效等等。其中，转场效果是指在两个场景(即两个素材元素)之间的场景过度效果。例如，本申请的实施例可以采用预定的技巧(如划像、叠变、卷页等)，实现场景的平滑过度。转场效果例如是图片进入画面的效果(也可以称为图片飞入效果)。粒子特效是模拟现实中水、火、雾、气等对象的动画效果。另外说明的是，一种视频效果模式对应于一个待合成视频的整体效果。实际上，一种视频效果模式可以是一种视频预定效果或者是多种预定视频效果的组合。为了避免用户在计算设备110中针对视频效果模式进行复杂的操作，步骤S202可以提供包含多个效果选项的用户界面。其中，每个效果选项对应于一种效果参数。这里，一种效果参数可以被认为是与一种视频效果模式对应的标识。响应于对多个效果选项中任一个的预览操作，步骤S202可以在用户界面中显示相应的预览效果图。响应于对多个效果选项中任一个的选定操作，步骤S202可以将所选定的效果选项所对应的效果参数作为与素材集合对应的效果参数。例如，图3G示出了根据本申请一个实施例的确定效果参数的用户界面。如图3G所示，区域319示出了多个效果选项，例如320和321。每个选项对应一种视频效果模式。例如，效果选项320被预览时，相应的效果动画被显示在窗口318中。窗口322中选项为当前正被预览的效果选项。这里，效果动画可以直观的表示一种视频效果模式。这样，用户可以通过查看效果动画，并选定一种视频效果模式，而不需要在计算设备中进行与视频效果有关的复杂操作。例如，步骤S202可以响应于对控件323的操作，而选定当前正被预览的效果选项对应的效果参数。

在确定素材集合和效果参数时，方法200可以执行步骤S203。在步骤S203中，将素材集合和效果参数传输至视频合成服务器。这样，视频合成服务器可以根据效果参数和素材集合的属性，将素材集合中的多个素材元素合成为对应于所确定视频效果模式的视频。根据一个实施例，在步骤S203中，向视频合成服务器(例如为服务器120)发送视频合成请求。视频合成请求可以包括素材集合和效果参数。这样，视频合成服务器可以响应于视频合成请求，将素材集合合成视频。根据本申请又一个实施例，视频合成服务器可以向应用111发送关于提供视频合成服务的提示信息。在步骤S203中，响应于接收到该提示信息，向视频合成服务器发送素材集合和效果参数，以便视频合成服务器可以根据所接收的素材集合和效果参数合成相应视频。

综上，根据本申请的方法200，可以在用户界面(例如图3A至3G的用户界面)中进行简捷的内容选择，从而可以方便地获取待合成视频的素材集合。特别是，方法200还可以对视频进行自动化剪辑而生成视频片段和相应的描述信息，从而可以使得用户通过查看描述信息而快速确定视频片段的内容并进行片段选择。另外，方法200可以直观向用户呈现多种视频效果模式的预览效果图(例如效果动画等等)，从而便于用户快速确定待合成视频的效果模式，进而可以避免用户在本地计算设备上进行与视频效果有关的复杂操作。在此基础上，本申请的方法200可以通过视频合成服务器合成视频，从而极大提高用户体验度。

下面结合图4对视频合成方式进一步说明。图4示出了根据本申请一些实施例的视频合成方法400的流程图。方法400可以在视频合成应用中执行。该视频合成应用例如可以驻留在服务器120中，但不限于此。

如图4所示，方法400包括步骤S401。在步骤S401中，从视频素材客户端获取一个待合成视频的素材集合和关于该素材集合的效果参数，这里，视频素材客户端例如为应用111，但不限于此。其中，素材集合包括多个素材元素，每个素材元素包括图片、文字、音频和视频中至少一种媒体内容。素材集合的属性包括该素材集合中各个素材元素的播放顺序和播放时长。效果参数对应于一种视频效果模式。

在步骤S402中，根据效果参数和素材集合的属性，将素材集合中的多个素材元素合成为相应视频效果模式的视频。在一些实施例中，步骤S402对素材集合进行标准化处理，以使得各个素材元素转换成预定格式。预定格式例如包括图像编码格式、图像播放帧率和图像尺寸等等。在一个实施例中，预定格式可以被配置为与效果参数相关联。换言之，每种效果参数均被配置有相应的预定格式。这样，步骤S402可以根据效果参数确定相应的预定格式，以执行标准化处理。在此基础上，步骤S402可以根据效果参数，将经过标准化处理的素材集合合成为视频。

在一个实施例中，视频合成应用配置有多个视频合成脚本。这里，每个视频合成脚本(也可以称为视频合成模板)用于在视频合成应用中执行，并且对应于一种视频合成效果。基于效果参数，步骤S402可以确定与该效果参数对应的多个渲染阶段。每个渲染阶段包括上述多个视频合成脚本中至少一个脚本，每个渲染阶段的渲染结果为下一个渲染阶段的输入内容。这样，步骤S402可以按照多个渲染阶段，对素材集合中渲染，以合成视频。这里，通过多个渲染阶段，步骤S402可以实现叠加合成效果(即效果参数对应的视频效果模式)。图5示出了根据本申请一个实施例的视频渲染过程。如图5所示的过程包括S1、S2和S3三个渲染阶段。阶段S1执行脚本X1和X2。这里，素材集合例如可以包括20个素材元素。步骤S402可以通过执行脚本X1对前10个素材元素进行渲染，通过脚本X2对后10个素材元素进行渲染。对于S1的渲染结构，步骤S402可以在阶段S2可以继续通过执行脚本X3和X4继续进行叠加效果处理。对于阶段S2的渲染结果。步骤S402可以在阶段S3继续叠加效果处理，从而生成对应于效果参数的渲染结果。这里，每个脚本的格式例如为可扩展标记语言(ExtensibleMarkup Language，缩写为XML)。步骤S402例如可以调用后效果(After Effects，缩写为AE)应用来执行脚本，但不限于此。步骤S402调用AE执行渲染操作的代码示例如下：

“aerender-project test.aepx–comp“test”-RStemplate“test_1”–Omtemplate“test_2”-output test.mov

其中，aerender表示AE命令行执行程序的名称。

project test.aepx表示目前工程模板文件为test.aepx。

comp表示此次渲染使用的合成器名称是tes。

RStemplate表示脚本名称是test_1。

Omtemplate表示视频输出模板名是test_2。

output表示输出视频名为test.mov。

综上，根据本申请的视频合成方法400可以获取来自视频素材客户端的素材集合，并确定与效果参数对应的多个渲染阶段。在此基础上，方法400可以通过执行多个渲染阶段而合成具有叠加视频效果的渲染结果。特别说明的是，方法400通过素材集合进行多个阶段的渲染，可以生成各种复杂的视频效果，从而极大提高了视频合成的效率和增加视频合成效果的类型。

图6示出了根据本申请一些实施例的视频合成方法600的流程图。方法600可以在视频合成应用中执行。该视频合成应用例如可以驻留在服务器120中，但不限于此。

如图6所示，方法600包括步骤S601至S602。步骤S601至S602的实施方式分别与步骤S401至S402一致，这里不再赘述。另外，方法600还包括步骤S603。

在步骤S603中，生成文字内容对应的语音信息。具体而言，对于一个素材元素中的文本内容，步骤S603可以转化为语音信息。这里，步骤S603可以采用各种预定的语音转化算法进行语音转化。例如，步骤S603可以调用讯飞语音合成组件，以获取相应的音频文件。

在步骤S604中，生成语音信息对应的字幕信息。这里，步骤S604可以采用各种能够生成字幕的技术，本申请对此不做限制。例如，步骤S604可以调用快速向前动态图像(FastForward MPEG，缩写为FFMPEG)软件进行字幕生成，但不限于此。这里，所生成的字幕包括字幕效果、字幕显示时间等参数。

在步骤S605中，将语音信息和字幕信息加入到步骤S602合成的视频中。

图7示出了根据本申请一些实施例的视频素材的处理装置700的示意图。装置700例如可以驻留在应用111中。如图7所示，装置700包括素材获取单元701、效果确定单元702和传输单元703。其中，素材获取单元701可以获取待合成视频的素材集合，并确定所述素材集合的属性。该素材集合包括多个素材元素，每个素材元素包括图片、文字、音频和视频中至少一种媒体内容。所述属性包括该素材集合中各素材元素的播放顺序和播放时长。在一个实施例中，素材获取单元701可以提供用于获取素材元素的用户界面。用户界面包括分别对应于至少一种媒体类型的至少一个控件。上述至少一种媒体类型包括：文字、图片、音频、视频中的至少一个；响应于对用户界面中任一控件的操作，素材获取单元701获取与该控件的媒体类型对应的媒体内容，并将其作为素材集合中一个素材元素的一项媒体内容。在又一个实施例中，素材获取单元701可以响应于对用户界面中一个图片控件的操作，获取一张图片并将其作为素材集合的一个素材元素的图片内容。在又一个实施例中，素材获取单元701还用于响应于对与图片控件相关联的文字输入控件的操作，获取所输入与图片内容关联的文字信息，并将其作为素材元素的文字内容。在又一个实施例中，素材获取单元701还用于响应于对与图片控件相关联的音频控件的操作，获取所输入与图片内容关联的音频信息，并将其作为素材元素的音频内容。在又一个实施例中，素材获取单元701还用于响应于对所述用户界面中一个视频控件的操作，获取一个视频片段并将其作为所述素材集合的一个素材元素的视频内容。

在又一个实施例中，素材获取单元701首先获取一段视频，然后根据预定的视频剪辑算法，从该段视频中提取至少一个视频片段并生成每个视频片段的描述信息。具体而言，素材获取单元701可以确定视频的至少一个关键图像帧。

对于每个关键图像帧，素材获取单元701可以从该视频中提取包含该关键图像帧的一个视频片段。该视频片段包括一个相应的音频片段。素材获取单元701还可以对音频片段进行文字识别以获取相应的文字，并根据文字生成与视频片段对应的描述信息。

在此基础上，素材获取单元701可以提供显示每个视频片段的描述信息的用户界面，以便用户根据每个视频片段的描述信息进行片段选择。素材获取单元701响应于对视频片段的选择操作，分别将所选定的每个视频片段作为素材集合中一个素材元素的视频内容。

在一个实施例中，素材获取单元701可以提供呈现所述素材集合中各素材元素对应的缩略图的用户界面。各素材元素对应的缩略图在用户界面的相应显示区域内依次排列。素材获取单元701可以响应于对用户界面中缩略图的移动操作而调节素材集合中各元素的排列顺序，并将调节后的排列顺序作为素材集合的播放顺序。在又一个实施例中，在一个素材元素包括图片内容时，素材获取单元701可以将该图片内容的播放时长作为该素材元素的播放时长。在一个素材元素包括视频内容时，素材获取单元701可以将该视频内容的播放时长作为该素材元素的播放时长。

效果确定单元702可以确定与素材集合对应的效果参数。效果参数对应于一种视频效果模式。在一个实施例中，效果确定单元702可以提供包含多个效果选项的用户界面。其中每个效果选项对应于一种效果参数。响应于对多个效果选项中任一个的预览操作，效果确定单元702在用户界面中显示相应的预览效果图。响应于对多个效果选项中任一个的选定操作，效果确定单元702将所选定的效果选项所对应的效果参数作为与素材集合对应的效果参数。

传输单元703可以将素材集合和效果参数传输至视频合成服务器，以便视频合成服务器根据效果参数和素材集合的属性，将素材集合中的多个素材元素合成为对应于视频效果模式的视频。需要说明的是，装置700更具体的实施方式与方法200一致，这里不再赘述。

图8示出了根据本申请一些实施例的视频合成装置800的示意图。装置800例如可以驻留在视频合成应用中。该视频合成应用例如可以驻留在服务器120中，但不限于此。

如图8所示，装置800可以包括通信单元801和视频合成单元802。通信单元801可以从视频素材客户端获取一个待合成视频的素材集合和关于该素材集合的效果参数。其中，素材集合包括多个素材元素，每个素材元素包括图片、文字、音频和视频中至少一种媒体内容。素材集合的属性包括该素材集合中各个素材元素的播放顺序和播放时长。效果参数对应于一种视频效果模式。

视频合成单元802，可以根据效果参数和素材集合的属性，将素材集合中的多个素材元素合成为视频效果模式的视频。在一个实施例中，视频合成单元802可以对素材集合进行标准化处理，以使得各个素材元素转换成预定格式。预定格式包括图像编码格式、图像播放帧率和图像尺寸。根据效果参数，视频合成单元802将经过标准化处理的素材集合合成为相应视频。在又一个实施例中，视频合成单元802可以基于用于在预定的视频合成应用中执行的多个视频合成脚本，确定效果参数所对应的多个渲染阶段。其中，每个视频合成脚本对应于一种视频合成效果，每个渲染阶段包括上述多个视频合成脚本中至少一个脚本，每个渲染阶段的渲染结果为下一个渲染阶段的输入内容。基于多个渲染阶段，对素材集合进行渲染，以生成相应视频。视频效果模式例如可以包括相邻素材元素之间的视频转场模式。需要说明的是，装置800更具体的实施方式与方法400一致，这里不再赘述。

图9示出了根据本申请一些实施例的视频合成装置900的示意图。装置900例如可以驻留在视频合成应用中。该视频合成应用例如可以驻留在服务器120中，但不限于此。

如图9所示，装置900包括通信单元901和视频合成单元902。这里，通信单元901可以被实现为与通信单元801一致的实施方式。视频合成单元902可以被实现为与视频合成单元802一致的实施方式，这里不再赘述。另外，装置900还可以包括语音合成单元903、字幕生成单元904和添加单元905。

当素材集合中一个素材元素包括图片内容和相应的文字内容时，语音合成单元903可以生成与文字内容对应的语音信息。字幕生成单元904可以生成与语音信息对应的字幕信息。在此基础上，添加单元905用于将语音信息和字幕信息加入到已生成的视频中。需要说明的是，装置900更具体的实施方式与方法600一致，这里不再赘述。

图10示出了一个计算设备的组成结构图。如图10所示，该计算设备包括一个或者多个处理器(CPU或GPU)1002、通信模块1004、存储器1006、用户接口1010，以及用于互联这些组件的通信总线1008。

处理器1002可通过通信模块1004接收和发送数据以实现网络通信和/或本地通信。

用户接口1010包括一个或多个输出设备1012，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1010也包括一个或多个输入设备1014，其包括诸如，键盘，鼠标，声音命令输入单元或扩音器，触屏显示器，触敏输入板，姿势捕获摄像机或其他输入按钮或控件等。

存储器1006可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。

存储器1006存储处理器1002可执行的指令集，包括：

操作系统1016，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

应用1018，包括用于实现上述方法的各种程序，这种程序能够实现上述各实例中的处理流程，比如可以包括根据本申请的视频素材处理应用。视频素材处理应用可以包括图7所示的视频素材的处理装置700。另外，在计算设备被实现为服务器120时，应用1018可以包括视频合成应用。视频合成应用例如可以包括图8所示的视频合成装置800或图9所示的视频合成装置900。

另外，本申请的每一个实例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本申请。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。

因此本申请还公开了一种非易失性存储介质，其中存储有数据处理程序，该数据处理程序用于执行本申请上述方法的任何一种实例。

另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。

以上所述仅为本申请的较佳实例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (13)

1.一种视频素材的处理方法，其特征在于，包括：

获取待合成视频的素材集合，并确定所述素材集合的属性，其中，该素材集合包括多个素材元素，每个素材元素包括图片、文字、音频和视频中至少一种媒体内容，所述属性包括该素材集合中各素材元素的播放顺序和播放时长，其中，所述获取待合成视频的素材集合，包括：获取一段视频；根据预定的视频剪辑算法，从该段视频中提取至少一个视频片段并生成每个视频片段的描述信息；提供显示所述每个视频片段的描述信息的用户界面，以便用户根据每个视频片段的描述信息进行片段选择；响应于对所述至少一个视频片段的选择操作，分别将所选定的每个视频片段作为所述素材集合中一个素材元素的视频内容；

确定与所述素材集合对应的效果参数，所述效果参数对应于一种视频效果模式；以及

将所述素材集合和所述效果参数传输至所述视频合成服务器，以便所述视频合成服务器根据所述效果参数和所述素材集合的属性，将所述素材集合中的多个素材元素合成为对应于所述视频效果模式的视频。

2.如权利要求1所述的方法，其中，所述获取待合成视频的素材集合，包括：

提供用于获取素材元素的用户界面，所述用户界面包括分别对应于至少一种媒体类型的至少一个控件，所述至少一种媒体类型包括：文字、图片、音频、视频中的至少一个；

响应于对所述用户界面中任一控件的操作，获取与该控件的媒体类型对应的媒体内容，并将其作为所述素材集合中一个素材元素的一项媒体内容。

3.如权利要求2所述的方法，其中，所述响应于对所述用户界面中任一控件的操作，获取与该控件的媒体类型对应的媒体内容，并将其作为所述素材集合中一个素材元素的一项媒体内容，包括：

响应于对所述用户界面中一个图片控件的操作，获取一张图片并将其作为所述素材集合的一个素材元素的图片内容。

4.如权利要求2所述的方法，其中，所述响应于对所述用户界面中任一控件的操作，获取该控件对应的媒体类型的媒体内容，并将其作为所述素材集合中一个素材元素的一项媒体内容，包括：

响应于对所述用户界面中一个视频控件的操作，获取一个视频片段并将其作为所述素材集合的一个素材元素的视频内容。

5.如权利要求1所述的方法，其中，所述根据预定的视频剪辑算法，从该段视频中提取至少一个视频片段并生成每个视频片段的描述信息，包括：

确定所述视频的至少一个关键图像帧；

对于每个关键图像帧，从该视频中提取包含该关键图像帧的一个视频片段，该视频片段包括一个相应的音频片段；

对所述音频片段进行文字识别以获取相应的文字，并根据所述文字生成与所述视频片段对应的描述信息。

6.如权利要求1所述的方法，其中，所述确定所述素材集合的属性，包括：

提供呈现所述素材集合中各素材元素对应的缩略图的用户界面，所述各素材元素对应的缩略图在所述用户界面的相应显示区域内依次排列；

响应于对所述用户界面中缩略图的移动操作而调节所述素材集合中各元素的排列顺序，并将调节后的排列顺序作为所述素材集合的播放顺序。

7.如权利要求1所述的方法，其中，所述确定与所述素材集合对应的效果参数，所述效果参数对应于一种视频效果模式，包括：

提供包含多个效果选项的用户界面，其中，每个效果选项对应于一种效果参数；

响应于对所述多个效果选项中任一个的预览操作，在所述用户界面中显示相应的预览效果图；

响应于对所述多个效果选项中任一个的选定操作，将所选定的效果选项所对应的效果参数作为与所述素材集合对应的效果参数。

8.如权利要求1所述的方法，进一步包括，向所述视频合成服务器发送视频合成请求，以便所述视频合成服务器响应于所述视频合成请求而将所述素材集合中的多个素材元素合成为对应于所述视频效果模式的所述视频。

9.一种视频合成方法，其特征在于，包括：

从视频素材客户端获取一个待合成视频的素材集合和关于该素材集合的效果参数，其中，所述素材集合包括多个素材元素，每个素材元素包括图片、文字、音频和视频中至少一种媒体内容，所述素材集合的属性包括该素材集合中各个素材元素的播放顺序和播放时长，所述效果参数对应于一种视频效果模式；

根据所述效果参数和所述素材集合的属性，将所述素材集合中的多个素材元素合成为所述视频效果模式的视频，包括：基于用于在预定的视频合成应用中执行的多个视频合成脚本，确定所述效果参数所对应的多个渲染阶段，其中，每个视频合成脚本对应于一种视频合成效果，每个渲染阶段包括所述多个视频合成脚本中至少一个脚本，每个渲染阶段的渲染结果为下一个渲染阶段的输入内容；基于所述多个渲染阶段，对所述素材集合进行渲染，以生成所述视频。

10.如权利要求9所述的方法，其中，当所述素材集合中一个素材元素包括图片内容和相应的文字内容时，该方法还包括：

生成与所述文字内容对应的语音信息；

生成与所述语音信息对应的字幕信息；

将所述语音信息和所述字幕信息加入到所述视频中。

11.一种视频素材的处理装置，其特征在于，包括：

素材获取单元，获取待合成视频的素材集合，并确定所述素材集合的属性，其中，该素材集合包括多个素材元素，每个素材元素包括图片、文字、音频和视频中至少一种媒体内容，所述属性包括该素材集合中各素材元素的播放顺序和播放时长，其中，所述素材获取单元用于根据下述方式获取待合成视频的素材集合：获取一段视频；根据预定的视频剪辑算法，从该段视频中提取至少一个视频片段并生成每个视频片段的描述信息；提供显示所述每个视频片段的描述信息的用户界面，以便用户根据每个视频片段的描述信息进行片段选择；响应于对所述至少一个视频片段的选择操作，分别将所选定的每个视频片段作为所述素材集合中一个素材元素的视频内容；

效果确定单元，确定与所述素材集合对应的效果参数，所述效果参数对应于一种视频效果模式；以及

传输单元，将所述素材集合和所述效果参数传输至所述视频合成服务器，以便所述视频合成服务器根据所述效果参数和所述素材集合的属性，将所述素材集合中的多个素材元素合成为对应于所述视频效果模式的视频。

12.一种视频合成装置，其特征在于，包括：

通信单元，从视频素材客户端获取一个待合成视频的素材集合和关于该素材集合的效果参数，其中，所述素材集合包括多个素材元素，每个素材元素包括图片、文字、音频和视频中至少一种媒体内容，所述素材集合的属性包括该素材集合中各个素材元素的播放顺序和播放时长，所述效果参数对应于一种视频效果模式；

视频合成单元，根据所述效果参数和所述素材集合的属性，将所述素材集合中的多个素材元素合成为所述视频效果模式的视频，其中，所述视频合成单元基于用于在预定的视频合成应用中执行的多个视频合成脚本，确定所述效果参数所对应的多个渲染阶段，基于所述多个渲染阶段，对所述素材集合进行渲染，以生成所述视频，其中每个视频合成脚本对应于一种视频合成效果，每个渲染阶段包括所述多个视频合成脚本中至少一个脚本，每个渲染阶段的渲染结果为下一个渲染阶段的输入内容。

13.一种存储介质，存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1-10中任一项所述的方法。

Images