CN112040271A - 可视化编程的云端智能剪辑系统及其方法 - Google Patents

Abstract

本发明实施例公开了一种可视化编程的云端智能剪辑系统及方法，系统包括：模板编辑模块，用于新建素材，保存素材定义、工具调用的依赖关系、素材在时间和空间上的顺序关系；模板测试模块，用于提供人机交互窗口，使得创作者进行素材上传及提交视频合成请求；视频转码模块，用于根据素材的定义和工具调用的依赖关系对素材进行批处理，并根据顺序关系对素材进行渲染和编码，最终生成视频。实施本发明实施例，以创意模板化为核心，采用可视化配置的方式，对音视频相关的处理技术做了易用性封装，大大降低了用户制作短视频的门槛，真正实现创意的所见即所得，使得商家可以容易地规模化生产短视频内容，提高了商家的流量获取能力。

Description

可视化编程的云端智能剪辑系统及其方法

技术领域

本发明涉及计算机软件技术领域，具体涉及一种可视化编程的云端智能剪辑系统及其方法。

背景技术

随着短视频越来越流行，人们越来越乐于从视频中接受获取信息，但是对于绝大多数中小商家来说，短视频的制作都有一个很高的门槛，例如：脚本、模特、拍摄、后期，每一项都是专业性非常强的工作并且成本都不低，导致商家很难规模化生产短视频内容，极大的限制了商家的流量获取能力。

发明内容

针对现有技术中的技术缺陷，本发明实施例的目的在于提供一种可视化编程的云端智能剪辑系统及其方法。

为实现上述目的，第一方面，本发明实施例提供了一种可视化编程的云端智能剪辑系统，包括：

模板编辑模块，用于接收创作者对素材的新建操作，生成并保存所述素材的定义、工具调用的依赖关系、素材在时间和空间上的顺序关系；

模板测试模块，用于提供人机交互窗口，使得所述创作者通过所述人机交互窗口进行素材上传及提交视频合成请求；

视频转码模块，用于基于所述视频合成请求，根据素材的定义和工具调用的依赖关系对所述模板测试模块上传的当前素材进行批处理，并根据所述顺序关系对批处理后的当前素材进行渲染和编码，最终生成视频。

作为本申请一种具体的实施方式，所述模板编辑模块采用B/S架构。

在某申请的某些具体实施方式中，所述模板编辑模块提供一用户界面，所述用户界面包括：

素材输入区，用于接收所述创作者新建的素材，采用json数据结构描述所述素材的定义，并将所述素材存储于云端；

素材存放区，用于展示所述素材输入区新建并定义的所述素材，并对所述素材进行工具添加处理，以得到工具调用的依赖关系；

素材加工区，用于提供加工工具对所述素材进行处理；

素材编排区，用于对所述素材存放区的素材在时间和空间上的顺序关系进行定义。

其中，所述素材包括固定素材、用户素材和选择题素材；所述素材输入区、素材存放区、素材加工区及素材编排区中均将所述素材分为音、视、图及文四种素材类型。

进一步地，所述素材存放区的素材和所述素材加工区的工具通过所述素材类型进行关联。

进一步地，所述素材编排区包括视频轨和音频轨，且支持多轨；所述视频轨或音频轨和所述素材之间为一对多关系，并采用数据库的关系模型存储所述一对多关系。

在某申请的某些具体实施方式中，所述视频转码模块包括：

素材处理单元，用于处理创作者上传的素材，根据所述素材加工区的加工工具串行地对素材进行处理；

音频混音单元，用于根据所述素材处理单元的处理结果进行音频混流操作，最终合成一路音频输出；

视频转场单元，用于基于所述素材处理单元的处理结果，以轨道为单位，根据素材的时间关系将待转场的两端视频进行拼接；

视频叠加单元，用于基于所述视频转场单元的拼接结果，根据所述素材编排区定义的素材在时间和空间上的顺序关系进行多路视频叠加混流操作，最终合成一路视频输出；

音视频复用单元，用于将所述一路音频和一路视频通过复用器封装至视频容器中。

第二方面，本发明实施例提供了一种可视化编程的云端智能剪辑方法，包括：

接收创作者对素材的新建操作，生成并保存所述素材的定义、工具调用的依赖关系、素材在时间和空间上的顺序关系；

提供一人机交互窗口，使得所述创作者通过所述人机交互窗口进行素材上传及提交视频合成请求；

基于所述视频合成请求，根据素材的定义和工具调用的依赖关系对所述模板测试模块上传的当前素材进行批处理，并根据所述顺序关系对批处理后的当前素材进行渲染和编码，最终生成视频。

实施本发明实施例的可视化编程的云端智能剪辑系统及其方法，以创意模板化为核心，采用可视化配置的方式，对音视频相关的处理技术做了易用性封装，大大降低了用户制作短视频的门槛，真正实现创意的所见即所得，使得商家可以容易地规模化生产短视频内容，提高了商家的流量获取能力。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明实施例提供的可视化编程的云端智能剪辑系统的结构示意图；

图2是图1中模板编辑模块的结构示意图；

图3是图1中视频转码模块的结构示意图；

图4是本发明实施例提供的可视化编程的云端智能剪辑方法的示意流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本发明实施例提供的可视化编程的云端智能剪辑系统包括：

模板编辑模块10，用于接收创作者对素材的新建操作，生成并保存所述素材的定义、工具调用的依赖关系、素材在时间和空间上的顺序关系；

模板测试模块20，用于提供人机交互窗口，使得所述创作者通过所述人机交互窗口进行素材上传及提交视频合成请求；

视频转码模块30，用于基于所述视频合成请求，根据素材的定义和工具调用的依赖关系对所述模板测试模块上传的当前素材进行批处理，并根据所述顺序关系对批处理后的当前素材进行渲染和编码，最终生成视频。

其中，模板编辑模块10是实现创意模板化的核心模块，采用B/S架构，在pc端的浏览器上操作，分为如图2所示的素材输入区101、素材存放区102、素材加工区103和素材编排区104。

素材输入区101，用于接收所述创作者新建的素材，采用json数据结构描述所述素材的定义，并将所述素材存储于云端。具体地，素材输入区是模板所用素材的来源，在逻辑上对素材进行了细分，分为固定素材、用户素材、选择题素材，其中每个分类素材又可以有音、视、图、文四种类型。顾名思义，固定素材是指所有用户都会使用的素材、用户素材是指需要用户上传的素材、选择题素材则是采用问答的形式和用户互动。系统采用json的数据结构去描述素材定义，素材本身存放在阿里云oss。

素材存放区102，用于展示所述素材输入区新建并定义的所述素材，并对所述素材进行工具添加处理，以得到工具调用的依赖关系。具体地，素材存放区提供了一个区域让创作者可以看见在素材输入区定义和上传的素材，并对素材添加工具进行处理。和素材输入区一样，素材存放区也有音、视、图、文四种素材类型。

素材加工区103，用于提供加工工具对所述素材进行处理。具体地，素材加工区提供了丰富的加工工具让创作者可以对素材进行处理，扩展创作者的创意边界。素材加工区的分类也有音、视、图、文四种类型，因此素材存放区的素材和素材加工区的工具可以通过素材类型联系在一起。素材加工区的工具是对音视频剪辑操作的抽象，单个工具对应着传统音视频剪辑领域中的单个剪辑操作，比如视频工具中的截取时长就对应着传统音视频剪辑领域中的剪切操作。

需要说明的是，对素材添加工具后系统并不会马上对素材进行处理，系统只是记录当前素材和被选择工具之间的关系。一个素材被添加工具后系统会创建一个新的素材(后面统称为衍生素材)，衍生素材在逻辑上是工具的输出。其中的关系是：工具可以被看作是一个函数，素材作为函数的输入，衍生素材是函数的输出。衍生素材和用户在素材输入区输入的素材是一样的语义，享受同等待遇，即衍生素材也可以作为素材加工工具的输入并且产生输出，以此类推，这种工具链的方式可以实现对素材进行非常丰富的处理。本实施例的系统以树结构来描述此种具有依赖关系的数据，数据的访问采用深度优先遍历法，可以非常高效的查找某个素材。

素材编排区104，用于对所述素材存放区的素材在时间和空间上的顺序关系进行定义。

具体地，素材编排区是对素材存放区的素材进行时间和空间顺序上的关系的定义，即哪个素材片段在什么时间点什么空间位置播放。本实施例中，借鉴了传统音视频剪辑领域轨道的方式，让创作者可以更直观的进行素材编排。且，素材编排区包含视频轨和音频轨，支持多轨。对于视频类素材来说，包括视频和图片，可以被放在视频轨上，有时间和空间属性，多轨即是空间属性的体现。音频轨只能放置音频类素材，具备时间属性，不具备空间属性。文字类型的素材可以通过文字样式工具转换为图片放置在视频轨上。一个轨道可以放置多个素材，所以轨道和素材的关系是一对多的关系，采用传统关系型数据库经典的关系模型存储。

进一步地，模板测试模块20主要是小程序，提供了系统和用户交互的窗口，分为用户输入列表和提交合成两个部分。用户输入列表与模板编辑模块中的用户素材和选择题素材相对应。用户素材中的音、视、图、文四种不同的素材类型，每一种类型在小程序端都有相应的用户输入模块。选择题素材在小程序端的体现和传统的问卷调查非常相似。提交合成用于向视频转码模块提交视频合成请求以及获取响应结果。

进一步地，如图3所示，视频转码模块30包括：

素材处理单元301，用于处理创作者上传的素材，根据所述素材加工区的加工工具串行地对素材进行处理；

音频混音单元302，用于根据所述素材处理单元的处理结果进行音频混流操作，最终合成一路音频输出；

视频转场单元303，用于基于所述素材处理单元的处理结果，以轨道为单位，根据素材的时间关系将待转场的两端视频进行拼接；

视频叠加单元304，用于基于所述视频转场单元的拼接结果，根据所述素材编排区定义的素材在时间和空间上的顺序关系进行多路视频叠加混流操作，最终合成一路视频输出；

音视频复用单元305，用于将所述一路音频和一路视频通过复用器封装至视频容器中。

需要说明的是，视频转码模块的实现使用了音视频处理领域著名的开源项目ffmpeg以及计算机视觉领域著名的开源库opencv。视频转码模块抽象了五种类型的任务，素材处理任务、音频混音任务、视频转场任务、视频叠加任务和音视频复用任务。上述的五个单元对应于此处的五种任务。

其中，素材处理任务用于处理创作者及用户上传的素材，根据模板配置的加工工具串行的对素材进行处理，多个素材处理任务采用多线程方式运行，每个素材处理任务都处理唯一的一个素材，多个素材处理任务之间处理的素材不重叠。

所有的素材任务处理完成后，根据素材的类别，分别进行音频混音任务和视频转场任务。

音频混音任务即是对输入的多路音频进行混流操作最终合成一路音频输出。

视频转场任务以轨道为单位，对于单个轨道而言，视频转场任务根据素材的时间关系，从第一个素材开始到最后一个素材结束，依次遍历，把需要转场的两段视频采用特效的方式进行拼接，多个轨道的视频转场任务可以并行处理。视频叠加任务的处理在视频转场任务完成后，根据素材编排区定义的时间关系和空间关系进行多路视频的叠加混流最终合成并一路视频输出。

音频混音任务和视频叠加任务都完成后进行音视频复用任务，即把音频和视频通过复用器封装在特定格式的视频容器中。

实施本发明实施例的可视化编程的云端智能剪辑系统，以创意模板化为核心，采用可视化配置的方式，对音视频相关的处理技术做了易用性封装，大大降低了用户制作短视频的门槛，真正实现创意的所见即所得，使得商家可以容易地规模化生产短视频内容，提高了商家的流量获取能力。

举例来说，采用传统的方式制作一条1分钟时长短视频片子，制作成本最低也要3000元人民币，制作周期最快也要一周的时间；采用可视化编程的云端智能剪辑系统制作一条同样时长的片子，创意耗时约为一个小时(即模板配置)，制作周期为1到2分钟，制作成本为2元人民币。

基于相同的发明构思，本发明实施例提供了一种可视化编程的云端智能剪辑方法。如图4所示，该方法包括：

S101，接收创作者对素材的新建操作，生成并保存所述素材的定义、工具调用的依赖关系、素材在时间和空间上的顺序关系；

S102，提供一人机交互窗口，使得所述创作者通过所述人机交互窗口进行素材上传及提交视频合成请求；

S103，基于所述视频合成请求，根据素材的定义和工具调用的依赖关系对所述模板测试模块上传的当前素材进行批处理，并根据所述顺序关系对批处理后的当前素材进行渲染和编码，最终生成视频。

需要说明的是，关于本方法实施例中更为具体的细节描述，请参考前述方法实施例部分，在此不再赘述。

举例来说，本发明提供的可视化编程的云端智能剪辑方法具体操作流程可描述如下：

(1)创作者创建模板，可视化编程的云端智能剪辑系统初始化模板编辑模块；

(2)创作者新建素材，系统保存素材的定义；

(3)创作者根据创意需要对素材添加工具处理，系统保存工具调用的依赖关系；

(4)创作者在轨道区域编排素材，系统保存素材在时间和空间上的顺序关系；

(5)创作者进入测试小程序测试模板，根据模板引导上传素材，提交合成；

(6)系统根据素材的定义和工具调用的依赖关系对素材进行批处理，再根据素材在时间和空间上的关系渲染并编码视频。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种可视化编程的云端智能剪辑系统，其特征在于，包括：

模板编辑模块，用于接收创作者对素材的新建操作，生成并保存所述素材的定义、工具调用的依赖关系、素材在时间和空间上的顺序关系；

模板测试模块，用于提供人机交互窗口，使得所述创作者通过所述人机交互窗口进行素材上传及提交视频合成请求；

视频转码模块，用于基于所述视频合成请求，根据素材的定义和工具调用的依赖关系对所述模板测试模块上传的当前素材进行批处理，并根据所述顺序关系对批处理后的当前素材进行渲染和编码，最终生成视频。

2.如权利要求1所述的可视化编程的云端智能剪辑系统，其特征在于，所述模板编辑模块采用B/S架构。

3.如权利要求2所述的可视化编程的云端智能剪辑系统，其特征在于，所述模板编辑模块提供一用户界面，所述用户界面包括：

素材输入区，用于接收所述创作者新建的素材，采用json数据结构描述所述素材的定义，并将所述素材存储于云端；

素材存放区，用于展示所述素材输入区新建并定义的所述素材，并对所述素材进行工具添加处理，以得到工具调用的依赖关系；

素材加工区，用于提供加工工具对所述素材进行处理；

素材编排区，用于对所述素材存放区的素材在时间和空间上的顺序关系进行定义。

4.如权利要求3所述的可视化编程的云端智能剪辑系统，其特征在于，所述素材包括固定素材、用户素材和选择题素材；所述素材输入区、素材存放区、素材加工区及素材编排区中均将所述素材分为音、视、图及文四种素材类型。

5.如权要求4所述的可视化编程云端智能剪辑系统，其特征在于，所述素材存放区的素材和所述素材加工区的工具通过所述素材类型进行关联。

6.如权利要求3所述的可视化编程云端智能剪辑系统，其特征在于，所述素材编排区包括视频轨和音频轨，且支持多轨；所述视频轨或音频轨和所述素材之间为一对多关系，并采用数据库的关系模型存储所述一对多关系。

7.如权利要求3所述的可视化编程云端智能剪辑系统，其特征在于，所述视频转码模块包括：

素材处理单元，用于处理创作者上传的素材，根据所述素材加工区的加工工具串行地对素材进行处理；

音频混音单元，用于根据所述素材处理单元的处理结果进行音频混流操作，最终合成一路音频输出；

视频转场单元，用于基于所述素材处理单元的处理结果，以轨道为单位，根据素材的时间关系将待转场的两端视频进行拼接；

视频叠加单元，用于基于所述视频转场单元的拼接结果，根据所述素材编排区定义的素材在时间和空间上的顺序关系进行多路视频叠加混流操作，最终合成一路视频输出；

音视频复用单元，用于将所述一路音频和一路视频通过复用器封装至视频容器中。

8.一种可视化编程的云端智能剪辑方法，其特征在于，包括：

接收创作者对素材的新建操作，生成并保存所述素材的定义、工具调用的依赖关系、素材在时间和空间上的顺序关系；

提供一人机交互窗口，使得所述创作者通过所述人机交互窗口进行素材上传及提交视频合成请求；

基于所述视频合成请求，根据素材的定义和工具调用的依赖关系对所述模板测试模块上传的当前素材进行批处理，并根据所述顺序关系对批处理后的当前素材进行渲染和编码，最终生成视频。

Images