CN103078937A

CN103078937A - 一种基于信息网络的多视频云端合成的方法、客户端、服务器及系统

Info

Publication number: CN103078937A
Application number: CN2012105927683A
Authority: CN
Inventors: 李松; 陈翌; 付岗; 邢达; 孙姝; 刘伟; 王海; 姚键; 潘柏宇; 卢述奇
Original assignee: 1Verge Internet Technology Beijing Co Ltd
Current assignee: Alibaba Cloud Computing Ltd
Priority date: 2012-12-31
Filing date: 2012-12-31
Publication date: 2013-05-01
Anticipated expiration: 2032-12-31
Also published as: CN103078937B

Abstract

本发明提供了一种基于信息网络的多视频云端合成的方法、客户端、服务器及系统。包括：客户端向服务器请求视频列表；服务器根据从客户端接收到的视频列表请求中所包含的条件，生成符合条件的视频列表并发送给客户端；客户端从接收的视频列表中选择用于后期视频合成的视频片段，形成剪辑设定；客户端将生成的剪辑设定发送给服务器；服务器利用从客户端接收到的剪辑设定创建剪辑任务，对客户端选择的视频片段进行视频合成。通过本发明，可在云端完成视频的剪辑合成，极大的节省了视频编辑工作的人力、物力成本。

Description

一种基于信息网络的多视频云端合成的方法、客户端、服务器及系统

技术领域

本发明涉及视频剪辑领域，尤其涉及一种基于信息网络的多视频云端合成的方法、客户端、服务器及系统。

背景技术

现有的视频剪辑技术都是在客户端完成后再把最后的目标视频上传到服务器上，剪辑及合成的全过程需要执行剪辑的机器运行，且限定了剪辑人和机器的地点。而视频合成是耗时的工作。在云端完成可以极大的节省视频编辑工作的人力、物力成本。

发明内容

鉴于现有技术中存在的问题，本发明的目的在于提供一种基于信息网络的多视频云端合成的方法、客户端、服务器及系统。

本发明提供了一种基于信息网络的多视频云端合成的方法，包括步骤：

客户端向服务器请求视频列表；

服务器根据从客户端接收到的视频列表请求中所包含的条件，生成符合条件的视频列表并发送给客户端；

客户端从接收的视频列表中选择用于后期视频合成的视频片段，形成剪辑设定；

客户端将生成的剪辑设定发送给服务器；

服务器利用从客户端接收到的剪辑设定创建剪辑任务，对客户端选择的视频片段进行视频合成。

优选的，其中客户端向服务器请求视频列表的请求消息中包含有相关视频的拍摄时间信息及地理位置信息。

优选的，其中服务器在收到客户端发送的剪辑设定后，以客户端选择的视频列表中视频的时间轴为顺序，对视频列表内的视频片段进行合成，其中对于时间轴上存在多段视频片段的重合部分，服务器随机选择一条视频片段用于合成后的视频。

优选的，其中服务器在收到客户端选择的用于视频合成的视频列表后，可对视频列表中包含的视频进行预处理，提取出有效视频片段，并对有效视频片段进行视频合成。

优选的，其中服务器预先对所存储的视频进行预处理，提取出其中的有效片段。

优选的，其中所述的剪辑设定包含用户指定必须包含的视频片段，和/或淡入淡出特效，和/或慢动作。

本发明还提供了一种可实现基于信息网络的多视频云端合成的客户端，包括：

请求模块，用于向服务器请求视频列表；

视频列表接收模块，用于从服务器接收所请求的视频列表，该视频列表是根据请求模块所发送请求中包含的条件生成的；

剪辑设定模块，用于从接收的视频列表中选择用于后期视频合成的视频片段，形成剪辑设定；

剪辑设定发送模块，用于将生成的剪辑设定发送给服务器，以供服务器利用该剪辑设定中的信息进行视频合成。

本发明还提供了一种可实现基于信息网络的多视频云端合成的服务器，包括：

请求接收模块，用于从客户端接收视频列表请求；

视频列表发送模块，用于根据从客户端接收到的视频列表请求中所包含的条件，生成符合条件的视频列表并发送给客户端；

剪辑设定接收模块，用于从客户端接收剪辑设定，该剪辑设定包含客户端从接收到的视频列表中选择出的用于后期视频合成的视频片段列表；

剪辑模块，用于根据从客户端接收到的剪辑设定创建剪辑任务，对客户端选择的视频片段进行视频合成。

本发明还提供了一种可实现基于信息网络的多视频云端合成的系统，包含如上所述任意一种客户端，以及如上所述任意一种服务器。

附图说明

图1例示了本发明中基于信息网络的多视频云端合成的第一实施例；

图2例示了本发明服务器对多段视频进行合成的第二实施例；

图3例示了本发明优选的第三实施例；

图4例示了本发明优选的服务器视频合成的第四实施例；

图5例示了本发明视频云端合成方法的一个实施例的流程图；

图6例示了本发明中所述的可实现基于信息网络的多视频云端合成的客户端；

图7例示了本发明中所述的可实现基于信息网络的多视频云端合成的服务器。

具体实施方式

为使本发明的上述目的、特征和优点更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

在本发明中，服务器端提供如下接口：

剪辑设定提交接口：接受客户端的剪辑设定请求。如果设定被接受，返回剪辑任务ID。剪辑设定包含目标视频中的每一个片段的开始时间点、时长，源视频ID、开始时间点和时长。源视频在剪辑设定中出现的次数不限。

状态查询接口：根据剪辑任务ID查询剪辑完成的状态。

附图1例示了本发明中基于信息网络的多视频云端合成的第一实施例。

如附图1所示，服务器保存有多段视频，在客户端的请求下，服务器向客户端提供符合客户端请求的视频列表，以供用户观看和选择。

在服务器端所保存的多段视频中，每段视频都包含有相应的视频信息，例如涉及拍摄时间、拍摄地点等信息，客户端在向服务器请求视频列表时，可在请求中包含有所请求视频的相关信息，例如仅获取某一时间段拍摄的、在某一地点拍摄的视频。

在图1所示的实施例中，服务器可向客户端提供6段符合要求的视频列表，这6段视频例如是在同一时间段内，在同一地点，利用不同机位拍摄的视频。其中机位4拍摄的视频中还可包括相关信息，以标示该段视频仅用于供用户观看，不可用于后期的剪辑合成。

用户在收到服务器返回的视频列表后，可对准备用于进行视频合成的视频片段进行选择，并将选定的视频列表提交给服务器。

在图1所示的实施例中，用户选择了机位1、2、5、6拍摄的4段视频片段用于视频合成。

服务器在收到客户端发送的用于剪辑的视频列表后，以该视频列表中视频的时间轴为顺序，对视频列表内的视频片段进行合成，其中对于时间轴上存在多段视频片段的重合部分，服务器随机选择一条视频片段用于合成后的视频。

通过图1所示的方法，客户端可以很方便的对多段视频进行云端合成。

图2例示了本发明服务器对多段视频进行合成的第二实施例。

如图2所示，服务器在收到客户端选择的用于视频合成的视频列表后，可对视频列表中包含的视频进行预处理，提取出有效视频片段，并对有效视频片段进行视频合成。

在实际的视频拍摄过程中，由于机器晃动等原因，视频中的某些部分拍摄质量较低，不适合用于进行视频合成。另外，视频中还包括有片头片尾、过场视频等，这些片段并不包含用户期望进入合成后视频的内容，因而其也不属于有效的视频片段。

保存于服务器端的“原料视频”，除视频文件之外，还包含一些附加信息（包括视频的文件名）保存于数据库中，这些附加信息可包括如下内容：

●视频拍摄地点的地理位置信息，即经纬度。服务器端在选择视频时，可根据设定值阈值（比如50米，经验设定值，可修改配置）选择地理距离在一定范围的视频，将其作为同一地点拍摄的视频；

●视频拍摄开始的绝对时间，该绝对时间可以由拍摄设备通过GPS卫星提供的绝对时间获取并提交到服务器（视频上传及附加信息的提交不包含在本发明所描述的过程中，不做详细叙述），也可以由服务器端运营人员后期填写；

●每段视频的有效片段的时间段描述，即开始和结束时间偏移；

●每段视频的质量判定值

其中对于视频质量的判定方法，即关于有效片段的判断和提取，可以有多种方式实现，例如可依据对视频质量的检测实现，主要是根据如下几个因素：

1.亮度：如果画面整体色彩不够丰富，接近黑屏或全屏都为某种颜色，可判定该段视频片段为非有效视频片段；

2.噪点数量和所占像素点的比例，如果噪点数量或所占像素点的比例超过某一阈值，可判定该段视频片段为非有效视频片段；

3.时长，以及片头、片尾、中间模糊或晃动及过场画面所占的时长比例。片头、片尾、模糊、晃动及过场画面的判断，是通过对视频画面比对的技术完成的，具体方法是：首先，视频文件是由一系列完整的画面构成，称为帧。移动设备上传的视频一般会被转码成每秒22帧或25帧（即帧率，根据最终视频的清晰度规格不同，选择不同的帧率）。对图像的每一个像素点的颜色计算其YUV值，两个像素点之间的Y、U、V分量差值超过一定阈值（比如5，经验值参数，可调整优化）则认为在连续的两个画面里这两个点是不同的。通过对图像的所有像素点进行颜色对比，可以得到不同颜色的像素点的差异，如果总体达到50%（经验值参数，可调整优化）以上，则认为两幅画面是不同的。把整幅画面做如上的对比，误差很大，实际的操作中是把整幅画面切割成16x16（经验值参数，可调整）的多幅小图片，分别进行如上比对，然后对连续两帧的整幅画面切割出来的所有小图片计算其不同的小图所占的比例，如果超过60%（经验值参数，可调整），则认为两幅画面是不同的。当短时间（比如3秒，经验值参数，可调整）内连续的画面不同时，则认为这一段画面变化过快，属于晃动或模糊的过场画面，不适合出现在结果视频中。

另外，在判断的过程中，如果画面在一段时间内全部呈现同一颜色，比如全白或全红，全黑等，也认为是设备的镜头拍摄了无效的画面，不会被用于生成结果视频。

优选的，在实际操作中，对于一段视频中的片头、片尾、中间模糊或晃动的过场画面会在视频上传并转码完成后即刻进行计算并入库，不需要每一次剪辑重做一遍，节省生成新的视频的时间。

图3例示了本发明优选的第三实施例。

优选的，用户还可以对视频指定的特定时间段的片段进行特殊设定，比如必须包含该段、淡入淡出等特效、慢动作等（设定了特效的视频片断自动被设置为必须包含）。

如图3所示，用户提交的编辑设定清单中包含这样一些内容：

●选定要用来做拼接原材料的视频

●在选定的视频中可以设定一些时间段，指定进行特殊处理（如当其他视频包含同样时间段内容时，一定要使用该段视频中的片段、淡入淡出、慢动作等）。

对于整个时间线上用户未特别指出的时间段，原材料视频及其中片段的选取交由服务器端决定。

图4例示了本发明优选的服务器视频合成的第四实施例。

如图4所示，图中除了对于用户设定好的视频片断之外，整个时间线上其他的时间段视频片断的选取，采用随机算法。

首先依据的是如上所述的对于视频的片头、片尾、模糊或晃动等质量不好的片段，除用户特殊指定的之外，进行筛除处理，生成可用来进行拼接操作的原料片段清单，该清单包含每段可用视频及其中可用片段的时间段描述；然后按照一定算法进行选择。

选择的算法可以有两种，一种是按照画质排序后完全随机选择，优先选择画质较好的片段，另一种是从其他视频中优先选择和前面已选片段不同视角或距离的片段，如果没有不同视角或距离的，再从剩下的视频中选择片段。后面这种选择方案需要服务器端事先对视频做视角和距离的比对，算法也是对不同视频的画面进行比对，如果画面的颜色差值超过一定阈值（经验阈值，可配置），则认为两段视频的视角和距离不同。

图5例示了本发明视频云端合成方法的一个实施例的流程图。

如图5所示，该视频云端合成方法包括步骤：

501、由客户端调用剪辑设定提交接口，提交对多个视频剪辑设定；

502、服务器端检查收到的剪辑设定，判断剪辑设定是否有误；

判断是否有时间段重叠等问题，主要针对的是用户特殊指定的片段是否有时间上的重叠。对于设定为慢动作的片段，由于其结束时间在目标视频中的时间线中会在原结束时间后面的位置，故判断的依据是在其由于慢动作处理造成的时间段扩充后，原时间段后面是否覆盖了其他的特殊设定片段的时间线，是否有足够的时间段可以容纳该段视频的慢动作；如果特殊指定的片段无时间段冲突，则创建剪辑任务，并返回剪辑任务ID；

503、根据剪辑设定中开始时间点和时长，从源视频中提取片段，再按照目标视频的开始时间点和时长进行拼接，生成最终视频文件；

在此步骤执行过程中可随时修改剪辑任务的完成状态和百分比。

504、视频剪辑工作完成后，如果成功，则修改剪辑任务的状态为“完成”，并根据回调执行后续步骤（包括对视频进行后续编码操作以产生不同码率的目标视频，及视频信息入库，这些操作是视频上传的标准流程，不包含在本发明所描述的内容中，不做详细叙述）；如果失败，则根据系统设置进行重试或修改剪辑任务的状态为“失败”，可以根据系统的预先设定，返回给编辑者重新编辑并再次尝试提交及合成，或者直接删除编辑任务，让编辑者重新操作。

拼接过程中，服务器端对视频进行对位的依据是原始视频中所包含、或由客户端提交后预先保存在数据库中的GPS绝对时间，加上视频中每一帧的时间偏移量。根据这些信息，服务器端把多段（服务器随机或操作者）选定的视频素材按帧进行拼接，生成最终的视频。

图6例示了本发明中所述的可实现基于信息网络的多视频云端合成的客户端。

如图6所示，该客户端包括：

请求模块，用于向服务器请求视频列表；

图6所示的客户端可用于执行本说明书中的任一实施例及其它等同替换，在执行某一实施例中各模块所执行的功能及具体操作方式，本领域技术人员根据本说明书上下文可显而易见的获知，因此在这里不再一一赘述。

如图7所示，该服务器包括：

请求接收模块，用于从客户端接收视频列表请求；

图7所示的服务器可用于执行本说明书中的任一实施例及其它等同替换，在执行某一实施例中各模块所执行的功能及具体操作方式，本领域技术人员根据本说明书上下文可显而易见的获知，因此在这里不再一一赘述。

通过本发明的技术方案，可以很方便的将多段视频进行云端视频合成。例如对于演唱会视频，可以从不同角度拍摄，在剪辑设定里，声音根据时间轴保持连续，视频画面可以在多个不同的视角进行切换。这时所产生的目标视频中，时间轴是严格连续的。也可以根据音频的质量进行人工干预，对音频轨进行剪辑拼接。

对于球赛等视频，在剪辑设定里可以把精彩的瞬间片段从不同的角度进行快速/慢速多次回放，回放结束后切换回来继续正常的时间轴，所产生的目标视频中其来源视频的片段在时间上可以有前后改变。

以上是对本发明的优选实施例进行的详细描述，但本领域的普通技术人员应该意识到，在本发明的范围内和精神指导下，各种改进、添加和替换都是可能的，例如调整接口调用顺序、改变消息格式和内容、使用不同的编程语言（如C、C++、Java等）实现等。这些都在本发明的权利要求所限定的保护范围内。

Claims

1.一种基于信息网络的多视频云端合成的方法，包括步骤：

客户端向服务器请求视频列表；

客户端将生成的剪辑设定发送给服务器；

2.根据权利要求1所述的基于信息网络的多视频云端合成的方法，其中客户端向服务器请求视频列表的请求消息中包含有相关视频的拍摄时间信息及地理位置信息。

3.根据权利要求1所述的基于信息网络的多视频云端合成的方法，其中服务器在收到客户端发送的剪辑设定后，以客户端选择的视频列表中视频的时间轴为顺序，对视频列表内的视频片段进行合成，其中对于时间轴上存在多段视频片段的重合部分，服务器随机选择一条视频片段用于合成后的视频。

4.根据权利要求1所述的基于信息网络的多视频云端合成的方法，其中服务器在收到客户端选择的用于视频合成的视频列表后，可对视频列表中包含的视频进行预处理，提取出有效视频片段，并对有效视频片段进行视频合成。

5.根据权利要求1所述的基于信息网络的多视频云端合成的方法，其中服务器预先对所存储的视频进行预处理，提取出其中的有效片段。

6.根据权利要求1所述的基于信息网络的多视频云端合成的方法，其中所述的剪辑设定包含用户指定必须包含的视频片段，和/或淡入淡出特效，和/或慢动作。

7.一种可实现基于信息网络的多视频云端合成的客户端，包括：

请求模块，用于向服务器请求视频列表；

8.根据权利要求7所述的可实现基于信息网络的多视频云端合成的客户端，其中客户端向服务器请求视频列表的请求消息中包含有相关视频的拍摄时间信息及地理位置信息。

9.根据权利要求7所述的可实现基于信息网络的多视频云端合成的客户端，其中服务器在收到客户端发送的剪辑设定后，以客户端选择的视频列表中视频的时间轴为顺序，对视频列表内的视频片段进行合成，其中对于时间轴上存在多段视频片段的重合部分，服务器随机选择一条视频片段用于合成后的视频。

10.根据权利要求7所述的可实现基于信息网络的多视频云端合成的客户端，其中服务器在收到客户端选择的用于视频合成的视频列表后，可对视频列表中包含的视频进行预处理，提取出有效视频片段，并对有效视频片段进行视频合成。

11.根据权利要求7所述的可实现基于信息网络的多视频云端合成的客户端，其中服务器预先对所存储的视频进行预处理，提取出其中的有效片段。

12.根据权利要求7所述的可实现基于信息网络的多视频云端合成的客户端，其中所述的剪辑设定包含用户指定必须包含的视频片段，和/或淡入淡出特效，和/或慢动作。

13.一种可实现基于信息网络的多视频云端合成的服务器，包括：

请求接收模块，用于从客户端接收视频列表请求；

14.根据权利要求13所述的可实现基于信息网络的多视频云端合成的服务器，其中客户端向服务器请求视频列表的请求消息中包含有相关视频的拍摄时间信息及地理位置信息。

15.根据权利要求13所述的可实现基于信息网络的多视频云端合成的服务器，其中服务器在收到客户端发送的剪辑设定后，以客户端选择的视频列表中视频的时间轴为顺序，对视频列表内的视频片段进行合成，其中对于时间轴上存在多段视频片段的重合部分，服务器随机选择一条视频片段用于合成后的视频。

16.根据权利要求13所述的可实现基于信息网络的多视频云端合成的服务器，其中服务器在收到客户端选择的用于视频合成的视频列表后，可对视频列表中包含的视频进行预处理，提取出有效视频片段，并对有效视频片段进行视频合成。

17.根据权利要求13所述的可实现基于信息网络的多视频云端合成的服务器，其中服务器预先对所存储的视频进行预处理，提取出其中的有效片段。

18.根据权利要求13所述的可实现基于信息网络的多视频云端合成的服务器，其中所述的剪辑设定包含用户指定必须包含的视频片段，和/或淡入淡出特效，和/或慢动作。

19.一种可实现基于信息网络的多视频云端合成的系统，包含如权利要求7-12中所述的任意一种客户端，以及如权利要求13-18中所述的任意一种服务器。