CN103024447B - 一种同时同地拍摄的多视频移动端剪辑云端合成方法及服务器 - Google Patents

Abstract

本发明提供了一种同时同地拍摄的多视频移动端剪辑云端合成方法及服务器，包括：1）多机位采集阶段，即在同一时间段内同一地理位置区域，多个视频采集设备进行视频采集；2）视频上传及转码阶段，即多个视频采集设备将采集到的视频文件及采集时间、地理位置信息上传至服务器，服务器对收到的视频文件进行转码处理，生成适合于移动端设备播放的格式；3）服务器端视频处理阶段，即服务器在视频上传后，根据视频文件包含的采集时间信息和地理位置信息，从数据库中选择符合同时同地条件的视频，提取视频文件，进行剪辑合成处理。通过本发明，可在云端完成视频的剪辑合成，极大的节省了视频编辑工作的人力、物力成本。

Description

一种同时同地拍摄的多视频移动端剪辑云端合成方法及服 务器

技术领域

本发明涉及视频剪辑领域，尤其涉及一种同时同地拍摄的多视频移动端剪辑云端合成方法及服务器。

背景技术

现有技术中，对于同时同地多机位拍摄的视频需要剪辑合成，这项工作目前只能是拍摄完成后，把视频文件采集到计算机，由人工进行离线式编辑和合成，剪辑及合成的全过程需要执行剪辑的机器运行，且限定了剪辑人和机器的地点。而视频合成是耗时的工作。在云端完成可以极大的节省视频编辑工作的人力、物力成本。

发明内容

鉴于现有技术中存在的问题，本发明的目的在于提供一种同时同地拍摄的多视频移动端剪辑云端合成方法及服务器。本方案完成了当用户上传了视频后，可以由服务器端即刻识别出同时同地上传的多个视频，通过自动执行时间轴对位进行剪辑，或人工干预某时间段所采用的源视频进行剪辑，自动合成出多视角视频。

本发明提供了一种同时同地拍摄的多视频移动端剪辑云端合成方法，包括步骤：

1）多机位采集阶段，即在同一时间段内同一地理位置区域，多个视频采集设备进行视频采集；

2）视频上传及转码阶段，即多个视频采集设备将采集到的视频文件及采集时间、地理位置信息上传至服务器，服务器对收到的视频文件进行转码处理，生成适合于移动端设备播放的格式；

3）服务器端视频处理阶段，即服务器在视频上传后，根据视频文件包含的采集时间信息和地理位置信息，从数据库中选择符合同时同地条件的视频，提取视频文件，进行剪辑合成处理。

优选的，其中所述的剪辑合成处理包括：服务器以视频的时间轴为顺序，对多段视频片段进行合成，其中对于时间轴上存在多段视频片段的重合部分，服务器随机选择一条视频片段用于合成后的视频。

优选的，其中服务器可对接收到的视频进行预处理，提取出有效视频片段，并对有效视频片段进行视频合成。

优选的，其中服务器在接收到视频文件并进行转码处理后，可对其进行单独发布。

优选的，其中转码阶段和视频剪辑合成处理阶段可分置于不同的服务器中进行。

本发明还提供了一种可实现同时同地拍摄的多视频移动端剪辑云端合成的服务器，包括：

接收模块，用于接收多个视频采集设备上传的视频文件以及视频文件相关的采集时间、地理位置信息；

转码模块，用于对接收到的视频文件进行转码处理，生成适合于移动端设备播放的格式；

剪辑合成模块，其可根据视频文件包含的采集时间信息和地理位置信息，从数据库中选择符合同时同地条件的视频，提取视频文件，进行剪辑合成处理。

优选的，其中所述的剪辑合成处理包括：服务器以视频的时间轴为顺序，对多段视频片段进行合成，其中对于时间轴上存在多段视频片段的重合部分，服务器随机选择一条视频片段用于合成后的视频。

优选的，该服务器还包括：

预处理模块，用于对接收到的视频进行预处理，提取出有效视频片段，以供后续对有效视频片段进行视频合成。

优选的，其中服务器在接收到视频文件并进行转码处理后，可对其进行单独发布。

本发明还提供了一种可实现同时同地拍摄的多视频移动端剪辑云端合成的，其包括如上所述的任意一种服务器，以及

多个视频采集设备，用于在同一时间段内同一地理位置区域进行视频采集，并将采集到的视频文件及采集时间、地理位置信息上传至服务器。

附图说明

图1例示了本发明同时同地拍摄的多视频移动端剪辑云端合成方法的总示意图；

图2例示了本发明多机位采集阶段的一个实施例；

图3例示了本发明视频上传及转码阶段的一个实施例；

图4例示了本发明服务器端视频处理阶段的一个实施例；

图5例示了本发明服务器端进行视频处理的另一实施例；

图6例示了本发明服务器端对视频进行合成处理的一个实施例；

图7例示了本发明可实现同时同地拍摄的多视频移动端剪辑云端合成的服务器的结构图。

具体实施方式

为使本发明的上述目的、特征和优点更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

附图1例示了本发明同时同地拍摄的多视频移动端剪辑云端合成方法的总示意图。

如附图1所示，该方案的实施过程可以简单划分为以下几个步骤：

1）多机位采集阶段，即在同一时间段内同一地理位置区域，多个视频采集设备进行视频采集；

2）视频上传及转码阶段，即多个视频采集设备将采集到的视频文件及采集时间、地理位置信息上传至服务器，服务器对收到的视频文件进行转码处理，生成适合于移动端设备播放的格式；

其中视频采集的采集时间信息可以采用通过GPS设备获得的GPS绝对时间，地理位置信息可通过视频采集设备自带的GPS设备获得，也可通过AGPS方式获得。该地理位置信息可在上传之前编码到视频的Meta信息中，同时上传时也会把地理位置信息作为附加信息提交到服务器。同时提交到服务器的还有从GPS取得的绝对时间值，服务器端处理时根据这些信息判断同时同地的视频，并进行后续处理。

3）服务器端视频处理阶段，即服务器可以在视频上传后，根据视频文件包含的采集时间信息和地理位置信息，从数据库中选择符合同时同地条件的视频，提取视频文件，进行剪辑合成处理。

图2例示了本发明多机位采集阶段的一个实施例。

如图2所示，现场的各个机位从GPS，或者一些移动端设备的操作系统会根据现场的WIFI信号等信息，从设备的操作系统提供商处取得定位信息的参考信息，修正或改善定位信息的精确度。

根据两段视频附带的GPS定位信息中的经纬度计算其地理距离，如果该距离落在一个相对较小的范围内，则认为两段视频具有相同的地理位置。对于“较小范围”的选取，会有一些不同的方式，通常选择半径50米为距离阈值，对于一些热点事件的视频，还会设定事件发生地点的地理范围（比如一个广场、体育场，其地理位置及范围都可以预先知道），所有落在此范围内的视频位置点都可以算作同地点视频。

各个机位拍摄的视频，拍摄角度、开始和结束的时间及时长各不相同，一些机位还会拍摄到一些现场环境的内容，相互之间会有重叠，也会有间隔等，形成内容的多样化。

图3例示了本发明视频上传及转码阶段的一个实施例。

如图3所示，客户端可以通过现场的网络，或后续的网络，分时上传到不同的服务器，并分别对各个视频进行转码处理，生成适合移动端设备播放的格式，独立发布。

图4例示了本发明服务器端视频处理阶段的一个实施例。

如图4所示，视频剪辑服务器可以在视频上传后，立刻从数据库取得从现场的多个机位拍摄上传的视频的附加参考信息（地理位置信息、视频开始的绝对时间等），并选择符合同时同地条件的视频，从上传/转码服务器提取视视频文件，进行后续处理。

需要说明书的是，根据附图3和4的描述，服务器端对于视频的转码及剪辑合成可以在一个服务器内进行，也可以单独使用另外的服务器进行视频剪辑合成。

图5例示了本发明服务器端进行视频处理的另一实施例。

如图5所示，服务器端可对接收到的视频进行预处理，提取出有效视频片段，并对有效视频片段进行视频合成。

在实际的视频拍摄过程中，由于机器晃动等原因，视频中的某些部分拍摄质量较低，不适合用于进行视频合成。另外，视频中还包括有片头片尾、过场视频等，这些片段并不包含用户期望进入合成后视频的内容，因而其也不属于有效的视频片段。

其中对于视频质量的判定方法，即关于有效片段的判断和提取，可以有多种方式实现，例如可依据对视频质量的检测实现，主要是根据如下几个因素：

1.亮度：如果画面整体色彩不够丰富，接近黑屏或全屏都为某种颜色，可判定该段视频片段为非有效视频片段；

2.噪点数量和所占像素点的比例，如果噪点数量或所占像素点的比例超过某一阈值，可判定该段视频片段为非有效视频片段；

3.时长，以及片头、片尾、中间模糊或晃动及过场画面所占的时长比例。片头、片尾、模糊、晃动及过场画面的判断，是通过对视频画面比对的技术完成的，具体方法是：首先，视频文件是由一系列完整的画面构成，称为帧。移动端设备上传的视频一般会被转码成每秒22帧或25帧（即帧率，根据最终视频的清晰度规格不同，选择不同的帧率）。对图像的每一个像素点的颜色计算其YUV值，两个像素点之间的Y、U、V分量差值超过一定阈值（比如5，经验值参数，可调整优化）则认为在连续的两个画面里这两个点是不同的。通过对图像的所有像素点进行颜色对比，可以得到不同颜色的像素点的差异，如果总体达到50%（经验值参数，可调整优化）以上，则认为两幅画面是不同的。把整幅画面做如上的对比，误差很大，实际的操作中是把整幅画面切割成16x16（经验值参数，可调整）的多幅小图片，分别进行如上比对，然后对连续两帧的整幅画面切割出来的所有小图片计算其不同的小图所占的比例，如果超过60%（经验值参数，可调整），则认为两幅画面是不同的。当短时间（比如3秒，经验值参数，可调整）内连续的画面不同时，则认为这一段画面变化过快，属于晃动或模糊的过场画面，不适合出现在结果视频中。

另外，在判断的过程中，如果画面在一段时间内全部呈现同一颜色，比如全白或全红，全黑等，也认为是设备的镜头拍摄了无效的画面，不会被用于生成结果视频。

优选的，在实际操作中，对于一段视频中的片头、片尾、中间模糊或晃动的过场画面会在视频上传并转码完成后即刻进行计算并入库，不需要每一次剪辑重做一遍，节省生成新的视频的时间。

图6例示了本发明服务器端对视频进行合成处理的一个实施例。

如图6所示，在合成阶段，服务器随机（或人工干预）选取合适的片段，组成新的视频片段，构成整个现场过程较完整的视频，该视频包含有多个视角所拍摄视频的切换。

服务器随机取片时，会对每段视频进行噪点扫描。噪点扫描也是采用像素点颜色比对的方式，如果一个像素点跟四周相邻的其他8个像素点的颜色都不同，则认为是一个噪点。整幅画面中，噪点所占的比例最小的图片质量最高。服务器端对所有候选片段进行扫描后，按照画面质量进行优先级排序。实际实施过程中，允许设置一个阈值，两幅视频片段的画面的噪点比例差值在此阈值之内的，可以认为这两个视频片段具有相同的画面质量。

随机取片的算法有两种，第一种比较简单，在几个（比如5个）候选片断中，去除跟上一个片段同源的备选片段后，首先选择画面质量高的，如果画面质量相差不大，则对备选片段分别分配为1-5的编号，然后完全由计算机的随机数产生功能在1-5这5个数字中选取一个，作为结果；

第二种复杂一些，需要服务器端的计算量更大，这种选择除了保证前后两段视频片段的来源不是同一个之外，还要在候选的片断首先筛除跟前后片段同角度、同距离的，然后再进行随机选取。这需要服务器端事先对每两个视频片段进行画面比较，计算出其相差程度，作为筛除同角度、同距离视频的依据。

通过上述介绍的方式，对于同时同地拍摄的多段视频，服务器端以视频拍摄时间轴为顺序，对于同一时间轴上存在多段视频的情况，选择其中的一段视频，通过视频的选择和拼接，合成一段新的视频。

图7例示了本发明可实现同时同地拍摄的多视频移动端剪辑云端合成的服务器的结构图。

如图7所示，该服务器包括：

接收模块，用于接收多个视频采集设备上传的视频文件以及视频文件相关的采集时间、地理位置信息；

转码模块，用于对接收到的视频文件进行转码处理，生成适合于移动端设备播放的格式；

剪辑合成模块，其可根据视频文件包含的采集时间信息和地理位置信息，从数据库中选择符合同时同地条件的视频，提取视频文件，进行剪辑合成处理。

优选的，图7所示的服务器还可包括一预处理模块，用于对接收到的视频进行预处理，提取出有效视频片段，以供后续对有效视频片段进行视频合成。

图7所示的服务器可用于执行本说明书中的任一实施例及其它等同替换，在执行某一实施例中各模块所执行的功能及具体操作方式，本领域技术人员根据本说明书上下文可显而易见的获知，因此在这里不再一一赘述。

本发明还包括有可实现同时同地拍摄的多视频移动端剪辑云端合成的系统，如附图1中所示，其包括有相应的视频采集设备以及如上所述的服务器，这里不再将其各部件功能一一重复。

通过本发明的技术方案，可以很方便的将同时同地拍摄的多段视频进行云端视频合成。例如对于演唱会视频，可以从不同角度拍摄，在剪辑设定里，声音根据时间轴保持连续，视频画面可以在多个不同的视角进行切换。这时所产生的目标视频中，时间轴是严格连续的。也可以根据音频的质量进行人工干预，对音频轨进行剪辑拼接。

对于球赛等视频，在剪辑设定里可以把精彩的瞬间片段从不同的角度进行快速/慢速多次回放，回放结束后切换回来继续正常的时间轴，所产生的目标视频中其来源视频的片段在时间上可以有前后改变。

以上是对本发明的优选实施例进行的详细描述，但本领域的普通技术人员应该意识到，在本发明的范围内和精神指导下，各种改进、添加和替换都是可能的，例如调整接口调用顺序、改变消息格式和内容、使用不同的编程语言（如C、C++、Java等）实现等。这些都在本发明的权利要求所限定的保护范围内。

Claims (6)

1.一种同时同地拍摄的多视频移动端剪辑云端合成方法，包括步骤：

1)多机位采集阶段，即在同一时间段内同一地理位置区域，多个视频采集设备进行视频采集；

2)视频上传及转码阶段，即多个视频采集设备将采集到的视频文件及采集时间、地理位置信息上传至服务器，服务器对收到的视频文件进行转码处理，生成适合于移动端设备播放的格式；

3)服务器端视频处理阶段，即服务器在视频上传后，根据视频文件包含的采集时间信息和地理位置信息，从数据库中选择符合同时同地条件的视频，提取视频文件，进行剪辑合成处理以自动合成出一段多视角视频；

其中，所述地理位置信息通过视频采集设备自带的GPS设备获得或者通过AGPS方式获得；

选择符合同地条件的视频的步骤包括：

根据两段视频附带的GPS定位信息中的经纬度计算其地理距离，如果该距离落在一个相对较小的范围内，则认为两段视频具有相同的地理位置；

其中，服务器可对接收到的视频进行预处理，提取出有效视频片段，并对有效视频片段进行视频合成；并且，非有效视频片段包括片头、片尾、模糊或晃动的过场画面，所述非有效视频片段在上传及转码后即刻进行计算并存入数据库；

其中，所述剪辑合成处理包括：服务器以视频的时间轴为顺序，对多段视频片段进行合成，其中对于时间轴上存在多段视频片段的重合部分，服务器随机选择一条视频片段用于合成后的视频，其中服务器随机选择一条视频片段包括：

在多段视频片段的重合部分中，去除跟上一个视频片段同源的视频片段，在剩余的多段视频片段的重合部分中，选取画面质量最高的视频片段合成多视角视频；或者，

在多段视频的重合片段中，去除跟上一个片段同源的视频片段，且筛除跟上一个视频片段同角度、同距离的视频片段，在剩余的多段视频片段的重合部分中，随机选取一条视频片段合成多视角视频。

2.根据权利要求1所述的同时同地拍摄的多视频移动端剪辑云端合成方法，其中服务器在接收到视频文件并进行转码处理后，可对其进行单独发布。

3.根据权利要求1所述的同时同地拍摄的多视频移动端剪辑云端合成方法，其中转码阶段和视频剪辑合成处理阶段可分置于不同的服务器中进行。

4.一种可实现同时同地拍摄的多视频移动端剪辑云端合成的服务器，包括：

接收模块，用于接收多个视频采集设备上传的视频文件以及视频文件相关的采集时间、地理位置信息；

转码模块，用于对接收到的视频文件进行转码处理，生成适合于移动端设备播放的格式；

剪辑合成模块，其可根据视频文件包含的采集时间信息和地理位置信息，从数据库中选择符合同时同地条件的视频，提取视频文件，进行剪辑合成处理以自动合成出一段多视角视频；

其中，所述地理位置信息通过视频采集设备自带的GPS设备获得或者通过AGPS方式获得；

选择符合同地条件的视频的步骤包括：

根据两段视频附带的GPS定位信息中的经纬度计算其地理距离，如果该距离落在一个相对较小的范围内，则认为两段视频具有相同的地理位置；

其中，所述服务器还包括预处理模块，用于对接收到的视频进行预处理，提取出有效视频片段，以供后续对有效视频片段进行视频合成；并且，非有效视频片段包括片头、片尾、模糊或晃动的过场画面，所述非有效视频片段在上传及转码后即刻进行计算并存入数据库；

其中，所述剪辑合成处理包括：服务器以视频的时间轴为顺序，对多段视频片段进行合成，其中对于时间轴上存在多段视频片段的重合部分，服务器随机选择一条视频片段用于合成后的视频，其中服务器随机选择一条视频片段包括：

在多段视频片段的重合部分中，去除跟上一个视频片段同源的视频片段，在剩余的多段视频片段的重合部分中，选取画面质量最高的视频片段合成多视角视频；或者，

在多段视频的重合片段中，去除跟上一个片段同源的视频片段，且筛除跟上一个视频片段同角度、同距离的视频片段，在剩余的多段视频片段的重合部分中，随机选取一条视频片段合成多视角视频。

5.根据权利要求4所述的可实现同时同地拍摄的多视频移动端剪辑云端合成的服务器，其中服务器在接收到视频文件并进行转码处理后，可对其进行单独发布。

6.一种可实现同时同地拍摄的多视频移动端剪辑云端合成的服务器，其包括如权利要求4或5中的任意一种服务器，以及

多个视频采集设备，用于在同一时间段内同一地理位置区域进行视频采集，并将采集到的视频文件及采集时间、地理位置信息上传至服务器。