CN105282526A - 一种全景视频拼接的处理方法及系统 - Google Patents

Abstract

本发明公开了一种全景视频拼接的处理方法及系统，该方法包括：首先客户端将同步后的多路全景视频上传到云端；所述云端针对所接收的多路全景视频，完成多路全景视频的拼接，并存储拼接后的全景视频；所述客户端从所述云端下载拼接后的全景视频。该处理方法利用云端来完成全景视频拼接的过程，克服客户端运算能力不足的问题，实现了快速高效的全景视频拼接。

Description

一种全景视频拼接的处理方法及系统

技术领域

本发明涉及视频处理技术领域，尤其涉及一种全景视频拼接的处理方法及系统。

背景技术

全景视频(panoramicvideo)指的是超过一般视野的广角视频内容。通常我们所说的环形/柱形360度视频提供了水平方向360度的视野。球形的全景则纵向可达到180度，从而覆盖了用户所处的整个三维空间，全景视频可以给用户更加具有沉浸感的体验，在很多领域都可以得到应用，如虚拟现实，安防，监控，电影，视频通讯，教育，旅游等。

常用的全景视频获取方式是采用多个相机指向不同方向，用软件或硬件将几路视频拼接在一起，图像拼接的基本步骤主要包括：摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接(融合)，以及亮度与颜色的均衡处理等。全景视频拼接还包括视频解压和压缩的步骤，由于全景视频拼接非常复杂，运算量很大，因此通常需要GPU支持，现有的全景视频拼接技术基本依赖于本地软件或硬件拼接，而普通客户端往往没有配备GPU，因此处理全景视频拼接会花费很长时间。

发明内容

本发明的目的是提供一种全景视频拼接的处理方法及系统，该处理方法能够克服客户端运算能力不足的问题，实现快速高效的全景视频拼接。

一种全景视频拼接的处理方法，所述方法包括：

客户端将同步后的多路全景视频上传到云端；

所述云端针对所接收的多路全景视频，完成多路全景视频的拼接，并存储拼接后的全景视频；

所述客户端从所述云端下载拼接后的全景视频。

所述云端针对所接收的多路全景视频，完成多路全景视频的拼接，具体包括：

所述云端针对所接收的多路全景视频，利用在服务器端部署的GPU集群来完成对多路全景视频的拼接。

所述云端针对所接收的多路全景视频，完成多路全景视频的拼接，具体包括：

所述云端针对所接收的多路全景视频，构建包含多个处理节点的P2P网络；

根据视频拼接需求和各个节点的计算能力，将所述多路全景视频推送到一个或多个节点进行拼接处理；

将一个或多个节点拼接处理后的结果上传到所述云端进行整合，形成最终的拼接后的全景视频。

所述方法还包括：在某一节点进行拼接处理的过程中，将该节点处理的视频切割成若干小的片段，每完成一个片段的视频拼接就将该片段的拼接结果上传到所述云端；

如果该节点退出P2P网络，则将该节点未处理的视频片段发送给P2P网络中的其他节点继续进行处理。

本发明实施例还提供了一种全景视频拼接的处理系统，所述系统包括客户端和云端，其中：

所述客户端，用于将同步后的多路全景视频上传到所述云端，并从所述云端下载拼接后的全景视频；

所述云端，用于针对所述客户端发送来的多路全景视频，完成该多路全景视频的拼接，并存储拼接后的全景视频。

所述客户端进一步包括：

视频同步模块，用于收集多路全景视频，并通过声音对该多路全景视频进行同步。

所述云端进一步包括：

视频拼接模块，用于针对所接收的多路全景视频，利用在服务器端部署的GPU集群完成对该多路全景视频的拼接。

所述云端进一步包括：

P2P网络构建模块，用于针对所接收的多路全景视频，构建包含多个处理节点的P2P网络；

视频推送处理模块，用于根据视频拼接需求和所构建的P2P网络中各个节点的计算能力，将所接收的多路全景视频推送到一个或多个节点进行拼接处理；

视频整合模块，用于接收一个或多个节点拼接处理后的结果，并将所接收到的结果进行整合，形成最终的拼接后的全景视频。

所述云端还包括：

视频切割模块，用于在P2P网络中的某一节点进行拼接处理时，将该节点处理的视频切割成若干小的片段，并在该节点每完成一个片段的视频拼接后，接收该片段的拼接结果；

续处理模块，用于在P2P网络中的某一节点退出P2P网络时，将该节点未处理的视频片段发送给所述P2P网络中的其他节点继续进行处理。

由上述本发明提供的技术方案可以看出，该处理方法利用云端来完成全景视频拼接的过程，克服客户端运算能力不足的问题，实现快速高效的全景视频拼接。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例所提供全景视频拼接的处理方法流程示意图；

图2为本发明所举实例利用P2P网络进行视频拼接的网络架构示意图；

图3为本发明所举实例具体操作过程的示意图；

图4为本发明实施例所提供的全景视频拼接处理系统的结构示意图；

图5为本发明实施例所提供的全景视频拼接处理系统的另一结构示意图；

图6为本发明实施例所提供全景视频拼接处理系统的另一典型结构示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

下面将结合附图对本发明实施例作进一步地详细描述，如图1所示为本发明实施例所提供全景视频拼接的处理方法流程示意图，所述方法包括：

步骤11：客户端将同步后的多路全景视频上传到云端；

在该步骤中，客户端收集多路全景视频，然后如果必要则利用客户端包含的分析模块对该多路全景视频进行同步，具体过程为：

假设每一路视音频文件包含自己的视频和音频，比如每一路视频是由一个相机录制，如果有六路相机录制的视音频文件，那么相应的就可以得到6路音频；

然后对6路音频做互相关(cross-correlation)分析来计算出音频在起始时间上的差异，从而用这个差异去同步相应视频，这里假设同一相机上的视频音频流是同步的。

然后再将同步后的多路全景视频上传到云端。

步骤12：所述云端针对所接收的多路全景视频，完成多路全景视频的拼接，并存储拼接后的全景视频；

在该步骤中，所述云端有两种方案来完成全景视频的拼接，具体来说：

1)云端针对所接收的多路全景视频，利用在服务器端部署的GPU集群来完成对多路全景视频的拼接；

但该方案中，由于在服务器端部署GPU集群，可能会引起比较高昂的费用，因此本申请还提出了另一种解决方案。

2)基于云端和P2P的混合架构

该方案目的是降低云端的GPU计算，把视频拼接任务放到P2P网络上，这区别于一般的P2P网络用来文件共享、流媒体播放和网络通话等，具体来说：

所述云端针对所接收的多路全景视频，构建包含多个处理节点的P2P网络；

根据视频拼接需求和各个节点的计算能力，将所述多路全景视频推送到一个或多个节点进行拼接处理；

将一个或多个节点拼接处理后的结果上传到所述云端进行整合，形成最终的拼接后的全景视频。

举例来说，如图2所示为本发明所举实例利用P2P网络进行视频拼接的网络架构示意图，基于图2的网络架构，具体操作过程如图3所示：

31、客户端登录到云端的索引服务器，上传同步后的视频(例如四路视频)到云端存储服务器，如AmazonS3；

32、云端索引服务器更新节点信息，构建重叠网络(overlaynetwork)；

33、视频被推送到一个或多个节点，根据视频拼接需求和节点的计算能力及带宽完成视频拼接，具体可以包括如下操作：

a)这个推送过程可以有多种形式，根据多路视频的关系而做相应调整。

可以基于空间和时间将多路视频分布式推送到不同节点，如果是基于空间，则将相邻有重叠的视频分配到一个节点，例如有一种情况是用视频a,b,c,d拼成一个柱形全景视频，视频a和b有重叠，b和c有重叠，c和d有重叠，d和a有重叠，则视频a和b被推送到节点N1，视频c和d被推送到节点N2，中间拼接结果上传云端；

分布式拼接也可以是基于时间，这可能是因为有些视频无法进行上述基于空间的推送，因为有的视频和所有其他视频都有重叠，例如如果有第五路视频e覆盖全景视频的顶部。基于时间的做法是需要把多路视频按时间切割成较短的片段，切割视频可以在压缩域(即不对视频进行解压缩)或者在解码域(即对视频先进行解压，再分割)，这里在压缩域的好处是效率高，避免了多余的解码过程，缺点是如果切割点不是在I帧则可造成切割后的视频片段在被推送到目标节点后无法被解压。

上述I帧(Iframe)又称为内部画面(intrapicture)，I帧通常是每个GOP(MPEG所使用的一种视频压缩技术)的第一个帧，经过适度地压缩，做为随机访问的参考点。

b)云端整合拼接结果，形成最终拼接后的全景视频，并存储。

34、客户端从云端存储服务器下载最终拼接后的全景视频。

另外，在P2P网络中，由于节点频繁加入或退出会造成网络波动(Churn)，从而影响到整体网络的可靠性与性能，针对该缺陷，本申请也提出了解决方案：

在某一节点进行拼接处理的过程中，将该节点处理的视频切割成若干小的片段，每完成一个片段的视频拼接就将该片段的拼接结果上传到所述云端；

如果该节点退出P2P网络，则将该节点未处理的视频片段发送给P2P网络中的其他节点继续进行处理。

步骤13：所述客户端从所述云端下载拼接后的全景视频。

通过上述步骤的操作，就可以利用云端来完成全景视频拼接的过程，克服客户端运算能力不足的问题，实现快速高效的全景视频拼接。

本发明实施例还提供了一种全景视频拼接的处理系统，如图4所示为本发明实施例所提供的全景视频拼接的处理系统结构示意图，所述系统包括客户端41和云端42，其中：

所述客户端41，用于将同步后的多路全景视频上传到所述云端42，并从所述云端42下载拼接后的全景视频；

所述云端42，用于针对所述客户端41发送来的多路全景视频，完成该多路全景视频的拼接，并存储拼接后的全景视频。

进一步的，如图5所示为该全景视频拼接处理系统的另一结构示意图，参考图5，该客户端41进一步包括：

视频同步模块411，用于收集多路全景视频，并通过声音对该多路全景视频进行同步。

所述云端42进一步包括：

视频拼接模块421，用于针对所接收的多路全景视频，利用在服务器端部署的GPU集群完成对该多路全景视频的拼接。

而为了降低云端的GPU计算，还可以把视频拼接任务放到P2P网络上，此时该云端进一步包括：

P2P网络构建模块422，用于针对所接收的多路全景视频，构建包含多个处理节点的P2P网络；

视频推送处理模块423，用于根据视频拼接需求和所构建的P2P网络中各个节点的计算能力，将所接收的多路全景视频推送到一个或多个节点进行拼接处理；

视频整合模块424，用于接收一个或多个节点拼接处理后的结果，并将所接收到的结果进行整合，形成最终的拼接后的全景视频。

另外，为了防止节点频繁加入或退出所造成的网络波动，如图6所示为该全景视频拼接处理系统的另一典型结构示意图，在该图6中，云端42还包括：

视频切割模块425，用于在P2P网络中的某一节点进行拼接处理时，将该节点处理的视频切割成若干小的片段，并在该节点每完成一个片段的视频拼接后，接收该片段的拼接结果；

续处理模块426，用于在P2P网络中的某一节点退出P2P网络时，将该节点未处理的视频片段发送给所述P2P网络中的其他节点继续进行处理。

利用上述视频切割模块425和续处理模块426就可以最大程度的减少节点频繁加入或退出所造成的网络波动影响。

上述各模块的具体实现过程可参见方法实施例所述。

综上所述，本发明实施例所提供的处理方法利用云端来完成全景视频拼接的过程，克服客户端运算能力不足的问题，实现了快速高效的全景视频拼接。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种全景视频拼接的处理方法，其特征在于，所述方法包括：

客户端将同步后的多路全景视频上传到云端；

所述云端针对所接收的多路全景视频，完成多路全景视频的拼接，并存储拼接后的全景视频；

所述客户端从所述云端下载拼接后的全景视频。

2.根据权利要求1所述全景视频拼接的处理方法，其特征在于，所述云端针对所接收的多路全景视频，完成多路全景视频的拼接，具体包括：

所述云端针对所接收的多路全景视频，利用在服务器端部署的GPU集群来完成对多路全景视频的拼接。

3.根据权利要求1所述全景视频拼接的处理方法，其特征在于，所述云端针对所接收的多路全景视频，完成多路全景视频的拼接，具体包括：

所述云端针对所接收的多路全景视频，构建包含多个处理节点的P2P网络；

根据视频拼接需求和各个节点的计算能力，将所述多路全景视频推送到一个或多个节点进行拼接处理；

将一个或多个节点拼接处理后的结果上传到所述云端进行整合，形成最终的拼接后的全景视频。

4.根据权利要求3所述全景视频拼接的处理方法，其特征在于，所述方法还包括：

在某一节点进行拼接处理的过程中，将该节点处理的视频切割成若干小的片段，每完成一个片段的视频拼接就将该片段的拼接结果上传到所述云端；

如果该节点退出P2P网络，则将该节点未处理的视频片段发送给P2P网络中的其他节点继续进行处理。

5.一种全景视频拼接的处理系统，其特征在于，所述系统包括客户端和云端，其中：

所述客户端，用于将同步后的多路全景视频上传到所述云端，并从所述云端下载拼接后的全景视频；

所述云端，用于针对所述客户端发送来的多路全景视频，完成该多路全景视频的拼接，并存储拼接后的全景视频。

6.如权利要求5所述的处理系统，其特征在于，所述客户端进一步包括：

视频同步模块，用于收集多路全景视频，并通过声音对该多路全景视频进行同步。

7.如权利要求5所述的处理系统，其特征在于，所述云端进一步包括：

视频拼接模块，用于针对所接收的多路全景视频，利用在服务器端部署的GPU集群完成对该多路全景视频的拼接。

8.如权利要求5所述的处理系统，其特征在于，所述云端进一步包括：

P2P网络构建模块，用于针对所接收的多路全景视频，构建包含多个处理节点的P2P网络；

视频推送处理模块，用于根据视频拼接需求和所构建的P2P网络中各个节点的计算能力，将所接收的多路全景视频推送到一个或多个节点进行拼接处理；

视频整合模块，用于接收一个或多个节点拼接处理后的结果，并将所接收到的结果进行整合，形成最终的拼接后的全景视频。

9.如权利要求5-8其中之一所述的处理系统，其特征在于，所述云端还包括：

视频切割模块，用于在P2P网络中的某一节点进行拼接处理时，将该节点处理的视频切割成若干小的片段，并在该节点每完成一个片段的视频拼接后，接收该片段的拼接结果；

续处理模块，用于在P2P网络中的某一节点退出P2P网络时，将该节点未处理的视频片段发送给所述P2P网络中的其他节点继续进行处理。