CN106604042A - 一种基于云端服务器的全景直播系统及全景直播方法 - Google Patents

Abstract

本发明公开了一种基于云端服务器的全景直播系统及全景直播方法，系统包括视频采集模块、云端服务器、客户端，视频采集模块用于视频数据的采集和整合后上传至云端服务器；云端服务器用于接收视频数据，创建服务器全景直播三维模型，根据客户端的请求下发对应的视频数据；客户端用于创建与服务器全景直播三维模型对应的客户端全景三维模型，向云端服务器发送直播请求，获取云端服务器发送的数据解码后投影到客户端全景三维模型进行播放。本发明通过将大量的图像处理与运算都集成在云端服务器，根据不同的客户端请求的不同内容从云端全景模型中实时裁切局部画面下发到客户端，大大减少了网络传输所需的带宽，提高了全景直播的画面清晰度和流畅性。

Description

一种基于云端服务器的全景直播系统及全景直播方法

技术领域

本发明涉及全景直播技术领域，尤其涉及一种基于云端服务器的全景直播系统及全景直播方法。

背景技术

目前VR技术成为一个新的技术热点，各种VR技术诸如OCULUS SDK，VR设备诸如头盔等层出不穷。其中OCULUS是虚拟现实头盔厂商。全景作为VR技术中的一个重要组成，可以为头盔设备提供360度无死角的视频节目源，目前也有众多公司积极研发相关技术。

全景是以空间中的一点为中心，对周围景象以某种几何关系进行映射生成平面图片或视频，只有通过全景播放器的矫正处理才能成为360°全景视频。全景视频全面的展示了中心点周围360°范围内的所有景致；可在图像当中用鼠标左键按住拖动，观看场景的各个部分，虽然照片或视频都是平面的，但是通过软件处理之后得到的360实景，却能给人以三维立体的空间感觉，使用户犹如身在其中。

由于全景视频的每一帧是通过采集两个或多个摄像头的视频图片拼接而成，因此全景视频通常比普通的视频要大得多，在网络带宽有限的条件下，在线直播的数据无法实时传输。另外，由于摄像头一般集成在嵌入式设备中，因此，高清画面的矫正、拼接、图像优化处理等都对嵌入式CPU、GPU提出比较大的挑战，按照目前的ARM架构的嵌入式设备的处理能力来看，都无法完成高质量（4K分辨率以上）视频帧的图像处理。

因此，现有技术还有待于改进和发展。

发明内容

鉴于现有技术的不足，本发明目的在于提供一种基于云端服务器的全景直播系统及全景直播方法，旨在解决现有技术中全景视频直播时由于数据大无法实时传输，而且无法完成高分辨率视频帧的图像处理的技术问题。

本发明的技术方案如下：

一种基于云端服务器的全景直播系统，其中，系统包括视频采集模块、云端服务器、客户端，所述视频采集模块用于视频数据的采集和整合后上传至所述云端服务器；所述云端服务器用于接收视频数据，创建服务器全景直播三维模型，根据所述客户端的请求下发对应的视频数据；所述客户端用于创建与所述服务器全景直播三维模型对应的客户端全景三维模型，向所述云端服务器发送直播请求，获取所述云端服务器发送的数据解码后投影到所述客户端全景三维模型进行播放。

权利要求所述的基于云端服务器的全景直播系统，其中，所述云端服务器具体包括视频接收与处理单元，全景建模单元，视频拷贝与下发单元，所述视频接收与处理单元用于接收并解压编码视频数据，将编码视频数据依次进行畸变矫正、拼接、及图像处理后生成全景视频数据，并传递给所述全景建模单元；所述全景建模单元用于创建一个用于全景数据帧按时间顺序投射的服务器全景直播三维模型；所述视频拷贝与下发单元用于根据客户端播放窗参数在三维球体纹理上的选取范围，从服务器全景直播三维模型上拷贝视窗范围内的纹理数据形成局部视频帧数据，压缩编码下发到客户端。

权利要求所述的基于云端服务器的全景直播系统，其中，所述客户端具体包括客户端建模单元，数据解码与投射单元，所述客户端建模单元用于创建与服务器全景直播三维模型的模型参数相同的客户端全景三维模型；所述数据解码与投射单元，用于接收到云端服务器发送的视频数据后解码，并将解码后的帧数据投射到的客户端全景三维模型的对应位置。

所述的基于云端服务器的全景直播系统，其中，所述视频采集模块具体包括视频采集单元、控制单元、编码单元、网络单元，所述视频采集单元用于用于采集360度图像对应的视频数据，所述控制单元用于将视频采集单元获取的视频帧进行同步，并将同步后的视频帧数据进行整合后生成整合视频数据；所述编码单元用于将所述整合视频数据进行压缩编码生成编码视频数据；所述网络单元用于将所述编码视频数据上传到云端服务器。

一种基于云端服务器的全景直播方法，其中，方法包括步骤：

A、视频采集模块采集视频数据，并将采集到的视频数据进行同步和整合，将整合后的视频数据发送至云端服务器；

B、云端服务器对接收到的视频数据进行解压并处理的生成全景视频帧，创建一个三维球体模型，将全景视频帧以一预定的时间顺序不断投射到三维球体模型生成服务器全景直播三维模型；

C、客户端向云端服务器发送直播请求并设定播放视窗在服务器全景直播三维模型的选取范围；

D、云端服务器根据播放视窗在服务器全景直播三维模型的选取范围，从服务器全景直播三维模型上拷贝视窗范围内的纹理数据形成局部视频帧数据，将局部视频帧数据压缩编码后下发到客户端；

E、客户端创建与服务器全景直播三维模型参数相同的客户端全景三维模型，根据接收到的云端服务器发来的压缩编码后的局部视频帧数据后解码，将解码后的局部视频帧数据投射到客户端三维球体模型上进行播放。

所述的基于云端服务器的全景直播方法，其中，所述步骤A具体包括步骤：

A1、视频采集模块采集360度范围视野内的N路视频帧数据，其中N为大于等于2的自然数；

A2、视频采集模块将N路视频帧数据进行同步处理，将同步好的N路视频帧数据拷贝到内存区的指定位置；

A3、视频采集模块检测到N路视频帧数据拷贝完成后，将内存区的视频帧数据进行压缩生成编码视频数据；

A4、视频采集模块将编码视频数据上传至云端服务器。

所述的基于云端服务器的全景直播方法，其中，所述步骤B具体包括步骤：

B1、云端服务器接收到编码视频数据后进行解码；

B2、将解码后的视频数据依次进行畸变矫正、拼接及图像处理后生成全景视频帧；

B3、云端服务器创建一个三维球体模型，将全景视频帧以一预定时间的时间顺序不断投射到三维球体模型生成服务器全景直播三维模型。

所述的基于云端服务器的全景直播方法，其中，所述步骤C具体包括步骤：

C1、客户端连接云端服务器后，云端服务器为每一个客户端生成两个连接CHANNEL，分别用于传输媒体控制参数和直播数据流；

C2、客户端向云端服务器发送直播请求及分辨率，并设定播放窗在在服务器全景直播三维模型上的选取范围对应的经纬度值。

所述的基于云端服务器的全景直播方法，其中，所述步骤D具体包括步骤：

D1、云端服务器根据根据播放视窗的选取范围对应的经纬度值锁定服务器全景直播三维模型的点，并根据客户端请求的分辨率确定视窗的尺寸参数后，从全景模型上拷贝视窗范围内的纹理数据形成局部视频帧数据；

D2、将局部视频帧数据压缩编码后下发到客户端。

所述的基于云端服务器的全景直播方法，其中，所述步骤E具体包括步骤：

E1、客户端创建与服务器全景直播三维模型参数相同的客户端全景三维模型；

E2、当客户端接收到云端服务器发送的压缩编码后的局部视频帧数据后解码；

E3、根据客户端请求的参考基点经纬度及分辨率所围成的区域确定的投射位置，将解码后的局部视频帧数据投射到客户端三维球体模型上的投射位置后进行播放。

本发明提供了一种基于云端服务器的全景直播系统及全景直播方法，本发明通过将大量的图像处理与运算都集成在云端服务器，根据不同的客户端请求的不同内容从云端全景模型中实时裁切局部画面下发到客户端，大大减少了网络传输所需的带宽，提高了全景直播的画面清晰度和流畅性。

附图说明

图1为本发明的一种基于云端服务器的全景直播系统的较佳实施例的功能原理框图。

图2为本发明的一种基于云端服务器的全景直播系统的具体应用实施例的视频采集模块采集的图像示意图。

图3为本发明的一种基于云端服务器的全景直播系统的较佳实施例的流程图。

图4为本发明的一种基于云端服务器的全景直播系统的具体应用实施例的视频采集模块采集的采集流程示意图。

图5为本发明的一种基于云端服务器的全景直播系统的具体应用实施例的将全景数据帧以一定的时间顺序不断投射到服务器全景直播三维模型的示意图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种基于云端服务器的全景直播方法的较佳实施例的功能原理框图，如图1所示，系统包括视频采集模块100、云端服务器200、客户端300，视频采集模块100用于视频数据的采集和整合后上传至所述云端服务器200；云端服务器200用于接收视频数据，创建服务器全景直播三维模型；根据客户端300的请求下发对应的视频数据，客户端300用于创建与服务器全景直播三维模型对应的客户端全景三维模型，向云端服务器200发送直播请求，获取云端服务器200发送的数据解码后投影到客户端全景三维模型进行播放。其中视频采集模块负责视频帧数据的采集和整合，主要是通过广角摄像头采集视频帧数据后，将采集的视频帧数据进行同步并整合。云端服务器主要用于多路视频数据源的接收和处理，全景直播3D模型的创建和管理，以及对客户端直播请求的管理和数据流的下发。

进一步地，视频采集模块具体包括视频采集单元、控制单元、编码单元、网络单元，所述视频采集单元用于用于采集360度图像对应的视频数据，所述控制单元用于将视频采集单元获取的视频帧进行同步，并将同步后的视频帧数据进行整合后生成整合视频数据；所述编码单元用于将所述整合视频数据进行压缩编码生成编码视频数据；所述网络单元用于将所述编码视频数据上传到云端服务器。

视频采集单元包括N个广角摄像头，广角摄像头用于采集360度图像中的360/N角度范围视野内的视频数据，控制单元为一个主控芯片，主控芯片用于将N个摄像头获取的视频帧进行同步，并将同步后的N路视频帧数据进行整合后生成整合视频数据；其中N为大于等于2的自然数。其中视频采集单元采集的图如图2所示。具体地，视频采集单元主要由两个或N(N大于等于2)个广角摄像头和一个嵌入式主控芯片组成。每个摄像头负责360度图像中的360/N角度范围视野内的视频帧数据的采集，主控芯片负责这N路视频帧数据的同步和整理。所谓整理就是将同步好的N路帧数据，整合到一片内存区域当中，用于编码后上传到INTERNET上的云端服务器。编码单元用于将内存区域中整合视频数据进行压缩编码，从而缩小传输数据的大小，提高传输速率。网络单元于将压缩编码处理后生成的编码视频数上传到云端服务器。网络单元为无线或有线网络单元。其中无线网络单元为蓝牙模块、WIFI模块中的一种。

进一步的实施例中，云端服务器具体包括视频接收与处理单元，全景建模单元，视频拷贝与下发单元，所述视频接收与处理单元用于接收并解压编码视频数据，将编码视频数据依次进行畸变矫正、拼接、及图像处理后生成全景视频数据，并传递给所述全景建模单元；所述全景建模单元用于创建一个用于全景数据帧按时间顺序投射的服务器全景直播三维模型；所述视频拷贝与下发单元用于根据客户端播放窗参数在三维球体纹理上的选取范围，从服务器全景直播三维模型上拷贝视窗范围内的纹理数据形成局部视频帧数据，压缩编码下发到客户端。云端服务器接收并解压“整合视频帧”数据，将其中的帧数据做畸变矫正、拼接及图像处理后形成一个全景视频帧，传递给全景建模单元。全景建模单元在云端服务器内利用OPENGL工具创建一个服务器全景直播三维模型，其中服务器全景直播三维模型为一个三维球体模型，用于将每一个后期处理过的全景数据帧以级时间顺序不断投射到球体表面示。其中时间顺序为毫秒级。视频拷贝与下发单元根据客户端播放窗参数在三维球体纹理上的选取范围，从服务器全景直播三维模型上拷贝视窗范围内的纹理数据形成局部视频帧数据，压缩编码下发到客户端。

客户端具体包括客户端建模单元，数据解码与投射单元，所述客户端建模单元用于创建与服务器全景直播三维模型的模型参数相同的客户端全景三维模型；所述数据解码与投射单元，用于接收到云端服务器发送的视频数据后解码，并将解码后的帧数据投射到的客户端全景三维模型的对应位置。客户端在投射时须指定此“局部帧”在客户端球体上的投射位置。投射位置由客户端所请求的参考基点经纬度及分辨率所围成的区域决定。

本发明还提供了一种基于云端服务器的全景直播方法的较佳实施例的流程图，如图3所示，方法包括步骤：

S100、视频采集模块采集视频数据，并将采集到的视频数据进行同步和整合，将整合后的视频数据发送至云端服务器；

S200、云端服务器对接收到的视频数据进行解压并处理的生成全景视频帧，创建一个三维球体模型，将全景视频帧以一预定的时间顺序不断投射到三维球体模型生成服务器全景直播三维模型；

S300、客户端向云端服务器发送直播请求并设定播放视窗在服务器全景直播三维模型的选取范围；

S400、云端服务器根据播放视窗在服务器全景直播三维模型的选取范围，从服务器全景直播三维模型上拷贝视窗范围内的纹理数据形成局部视频帧数据，将局部视频帧数据压缩编码后下发到客户端；

S500、客户端创建与服务器全景直播三维模型参数相同的客户端全景三维模型，根据接收到的云端服务器发来的压缩编码后的局部视频帧数据后解码，将解码后的局部视频帧数据投射到客户端三维球体模型上进行播放。

具体实施时，步骤S100中视频采集模块负责视频帧数据的采集和整理。视频采集模块中由有两个或N(N大于等于2)个广角摄像头，每个摄像头负责360度图像中的360/N角度范围视野内的视频帧数据的采集，对采集到的N路视频帧数据的同步和整理。所谓整理就是将同步好的N路帧数据，整合到一片内存区域当中，并交给编码单元用于编码后上传到INTERNET上的云直播服务平台。

步骤S200中云端服务器接收并解压“整合视频帧”数据，将其中的帧数据做畸变矫正、拼接及图像处理后形成一个全景视频帧，每一个后期处理过的全景数据帧以毫秒级的时间顺序不断投射到预先设置的服务器全景直播三维模型上。

步骤S300中客户端向云端服务器发送直播请求，并设定播放视窗在服务器全景直播三维模型纹理上的选取范围。

步骤S400中云端服务器根据经纬度值锁定服务器全景直播三维模型上的点并跟请求的分辨率确定视窗参数，从服务器全景直播三维模型上拷贝视窗范围内的纹理数据形成局部视频帧数据，压缩编码下发到客户端。

步骤S500中当客户端收到云端服务器发来的视频数据后解码，将帧数据投射到客户端全景三维模型上，从而播放客户端全景三维模型投射的对应的直播数据流。

进一步的实施例中，步骤S100具体包括步骤：

S101、视频采集模块采集360度范围视野内的N路视频帧数据，其中N为大于等于2的自然数；

S102、视频采集模块将N路视频帧数据进行同步处理，将同步好的N路视频帧数据拷贝到内存区的指定位置；

S103、视频采集模块检测到N路视频帧数据拷贝完成后，将内存区的视频帧数据进行压缩生成编码视频数据；

S104、视频采集模块将编码视频数据上传至云端服务器。

具体实施时，视频采集模块负责视频帧数据的采集和整理。视频采集模块主要由两个或N(N大于等于2)个广角摄像头和一个嵌入式主控芯片组成。每个摄像头负责360度图像中的360/N角度范围视野内的视频帧数据的采集，主控芯片负责这N路视频帧数据的同步和整理。

优先的N为2，则传输的视频帧数据实例如图2所示。两路视频采集的图像整合在一个视频帧当中，由于只有两个内切圆内的像素有效，因此这样的数据可以实现高效压缩（圆外的数据都是0）。“整合视频帧”内存区域的填充采用多线程的处理方法，每个摄像头创建一个线程独立工作，另起一个监听线程负责统计和监听该全景帧的拷贝情况。每个摄像头线程负责采集一路视频数据，并将采集到的一路帧数据，根据摄像头的编号拷贝到整合帧内存区的指定位置，拷贝结束通知监听线程，监听线程确认所有摄像头在指定的时间内完成了帧内数据的拷贝后，将数据提交给编码单元完成数据的压缩编码，然后由网络单元上传到云平台如图4所示。

进一步的实施例中，步骤S200具体包括步骤：

S201、云端服务器接收到编码视频数据后进行解码；

S202、将解码后的视频数据依次进行畸变矫正、拼接及图像处理后生成全景视频帧；

S203、云端服务器创建一个三维球体模型，将全景视频帧以一预定时间的时间顺序不断投射到三维球体模型生成服务器全景直播三维模型。

具体实施时，云端服务器接收并解压“整合视频帧”数据，将其中的帧数据做畸变矫正、拼接及图像处理后形成一个全景视频帧，传递给全景建模模块。全景建模模块在云端服务器内利用OPENGL工具创建一个三维球体模型，用于将每一个后期处理过的全景数据帧以毫秒级的时间顺序不断投射到球体表面如图5所示，记为服务器全景直播三维模型。

“整合视频帧”生成“全景视频帧”涉及到对帧中图像数据的矫正拼接及后期处理要消耗大量的CPU及GPU资源，因此将图像处理转移到云端，可利用云端服务器的并发处理能力及平滑扩展能力，将图像处理任务分发到各个工作站服务器上去，以提高处理速度，特别是处理大量直播请求的时候尤为重要，每个客户端可以看到全景球体的不同区域表面的内容。

进一步的实施例中，步骤S300具体包括步骤：

S301、客户端连接云端服务器后，云端服务器为每一个客户端生成两个连接CHANNEL，分别用于传输媒体控制参数和直播数据流；

S302、客户端向云端服务器发送直播请求及分辨率，并设定播放窗在在服务器全景直播三维模型上的选取范围对应的经纬度值。

具体实施时，客户端连接云端服务器后，云端服务器为每一个客户端生成两个连接CHANNEL，分别用于传输媒体控制参数和直播数据流。

客户端向云端服务器发送直播请求，并设定播放视窗在服务器全景直播三维模型纹理上的选取范围。取值以客户端播放视窗的左上角为基准，客户端请求播放视窗的左上角在全景球面上的经纬度值。

进一步的实施例中，步骤S400具体包括步骤：

S401、云端服务器根据根据播放视窗的选取范围对应的经纬度值锁定服务器全景直播三维模型的点，并根据客户端请求的分辨率确定视窗的尺寸参数后，从全景模型上拷贝视窗范围内的纹理数据形成局部视频帧数据；

S402、将局部视频帧数据压缩编码后下发到客户端。

具体实施时，云端服务器根据经纬度值锁定服务器全景直播三维模型上的点并跟请求的分辨率确定视窗的长H宽W,等参数，从服务器全景直播三维模型上拷贝视窗范围内的纹理数据形成局部视频帧数据，压缩编码下发到客户端。在确定局部帧的取值范围的时候会根据H，和W的取值设定长宽各20%的余量即H = 1.2H，W = 1.2W，以此满足用户在原基点周边小范围内移动时虽然参考基点值改变，不需要向云端服务器频繁发送切换基点的请求。而可以直接在客户端内部通过缓存的数据用于播放视窗内容的展示，以提高处理速度，满足良好的用户体验。

进一步的实施例中，步骤S500具体包括步骤：

S501、客户端创建与服务器全景直播三维模型参数相同的客户端全景三维模型；

S502、当客户端接收到云端服务器发送的压缩编码后的局部视频帧数据后解码；

S503根据客户端请求的参考基点经纬度及分辨率所围成的区域确定的投射位置，将解码后的局部视频帧数据投射到客户端三维球体模型上的投射位置后进行播放。

具体实施时，客户端首先创建三维球体模型，该模型与服务器全景直播三维模型参数相同，称为客户端全景三维模型。

当客户端收到云端服务器发来的视频数据后解码，将帧数据投射到客户端全景三维模型上。由于该帧是云端服务器全景纹理的局部纹理，因此必须指定此“局部帧”在客户端球体上的投射位置。投射位置由客户端所请求的参考基点经纬度及分辨率所围成的区域决定，当用户视窗的转动的角度没有超过当前角度的正负30°的时候，利用客户端现有局部帧数据能够正常投射到视频窗口上被用户看到，当用户调整的视窗的角度超过当前角度的正负20°的时候，需要通知云端服务器下发新视窗角度的局部帧数据，则重新进入设定播放视窗的选取范围的步骤，客户端进入缓冲状态，直到收到云端服务器重新下发的调整过参考基点的直播数据流才恢复播放。

综上所述，本发明提出了一种基于云端服务器的全景直播系统及全景直播方法，系统包括视频采集模块、云端服务器、客户端，视频采集模块用于视频数据的采集和整合后上传至云端服务器；云端服务器用于接收视频数据，创建服务器全景直播三维模型，根据客户端的请求下发对应的视频数据；客户端用于创建与服务器全景直播三维模型对应的客户端全景三维模型，向云端服务器发送直播请求，获取云端服务器发送的数据解码后投影到客户端全景三维模型进行播放。本发明通过将大量的图像处理与运算都集成在云端服务器，根据不同的客户端请求的不同内容从云端全景模型中实时裁切局部画面下发到客户端，大大减少了网络传输所需的带宽，提高了全景直播的画面清晰度和流畅性。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于云端服务器的全景直播系统，其特征在于，所述系统包括视频采集模块、云端服务器、客户端，所述视频采集模块用于视频数据的采集和整合后上传至所述云端服务器；所述云端服务器用于接收视频数据，创建服务器全景直播三维模型，根据所述客户端的请求下发对应的视频数据；所述客户端用于创建与所述服务器全景直播三维模型对应的客户端全景三维模型，向所述云端服务器发送直播请求，获取所述云端服务器发送的数据解码后投影到所述客户端全景三维模型进行播放。

2.根据权利要求1权利要求所述的基于云端服务器的全景直播系统，其特征在于，所述云端服务器具体包括视频接收与处理单元，全景建模单元，视频拷贝与下发单元，所述视频接收与处理单元用于接收并解压编码视频数据，将编码视频数据依次进行畸变矫正、拼接、及图像处理后生成全景视频数据，并传递给所述全景建模单元；所述全景建模单元用于创建一个用于全景数据帧按时间顺序投射的服务器全景直播三维模型；所述视频拷贝与下发单元用于根据客户端播放窗参数在三维球体纹理上的选取范围，从服务器全景直播三维模型上拷贝视窗范围内的纹理数据形成局部视频帧数据，压缩编码下发到客户端。

3.根据权利要求2权利要求所述的基于云端服务器的全景直播系统，其特征在于，所述客户端具体包括客户端建模单元，数据解码与投射单元，所述客户端建模单元用于创建与服务器全景直播三维模型的模型参数相同的客户端全景三维模型；所述数据解码与投射单元，用于接收到云端服务器发送的视频数据后解码，并将解码后的帧数据投射到的客户端全景三维模型的对应位置。

4.根据权利要求1所述的基于云端服务器的全景直播系统，其特征在于，所述视频采集模块具体包括视频采集单元、控制单元、编码单元、网络单元，所述视频采集单元用于用于采集360度图像对应的视频数据，所述控制单元用于将视频采集单元获取的视频帧进行同步，并将同步后的视频帧数据进行整合后生成整合视频数据；所述编码单元用于将所述整合视频数据进行压缩编码生成编码视频数据；所述网络单元用于将所述编码视频数据上传到云端服务器。

5.一种基于云端服务器的全景直播方法，其特征在于，方法包括步骤：

A、视频采集模块采集视频数据，并将采集到的视频数据进行同步和整合，将整合后的视频数据发送至云端服务器；

B、云端服务器对接收到的视频数据进行解压并处理的生成全景视频帧，创建一个三维球体模型，将全景视频帧以一预定的时间顺序不断投射到三维球体模型生成服务器全景直播三维模型；

C、客户端向云端服务器发送直播请求并设定播放视窗在服务器全景直播三维模型的选取范围；

D、云端服务器根据播放视窗在服务器全景直播三维模型的选取范围，从服务器全景直播三维模型上拷贝视窗范围内的纹理数据形成局部视频帧数据，将局部视频帧数据压缩编码后下发到客户端；

E、客户端创建与服务器全景直播三维模型参数相同的客户端全景三维模型，根据接收到的云端服务器发来的压缩编码后的局部视频帧数据后解码，将解码后的局部视频帧数据投射到客户端三维球体模型上进行播放。

6.根据权利要求5所述的基于云端服务器的全景直播方法，其特征在于，所述步骤A具体包括步骤：

A1、视频采集模块采集360度范围视野内的N路视频帧数据，其中N为大于等于2的自然数；

A2、视频采集模块将N路视频帧数据进行同步处理，将同步好的N路视频帧数据拷贝到内存区的指定位置；

A3、视频采集模块检测到N路视频帧数据拷贝完成后，将内存区的视频帧数据进行压缩生成编码视频数据；

A4、视频采集模块将编码视频数据上传至云端服务器。

7.根据权利要求6所述的基于云端服务器的全景直播方法，其特征在于，所述步骤B具体包括步骤：

B1、云端服务器接收到编码视频数据后进行解码；

B2、将解码后的视频数据依次进行畸变矫正、拼接及图像处理后生成全景视频帧；

B3、云端服务器创建一个三维球体模型，将全景视频帧以一预定时间的时间顺序不断投射到三维球体模型生成服务器全景直播三维模型。

8.根据权利要求7所述的基于云端服务器的全景直播方法，其特征在于，所述步骤C具体包括步骤：

C1、客户端连接云端服务器后，云端服务器为每一个客户端生成两个连接CHANNEL，分别用于传输媒体控制参数和直播数据流；

C2、客户端向云端服务器发送直播请求及分辨率，并设定播放窗在在服务器全景直播三维模型上的选取范围对应的经纬度值。

9.根据权利要求8所述的基于云端服务器的全景直播方法，其特征在于，所述步骤D具体包括步骤：

D1、云端服务器根据根据播放视窗的选取范围对应的经纬度值锁定服务器全景直播三维模型的点，并根据客户端请求的分辨率确定视窗的尺寸参数后，从全景模型上拷贝视窗范围内的纹理数据形成局部视频帧数据；

D2、将局部视频帧数据压缩编码后下发到客户端。

10.根据权利要求9所述的基于云端服务器的全景直播方法，其特征在于，所述步骤E具体包括步骤：

E1、客户端创建与服务器全景直播三维模型参数相同的客户端全景三维模型；

E2、当客户端接收到云端服务器发送的压缩编码后的局部视频帧数据后解码；

E3、根据客户端请求的参考基点经纬度及分辨率所围成的区域确定的投射位置，将解码后的局部视频帧数据投射到客户端三维球体模型上的投射位置后进行播放。