CN106210688B - 一种柱面全景视频网络传输方法及系统 - Google Patents

Abstract

本发明公开了一种柱面全景视频网络传输方法及系统，方法包括：当客户终端检测到用户的视频播放视窗起始位置及播放视窗夹角设置指令时，则将柱面全景视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端；全景视频服务器终端根据播放视窗起始位置及播放视窗夹角获取每一全景帧数据中的局部帧起始位置和局部帧宽度，并从每一全景帧数据获取对应局部帧数据，并将多帧局部帧数据依序发送至客户终端；客户终端接收并解析局部帧数据，并投射至客户终端的圆柱体模型进行播放。本发明采用局部帧传输技术，即每次只传输视窗范围内以及视窗宽度左右外延30%左右的视频数据，极大减少了视频数据传输量，提高传输速度。

Description

一种柱面全景视频网络传输方法及系统

技术领域

本发明涉及柱面全景视频技术领域，尤其涉及的是一种柱面全景视频网络传输方法及系统。

背景技术

全景是以空间中的一点为中心，对周围景象以某种几何关系进行映射生成平面图片或视频，只有通过全景播放器的矫正处理才能成为360°全景视频。全景视频全面的展示了中心点周围360°范围内的所有景致；可在图像当中用鼠标左键按住拖动，观看场景的各个部分，虽然照片或视频都是平面的，但是通过软件处理之后得到的360实景，却能给人以三维立体的空间感觉，使用户犹如身在其中。

由于全景视频的每一帧是通过多张局部图片拼接而成，因此全景视频通常比普通的视频要大得多，在网络带宽有限的条件下，这为实时在线传输带来极大困难。目前，业内全景视频的在线传输和普通视频的传输采用同样的网络传输方法，即服务器端下发整部视频文件。而用户在观看全景视频的时候，只选取视窗范围内的视频数据观看，而视窗范围内的数据通常只占全景视频全部数据的不到四分之一，因此，传输视窗之外的视频数据造成带宽极大的浪费，也影响了全景视频的传输速度，

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种柱面全景视频网络传输方法及系统，旨在解决现有技术中传输视窗之外的视频数据造成带宽极大的浪费，也影响了全景视频的传输速度的缺陷。

本发明的技术方案如下：

一种柱面全景视频网络传输方法，其中，所述方法包括以下步骤：

A、当客户终端检测到用户的视频播放视窗起始位置及播放视窗夹角设置指令时，则将柱面全景视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端；

B、全景视频服务器终端根据播放视窗起始位置及播放视窗夹角获取每一全景帧数据中的局部帧起始位置和局部帧宽度，并根据局部帧起始位置和局部帧宽度从每一全景帧数据获取对应局部帧数据，并将多帧局部帧数据依序发送至客户终端；

C、客户终端接收并解析所述局部帧数据，并投射至客户终端的圆柱体模型进行播放。

所述柱面全景视频网络传输方法，其中，所述步骤A具体包括：

A1、全景视频服务器终端对客户终端的连接请求指令进行实时检测，当检测到时则与客户终端建立连接；

A2、客户终端对用户的视频播放视窗起始位置及播放视窗夹角设置指令进行实时检测，当检测到时则将视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端。

所述柱面全景视频网络传输方法，其中，所述步骤B具体包括：

B1、全景视频服务器终端接收所述播放视窗起始位置及播放视窗夹角，以播放视窗起始位置为局部帧起始位置，并根据W1=（α+60°）*π/180计算获取局部帧宽度；其中，将局部帧起始位置记为S1，局部帧宽度记为W1，播放视窗夹角记为α；

B2、判断（W1+S1）是否超过W2，当未超过时则执行步骤B3，当超出时则执行步骤B4；其中，将全景帧宽度记为W2；

B3、从每一帧全景帧数据中获取对应局部帧宽度的局部帧数据，并将多帧局部帧数据依序发送至客户终端；

B4、从每一帧全景帧数据的尾部获取宽度为（W2-S1）的第一图片数据，从每一帧全景帧数据的头部获取宽度为（W1-W2+S1）的第二图片数据，并将所述第一图片数据和所述第二图片数据合成局部帧数据，再将多帧局部帧数据依序发送至客户终端。

所述柱面全景视频网络传输方法，其中，所述步骤C之后还包括：

D、当用户终端检测到播放视窗旋转后的当前起始位置与所述播放视窗起始位置夹角超出30°时，则暂停播放，并将柱面全景视频的当前播放视窗夹角发送至全景视频服务器终端，并返回执行步骤B。

所述柱面全景视频网络传输方法，其中，所述客户终端的圆柱体模型与全景视频服务器终端的圆柱体模型相同。

一种柱面全景视频网络传输系统，其中，包括：

播放参数发送模块，用于当客户终端检测到用户的视频播放视窗起始位置及播放视窗夹角设置指令时，则将柱面全景视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端；

局部帧数据发送模块，用于全景视频服务器终端根据播放视窗起始位置及播放视窗夹角获取每一全景帧数据中的局部帧起始位置和局部帧宽度，并根据局部帧起始位置和局部帧宽度从每一全景帧数据获取对应局部帧数据，并将多帧局部帧数据依序发送至客户终端；

接收及播放模块，用于客户终端接收并解析所述局部帧数据，并进行投射及播放。

所述柱面全景视频网络传输系统，其中，所述播放参数发送模块具体包括：

连接单元，用于全景视频服务器终端对客户终端的连接请求指令进行实时检测，当检测到时则与客户终端建立连接；

起始位置及夹角发送单元，用于客户终端对用户的视频播放视窗起始位置及播放视窗夹角设置指令进行实时检测，当检测到时则将视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端。

所述柱面全景视频网络传输系统，其中，所述局部帧数据发送模块具体包括：

起始位置及宽度获取单元，用于全景视频服务器终端接收所述播放视窗起始位置及播放视窗夹角，以播放视窗起始位置为局部帧起始位置，并根据W1=（α+60°）*π/180计算获取局部帧宽度；其中，将局部帧起始位置记为S1，局部帧宽度记为W1，播放视窗夹角记为α；

判断单元，用于判断（W1+S1）是否超过W2，当未超过时则启动第一发送控制单元，当超出时则启动第二发送控制单元；其中，将全景帧宽度记为W2；

第一发送控制单元，用于从每一帧全景帧数据中获取对应局部帧宽度的局部帧数据，并将多帧局部帧数据依序发送至客户终端；

第二发送控制单元，用于从每一帧全景帧数据的尾部获取宽度为（W2-S1）的第一图片数据，从每一帧全景帧数据的头部获取宽度为（W1-W2+S1）的第二图片数据，并将所述第一图片数据和所述第二图片数据合成局部帧数据，再将多帧局部帧数据依序发送至客户终端。

所述柱面全景视频网络传输系统，其中，还包括：

检测控制模块，用于当用户终端检测到播放视窗旋转后的当前起始位置与所述播放视窗起始位置夹角超出30°时，则暂停播放，并将柱面全景视频的当前播放视窗夹角发送至全景视频服务器终端，并启动局部帧数据发送模块。

所述柱面全景视频网络传输系统，其中，所述客户终端的圆柱体模型与全景视频服务器终端的圆柱体模型相同。

本发明提供的一种柱面全景视频网络传输方法及系统，方法包括：当客户终端检测到用户的视频播放视窗起始位置及播放视窗夹角设置指令时，则将柱面全景视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端；全景视频服务器终端根据播放视窗起始位置及播放视窗夹角获取每一全景帧数据中的局部帧起始位置和局部帧宽度，并从每一全景帧数据获取对应局部帧数据，并将多帧局部帧数据依序发送至客户终端；客户终端接收并解析局部帧数据，并投射至客户终端的圆柱体模型进行播放。本发明采用局部帧传输技术，即每次只传输视窗范围内以及视窗宽度左右外延30%左右的视频数据，极大减少了视频数据传输量，提高传输速度。

附图说明

图1为本发明所述柱面全景视频网络传输方法较佳实施例的流程图。

图2为本发明所述柱面全景视频网络传输方法中获取局部帧数据的具体流程图。

图3为本发明所述柱面全景视频网络传输系统较佳实施例的结构框图。

具体实施方式

本发明提供一种柱面全景视频网络传输方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，为本发明所述柱面全景视频网络传输方法较佳实施例的流程图。所述方法包括以下步骤：

步骤S100、当客户终端检测到用户的视频播放视窗起始位置及播放视窗夹角设置指令时，则将柱面全景视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端。

本发明的实施例中，全景视频服务器终端与客户终端建立连接后，当客户终端检测到用户设置的视频播放视窗起始位置以及播放视窗夹角时，则将所述柱面全景视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端，上述过程也即客户终端上传的全景视频播放初始参数的过程。

由于在全景视频服务器终端中已将将全景视频数据解码成帧数据，即一个全景视频是由N帧数据组成，每一帧数据都是一张矩形图片。全景视频服务器终端与客户终端建立连接后，通过OPENGL在全景视频服务器终端创建圆柱体模型，将每一个数据帧以时间顺序不断投射到圆柱体的柱状表面。同样的，客户终端也存在一个与全景视频服务器终端的圆柱形模型完全相同的圆柱形模型，客户终端接收到全景视频服务器终端发送的帧数据同样能进行播放。

步骤S200、全景视频服务器终端根据播放视窗起始位置及播放视窗夹角获取每一全景帧数据中的局部帧起始位置和局部帧宽度，并根据局部帧起始位置和局部帧宽度从每一全景帧数据获取对应局部帧数据，并将多帧局部帧数据依序发送至客户终端。

当客户终端向全景视频服务器终端上传全景视频播放初始参数后，则全景视频服务器终端根据播放视窗起始位置及播放视窗夹角获取每一全景帧数据中的局部帧起始位置和局部帧宽度，并从每一全景帧数据获取对应的局部帧数据。上述过程实现了从每一帧全景数据中获取指定宽度和角度的局部帧数据，并只将该局部帧数据传输至客户终端（每次只传输视窗范围内以及视窗宽度左右外延30%左右的视频数据），极大减少了视频数据传输量，提高传输速度。

步骤S300、客户终端接收并解析所述局部帧数据，并投射至客户终端的圆柱体模型进行播放。

进一步的，所述步骤S100中建立连接及发送播放初始参数的具体过程包括：

步骤S101、全景视频服务器终端对客户终端的连接请求指令进行实时检测，当检测到时则与客户终端建立连接；

步骤S102、客户终端对用户的视频播放视窗起始位置及播放视窗夹角设置指令进行实时检测，当检测到时则将视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端。

进一步的，如图2所示，所述步骤S200中获取局部帧数据的具体流程包括：

步骤S201、全景视频服务器终端接收所述播放视窗起始位置及播放视窗夹角，以播放视窗起始位置为局部帧起始位置，并根据W1=（α+60°）*π/180计算获取局部帧宽度；其中，将局部帧起始位置记为S1，局部帧宽度记为W1，播放视窗夹角记为α。

如果把客户终端中圆柱体模型的半径量化为常量1，则局部帧宽度的计算公式为W1=（α+60°）*π/180，其中，常量60°是视窗左右边与局部帧左右边在圆柱面上的夹角之和，对于柱状全景图视频高度保持不变。

步骤S202、判断（W1+S1）是否超过W2，当未超过时则执行步骤S203，当超出时则执行步骤S204；其中，将全景帧宽度记为W2。

步骤S203、从每一帧全景帧数据中获取对应局部帧宽度的局部帧数据，并将多帧局部帧数据依序发送至客户终端。

步骤S204、从每一帧全景帧数据的尾部获取宽度为（W2-S1）的第一图片数据，从每一帧全景帧数据的头部获取宽度为（W1-W2+S1）的第二图片数据，并将所述第一图片数据和所述第二图片数据合成局部帧数据，再将多帧局部帧数据依序发送至客户终端。

进一步的，所述步骤S300之后还包括：

步骤S400、当用户终端检测到播放视窗旋转后的当前起始位置与所述播放视窗起始位置夹角超出30°时，则暂停播放，并将柱面全景视频的当前播放视窗夹角发送至全景视频服务器终端，并返回执行步骤S200。

由于当前起始位置与所述播放视窗起始位置夹角超出30°时，客户终端中的局部帧数据不完整，故需要通知全景视频服务器终端下发当前播放视窗夹角对应的局部帧数据，接收完成后恢复播放。

基于上述方法实施例，本发明还提供一种Web音视频播放器多段复读标记实现系统。如图3所示，所述Web音视频播放器多段复读标记实现系统包括：

播放参数发送模块，用于当客户终端检测到用户的视频播放视窗起始位置及播放视窗夹角设置指令时，则将柱面全景视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端；

局部帧数据发送模块，用于全景视频服务器终端根据播放视窗起始位置及播放视窗夹角获取每一全景帧数据中的局部帧起始位置和局部帧宽度，并根据局部帧起始位置和局部帧宽度从每一全景帧数据获取对应局部帧数据，并将多帧局部帧数据依序发送至客户终端；

接收及播放模块，用于客户终端接收并解析所述局部帧数据，并进行投射及播放。

进一步的，在所述柱面全景视频网络传输系统中，所述播放参数发送模块100具体包括：

连接单元，用于全景视频服务器终端对客户终端的连接请求指令进行实时检测，当检测到时则与客户终端建立连接；

起始位置及夹角发送单元，用于客户终端对用户的视频播放视窗起始位置及播放视窗夹角设置指令进行实时检测，当检测到时则将视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端。

进一步的，在所述柱面全景视频网络传输系统中，所述局部帧数据发送模块200具体包括：

起始位置及宽度获取单元，用于全景视频服务器终端接收所述播放视窗起始位置及播放视窗夹角，以播放视窗起始位置为局部帧起始位置，并根据W1=（α+60°）*π/180计算获取局部帧宽度；其中，将局部帧起始位置记为S1，局部帧宽度记为W1，播放视窗夹角记为α；

判断单元，用于判断（W1+S1）是否超过W2，当未超过时则启动第一发送控制单元，当超出时则启动第二发送控制单元；其中，将全景帧宽度记为W2；

第一发送控制单元，用于从每一帧全景帧数据中获取对应局部帧宽度的局部帧数据，并将多帧局部帧数据依序发送至客户终端；

第二发送控制单元，用于从每一帧全景帧数据的尾部获取宽度为（W2-S1）的第一图片数据，从每一帧全景帧数据的头部获取宽度为（W1-W2+S1）的第二图片数据，并将所述第一图片数据和所述第二图片数据合成局部帧数据，再将多帧局部帧数据依序发送至客户终端。

进一步的，在所述柱面全景视频网络传输系统中，还包括：

检测控制模块，用于当用户终端检测到播放视窗旋转后的当前起始位置与所述播放视窗起始位置夹角超出30°时，则暂停播放，并将柱面全景视频的当前播放视窗夹角发送至全景视频服务器终端，并启动局部帧数据发送模块。

进一步的，在所述柱面全景视频网络传输系统中，所述客户终端的圆柱体模型与全景视频服务器终端的圆柱体模型相同。

综上所述，本发明提供的一种柱面全景视频网络传输方法及系统，方法包括：当客户终端检测到用户的视频播放视窗起始位置及播放视窗夹角设置指令时，则将柱面全景视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端；全景视频服务器终端根据播放视窗起始位置及播放视窗夹角获取每一全景帧数据中的局部帧起始位置和局部帧宽度，并从每一全景帧数据获取对应局部帧数据，并将多帧局部帧数据依序发送至客户终端；客户终端接收并解析局部帧数据，并投射至客户终端的圆柱体模型进行播放。本发明采用局部帧传输技术，即每次只传输视窗范围内以及视窗宽度左右外延30%左右的视频数据，极大减少了视频数据传输量，提高传输速度。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种柱面全景视频网络传输方法，其特征在于，所述方法包括以下步骤：

A、当客户终端检测到用户的视频播放视窗起始位置及播放视窗夹角设置指令时，则将柱面全景视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端；

B、全景视频服务器终端根据播放视窗起始位置及播放视窗夹角获取每一全景帧数据中的局部帧起始位置和局部帧宽度，并根据局部帧起始位置和局部帧宽度从每一全景帧数据获取对应局部帧数据，并将多帧局部帧数据依序发送至客户终端；

C、客户终端接收并解析所述局部帧数据，并投射至客户终端的圆柱体模型进行播放；

所述步骤B具体包括：

B1、全景视频服务器终端接收所述播放视窗起始位置及播放视窗夹角，以播放视窗起始位置为局部帧起始位置，并根据W1=（α+60°）*π/180计算获取局部帧宽度；其中，将局部帧起始位置记为S1，局部帧宽度记为W1，播放视窗夹角记为α；

B2、判断（W1+S1）是否超过W2，当未超过时则执行步骤B3，当超出时则执行步骤B4；其中，将全景帧宽度记为W2；

B3、从每一帧全景帧数据中获取对应局部帧宽度的局部帧数据，并将多帧局部帧数据依序发送至客户终端；

B4、从每一帧全景帧数据的尾部获取宽度为（W2-S1）的第一图片数据，从每一帧全景帧数据的头部获取宽度为（W1-W2+S1）的第二图片数据，并将所述第一图片数据和所述第二图片数据合成局部帧数据，再将多帧局部帧数据依序发送至客户终端。

2.根据权利要求1所述柱面全景视频网络传输方法，其特征在于，所述步骤A具体包括：

A1、全景视频服务器终端对客户终端的连接请求指令进行实时检测，当检测到时则与客户终端建立连接；

A2、客户终端对用户的视频播放视窗起始位置及播放视窗夹角设置指令进行实时检测，当检测到时则将视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端。

3.根据权利要求1所述柱面全景视频网络传输方法，其特征在于，所述步骤C之后还包括：

D、当用户终端检测到播放视窗旋转后的当前起始位置与所述播放视窗起始位置夹角超出30°时，则暂停播放，并将柱面全景视频的当前播放视窗夹角发送至全景视频服务器终端，并返回执行步骤B。

4.根据权利要求1所述柱面全景视频网络传输方法，其特征在于，所述客户终端的圆柱体模型与全景视频服务器终端的圆柱体模型相同。

5.一种柱面全景视频网络传输系统，其特征在于，包括：

播放参数发送模块，用于当客户终端检测到用户的视频播放视窗起始位置及播放视窗夹角设置指令时，则将柱面全景视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端；

局部帧数据发送模块，用于全景视频服务器终端根据播放视窗起始位置及播放视窗夹角获取每一全景帧数据中的局部帧起始位置和局部帧宽度，并根据局部帧起始位置和局部帧宽度从每一全景帧数据获取对应局部帧数据，并将多帧局部帧数据依序发送至客户终端；

接收及播放模块，用于客户终端接收并解析所述局部帧数据，并进行投射及播放；

所述局部帧数据发送模块具体包括：

起始位置及宽度获取单元，用于全景视频服务器终端接收所述播放视窗起始位置及播放视窗夹角，以播放视窗起始位置为局部帧起始位置，并根据W1=（α+60°）*π/180计算获取局部帧宽度；其中，将局部帧起始位置记为S1，局部帧宽度记为W1，播放视窗夹角记为α；

判断单元，用于判断（W1+S1）是否超过W2，当未超过时则启动第一发送控制单元，当超出时则启动第二发送控制单元；其中，将全景帧宽度记为W2；

第一发送控制单元，用于从每一帧全景帧数据中获取对应局部帧宽度的局部帧数据，并将多帧局部帧数据依序发送至客户终端；

第二发送控制单元，用于从每一帧全景帧数据的尾部获取宽度为（W2-S1）的第一图片数据，从每一帧全景帧数据的头部获取宽度为（W1-W2+S1）的第二图片数据，并将所述第一图片数据和所述第二图片数据合成局部帧数据，再将多帧局部帧数据依序发送至客户终端。

6.根据权利要求5所述柱面全景视频网络传输系统，其特征在于，所述播放参数发送模块具体包括：

连接单元，用于全景视频服务器终端对客户终端的连接请求指令进行实时检测，当检测到时则与客户终端建立连接；

起始位置及夹角发送单元，用于客户终端对用户的视频播放视窗起始位置及播放视窗夹角设置指令进行实时检测，当检测到时则将视频的播放视窗起始位置及播放视窗夹角发送至全景视频服务器终端。

7.根据权利要求5所述柱面全景视频网络传输系统，其特征在于，还包括：

检测控制模块，用于当用户终端检测到播放视窗旋转后的当前起始位置与所述播放视窗起始位置夹角超出30°时，则暂停播放，并将柱面全景视频的当前播放视窗夹角发送至全景视频服务器终端，并启动局部帧数据发送模块。

8.根据权利要求5所述柱面全景视频网络传输系统，其特征在于，所述客户终端的圆柱体模型与全景视频服务器终端的圆柱体模型相同。