CN106454364A - 全景视频播放方法及装置 - Google Patents

Abstract

本发明涉及一种全景视频播放方法及装置，其中全景视频播放方法包括：获取终端设备所检测到的用户观看全景视频时的用户行为，其中，所述全景视频的各帧数据是基于立方体模型而编码的、包括六个面的数据；根据所获取到的用户行为来对所述全景视频的待播放的帧数据中的至少一个面的数据进行压缩；以及将所述全景视频的压缩后的帧数据传输至所述终端设备，以使得所述终端设备能够播放所述全景视频的压缩后的帧数据。根据本发明实施例的全景视频播放方法及装置，可以减少传输全景视频的帧数据时的数据量，从而节约带宽和流量。

Description

全景视频播放方法及装置

技术领域

本发明涉及视频转码领域，尤其涉及一种全景视频播放方法及装置。

背景技术

随着目前VR(Virtual Reality，虚拟现实)行业的火热，越来越多的人开始关注全景视频这种“可操作，可交互”的新型视频。由于播放全景视频时，展示在屏幕上的内容仅仅是整个画面的一部分，因此相对于传统平面视频而言，要展示同等清晰度的全景视频需要更大的分辨率和码率，从而需要更多的带宽。

目前较为普遍的一种节约带宽的方式是facebook提出的cubic(立方体)编码方式，即将360度的画面映射到立方体上，理论上可以减少25％的带宽使用。

上述cubic编码方式虽然在一定程度上减少了播放全景视频时的带宽使用，但还是有不少的带宽是被浪费的。例如，对于一个用户来说无法同时看到立方体的六个面，但实际上却把六个面的数据都传输给了用户，这样造成了一定程度的浪费。

发明内容

技术问题

有鉴于此，本发明要解决的技术问题是如何减少传输全景视频时的带宽和流量。

解决方案

为了解决上述技术问题，根据本发明的一实施例，提供了一种全景视频播放方法，包括：获取终端设备所检测到的用户观看全景视频时的用户行为，其中，所述全景视频的各帧数据是基于立方体模型而编码的、包括六个面的数据；根据所获取到的用户行为来对所述全景视频的待播放的帧数据中的至少一个面的数据进行压缩；以及将所述全景视频的压缩后的帧数据传输至所述终端设备，以使得所述终端设备能够播放所述全景视频的压缩后的帧数据。

对于上述全景视频播放方法，在一种可能的实现方式中，根据所获取到的用户行为来对所述全景视频的待播放的帧数据中的至少一个面的数据进行压缩，包括：在所获取到的用户行为是用户左右移动视角的情况下，将所述全景视频的待播放的帧数据中的后面、上面和下面的数据进行压缩。

对于上述全景视频播放方法，在一种可能的实现方式中，根据所获取到的用户行为来对待播放的帧数据中的至少一个面的数据进行压缩，包括：在所获取到的用户行为是用户上下移动视角的情况下，将所述全景视频的待播放的帧数据中的左面、后面和右面的数据进行压缩。

对于上述全景视频播放方法，在一种可能的实现方式中，将所述全景视频的压缩后的帧数据传输至所述终端设备，还包括：将所述全景视频的压缩后的帧数据转换成矩形格式；将转换成矩形格式的帧数据传输至所述终端设备。

为了解决上述技术问题，根据本发明的另一实施例，提供了一种全景视频播放装置，包括：获取单元，用于获取终端设备所检测到的用户观看全景视频时的用户行为，其中，所述全景视频的各帧数据是基于立方体模型而编码的、包括六个面的数据；压缩单元，与所述获取单元连接，用于根据所获取到的用户行为来对所述全景视频的待播放的帧数据中的至少一个面的数据进行压缩；以及传输单元，与所述压缩单元连接，用于将所述全景视频的压缩后的帧数据传输至所述终端设备，以使得所述终端设备能够播放所述全景视频的压缩后的帧数据。

对于上述全景视频播放装置，在一种可能的实现方式中，所述压缩单元用于：在所获取到的用户行为是用户左右移动视角的情况下，将所述全景视频的待播放的帧数据中的后面、上面和下面的数据进行压缩。

对于上述全景视频播放装置，在一种可能的实现方式中，所述压缩单元用于：在所获取到的用户行为是用户上下移动视角的情况下，将所述全景视频的待播放的帧数据中的左面、后面和右面的数据进行压缩。

对于上述全景视频播放装置，在一种可能的实现方式中，所述传输单元包括：转换模块，用于将所述全景视频的压缩后的帧数据转换成矩形格式；传输模块，与所述转换模块连接，用于将转换成矩形格式的帧数据传输至所述终端设备。

有益效果

通过本实施例的全景视频播放方法及装置，通过对用户行为的分析，以得出用户的观看倾向，从而得出用户想要观看或重视的内容，并且在保证这部分内容的清晰度的情况下，对次要内容进行压缩，即利用不同的转码方式，来在尽可能保证用户观看清晰度的前提下对全景视频的内容进行转码。这样，可以减少传输全景视频的帧数据时的数据量，从而节约带宽和流量。

根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。

图1示出基于cubic模型的全景视频的示意图；

图2示出基于cubic模型的全景视频的矩形格式的帧数据的示意图；

图3示出根据本发明一实施例的全景视频播放方法的流程图；

图4示出根据本发明一实施例的基于cubic模型的全景视频的帧数据的示意图；

图5示出根据本发明另一实施例的基于cubic模型的全景视频的帧数据的示意图；

图6示出根据本发明一实施例的全景视频播放装置的结构框图；

图7示出根据本发明另一实施例的全景视频播放装置的结构框图。

具体实施方式

以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

本发明的全景视频是基于cubic模型而编码的，因此，首先将说明基于cubic模型的全景视频。

具体而言，服务器端将一个平面视频的画面进行适当的切割，以分别映射到如图1所示的cubic模型中的六个面上，即分别将与一个平面视频的多个画面相对应的数据分别映射到这六个面上，以形成六个面的数据。然后，由于在网络中传输的帧数据必须是矩形格式，因此需要将这六个面的数据转换成如图2所示的矩形格式，从而形成矩形格式的帧数据。接着，服务器将所形成的帧数据下发到播放端、例如终端设备。然后，在终端设备上对这六个面的数据进行一定规则的解码即可播放这些帧数据，从而播放全景视频。这样，用户戴上特定的设备就可以观看终端设备上所播放的全景视频。

当用户戴上特定的设备进行观看(犹如处于立方体的中心观看一样)时，对于六个面的数据，用户通常只能看到正面的数据以及上面、下面、左面和右面的至多一部分数据，并且基本无法看到后面的数据。换句话说，用户无法同时看到立方体的六个面的数据。其中，立方体的上面、下面、左面、右面、前面和后面是相对于用户观看的方向而言。然而，在现有的基于cubic模型的全景视频中，将六个面的数据进行同样的处理之后传输给用户的终端设备，这样造成了一定程度的带宽浪费。

为此，本发明人提出一种基于用户行为的全景视频播放方法和装置，通过对用户行为的分析，将全景视频的帧数据转码成不同的格式，并且根据对用户行为的分析结果来选择播放这些格式的帧数据，以体现用户的观看倾向，并且在尽可能保证用户观看清晰度的前提下，节约带宽和流量。

以下实施例将具体说明本发明的全景视频播放方法和装置。

实施例1

图3示出根据本发明一实施例的全景视频播放方法的流程图。其中，本实施例的全景视频的各帧数据是基于立方体模型而编码的、包括立方体中的六个面的数据。如图3所示，该全景视频播放方法主要包括：

步骤S110、获取终端设备所检测到的用户观看全景视频时的用户行为；

步骤S120、根据所获取到的用户行为来对全景视频的待播放的帧数据中的至少一个面的数据进行压缩；以及

步骤S130、将全景视频的压缩后的帧数据传输至终端设备，以使得终端设备能够播放全景视频的压缩后的帧数据。

下面，将对上述各步骤进行具体说明。

对于上述步骤S110，在用户戴着特定的观看设备、例如头盔观看全景视频时，随着用户观看行为的变化，会向用户展现与不同的帧数据相对应的全景视频。通常，在用户观看全景视频时，通过戴着特定的观看设备朝着不同的方向转动，就能够产生不同的观看行为(用户行为)。并且，通过放置于特定的观看设备内的终端设备、例如智能手机中设置的传感器，能够检测到用户的这些观看行为。例如，随着特定的观看设备朝着不同的方向转动，放置在其内的终端设备随之转动，这样，终端设备的方位在发生变化，而通过终端设备上的例如陀螺仪等就能够检测到这种方位变化，即能够检测到用户的观看行为。

在终端设备检测到用户的观看行为之后，可以直接将所检测到的观看行为发送至服务器，这样服务器只要进行相应地接收即可获取到终端设备所检测到的用户行为。此外，服务器也可以通过向终端设备发送预定的指令来获取终端设备所检测到的用户观看全景视频时的用户行为。

对于上述步骤S120，在服务器获取到用户行为之后，可以根据所获取到的用户行为来对全景视频的待播放的帧数据进行相应地压缩。具体而言，在服务器获取到用户行为之后，需要对该用户行为进行分析，以确定该用户行为的类型。例如，该用户行为的类型可以通过用户朝向哪个方向移动视角来进行分类。在服务器确定用户行为的类型之后，可以根据所确定出的用户类型来确定用户的观看倾向，即确定待播放的帧数据中用户想要观看或重视的内容。例如，根据用户朝向哪个方向移动视角，就可以预测出用户想要观看或重视待播放的帧数据的六个面中哪些面的数据。在得出用户想要观看或重视的内容之后，可以重点传输这部分内容，而将其它部分内容的数据进行压缩。例如，如果预测出用户存在想要观看左面和前面的数据的倾向，则将其它面的数据进行压缩，而保持这两个面的数据不变。

对于上述步骤S130，在对待播放的帧数据进行了相应地压缩之后，将压缩后的帧数据传输至终端设备。这样，能够节省服务器传输至终端设备进行播放的数据的量，从而节省传输带宽。并且，由于保持用户想要观看的内容不变，因此可以保证这部分内容的清晰度。

在一种可能的实现方式中，由于在网络中传输的帧数据必须是矩形格式，因此需要将压缩后的帧数据、即六个面的数据转换成矩形格式。然后，将转换成矩形格式的帧数据传输至终端设备以进行相应的全景视频的播放。

需要说明的是，用于播放全景视频的终端设备不限于手机，也可以是例如平板电脑等的其它类型的终端设备，只要该设备能够播放全景视频以供用户观看即可。此外，用于检测用户行为的传感器不限于陀螺仪，也可以是其它类型的传感器，只要该传感器能够检测到用户行为的变化即可。此外，特定的观看设备不限于头盔形状，也可以是任何形状的框体、球体等，只要该框体、球体等能够使戴上框体、球体等的用户能够观看终端设备中播放的全景视频即可。

需要说明的是，在上述实施例中，在获取到用户行为之后，根据用户行为对全景视频的帧数据进行即时压缩，属于即时处理。然而，本发明不限于此。例如，也可以根据实践中统计出的多个用户行为，分别对全景视频的各帧数据预先进行不同类型的压缩处理，即将全景视频中的每一帧数据均根据用户行为转码成多种格式，然后存储在服务器中。接着，在获取到终端设备上所检测到的用户行为之后，从所存储的多种格式中选择相应的格式传输至终端设备上进行播放即可。这样，也可以实现传输带宽和流量的减少，并且进一步提高了传输效率。

这样，通过本实施例的全景视频播放方法，通过对用户行为的分析，以得出用户的观看倾向，从而得出用户想要观看或重视的内容，并且在保证这部分内容的清晰度的情况下，对次要内容进行压缩，即利用不同的转码方式，来在尽可能保证用户观看清晰度的前提下对全景视频的内容进行转码。这样，可以减少传输全景视频的帧数据时的数据量，从而节约带宽和流量。

实施例2

本实施例的全景视频播放方法与实施例1的全景视频播放方法的主要区别在于，在本实施例中，所获取到的用户行为具体包括用户左右移动视角和用户上下移动视角。

在一种可能的实现方式中，在所获取到的用户行为是用户左右移动视角的情况下，上述步骤S120具体为将全景视频的待播放的帧数据中的后面、上面和下面的数据进行压缩。

具体而言，在用户利用特定的观看设备观看全景视频时，用户可以左右移动头部，这时可以认为用户在左右移动视角，这表明用户存在想要观看左面、前面和右面的全景视频的倾向。也就是说，用户想要观看或重视的内容是与立方体的左面、前面和右面的数据相对应的内容。这时，服务器在获取到终端设备所检测到的该用户左右移动视角的用户行为的情况下，可以对待播放的帧数据采用如下的转码方式：将待播放的帧数据中后面、上面和下面的数据进行压缩，并使左面、前面和右面的数据保持不变。然后，将数据压缩后的帧数据转换成如图4所示的矩形格式的数据。

接着，将该矩形格式的数据传输至终端设备，以使得该终端设备能够播放全景视频的压缩后的帧数据。

这样，服务器传输至终端设备的数据的量减少，从而能够在保证用户想要观看或重视的内容的清晰度的情况下，减少相应的传输带宽和流量。

在一种可能的实现方式中，在所获取到的用户行为是用户上下移动视角的情况下，上述步骤S120具体为将全景视频的待播放的帧数据中的左面、后面和右面的数据进行压缩。

具体而言，在用户利用特定的观看设备观看全景视频时，用户可以上下移动头部，这时可以认为用户在上下移动视角，这表明用户存在想要观看上面、前面和下面的全景视频的倾向。也就是说，用户想要观看或重视的内容是与立方体的上面、前面和下面的数据相对应的内容。这时，服务器在获取到终端设备所检测到的该用户上下移动视角的用户行为的情况下，可以对待播放的帧数据采用如下的转码方式：将待播放的帧数据中左面、后面和右面的数据进行压缩，并使上面、前面和下面的数据保持不变。然后，将数据压缩后的帧数据转换成如图5所示的矩形格式的数据。

接着，将该矩形格式的数据传输至终端设备，以使得该终端设备能够播放全景视频的压缩后的帧数据。

这样，服务器传输至终端设备的数据的量减少，从而能够在保证用户想要观看或重视的内容的清晰度的情况下，减少相应的传输带宽和流量。

需要说明的是，用户行为是用户左右移动视角并非指用户绝对地在水平方向上左右移动视角、而是相对于竖直方向的上下移动而言更倾向于水平方向上的左右移动视角的用户行为。例如，用户在相对于竖直方向大于45度的方向上移动视角即可认为是用户在左右移动视角。同理，用户行为是用户上下移动视角并非指用户绝对地在竖直方向上上下移动视角、而是相对于水平方向的左右移动而言更倾向于竖直方向上的上下移动视角的用户行为。例如，用户在相对于水平方向大于45度的移动即可认为是用户在竖直移动视角。

需要说明的是，本发明不限定用户行为的划分方式。即，本发明可以不只限定两种用户行为，而可以相应地进行更细致的划分。例如，可以分为用户向上移动视角、用户向下移动视角、用户向左移动视角和用户向右移动视角。相应地，例如，当用户行为是用户向上移动视角时，可以对待播放的帧数据采用如下的转码方式：将待播放的帧数据中左面、后面、右面和下面的数据进行压缩，并使上面和前面数据保持不变。当用户行为是用户向下移动视角时，可以对待播放的帧数据采用如下的转码方式：将待播放的帧数据中左面、后面、右面和上面的数据进行压缩，并使下面和前面数据保持不变。当用户行为是用户向左移动视角时，可以对待播放的帧数据采用如下的转码方式：将待播放的帧数据中后面、右面、下面和上面的数据进行压缩，并使左面和前面数据保持不变。当用户行为是用户向右移动视角时，可以对待播放的帧数据采用如下的转码方式：将待播放的帧数据中后面、左面、下面和上面的数据进行压缩，并使右面和前面数据保持不变。

此外，也可以不只是在水平和竖直方向上进行用户行为的划分，而是例如按照360度、每隔45度进行一次方位的确定，然后根据所确定的方位得出用户想要观看的内容，再对次要的内容进行压缩即可。

需要说明的是，上述实施例中，图4、图5中矩形格式的帧数据各面的内容的位置可以改变，只要该改变后帧数据仍然是矩形格式并且在播放端根据该改变相应地调整解码方式即可。

这样，通过本实施例的全景视频播放方法，通过对用户行为、具体为用户移动视角的方向的分析，以得出用户的观看倾向，从而得出用户想要观看或重视的内容，并且在保证这部分内容的清晰度的情况下，对次要内容进行压缩，即利用不同的转码方式，来在尽可能保证用户观看清晰度的前提下对全景视频的内容进行转码。这样，可以减少传输全景视频的帧数据时的数据量，从而节约带宽和流量。

实施例3

图6示出根据本发明一实施例的全景视频播放装置的结构框图。如图6所示，全景视频播放装置20包括获取单元21，用于获取终端设备所检测到的用户观看全景视频时的用户行为，其中，所述全景视频的各帧数据是基于立方体模型而编码的、包括六个面的数据；压缩单元22，与所述获取单元21连接，用于根据所获取到的用户行为来对所述全景视频的待播放的帧数据中的至少一个面的数据进行压缩；以及传输单元23，与所述压缩单元22连接，用于将所述全景视频的压缩后的帧数据传输至所述终端设备，以使得所述终端设备能够播放所述全景视频的压缩后的帧数据。

在一种可能的实现方式中，所述传输单元23包括：转换模块231，用于将所述全景视频的压缩后的帧数据转换成矩形格式；以及传输模块232，与所述转换模块连接，用于将转换成矩形格式的帧数据传输至所述终端设备。

在一种可能的实现方式中，所述压缩单元22可以具体用于：在所获取到的用户行为是用户左右移动视角的情况下，将所述全景视频的待播放的帧数据中的后面、上面和下面的数据进行压缩。

在一种可能的实现方式中，所述压缩单元22可以具体用于：在所获取到的用户行为是用户上下移动视角的情况下，将所述全景视频的待播放的帧数据中的左面、后面和右面的数据进行压缩。

本实施例的全景视频播放装置20可以用来实现上述实施例1或2中所述的全景视频播放方法。上述全景视频播放方法的具体流程详见上述实施例1和2。

根据本实施例的全景视频播放装置，通过对用户行为的分析，以得出用户的观看倾向，从而得出用户想要观看或重视的内容，并且在保证这部分内容的清晰度的情况下，对次要内容进行压缩，即利用不同的转码方式，来在尽可能保证用户观看清晰度的前提下对全景视频的内容进行转码。这样，可以减少传输全景视频的帧数据时的数据量，从而节约带宽和流量。

实施例4

图7示出根据本发明另一实施例的全景视频播放装置的结构框图。所述全景视频播放装置1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对计算节点的具体实现做限定。

所述全景视频播放装置1100包括处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。

通信接口1120用于与网络设备通信，其中网络设备包括例如虚拟机管理中心、共享存储等。

处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU，或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器1130用于存放文件。存储器1130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且所述块可按一定的规则组合成虚拟卷。

在一种可能的实施方式中，上述程序可为包括计算机操作指令的程序代码。该程序具体可用于：实现上述各实施例中的方法各步骤的操作。

本领域普通技术人员可以意识到，本文所描述的实施例中的各示例性单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来实现，取决于技术方案的特定应用和设计约束条件。专业技术人员可以针对特定的应用选择不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

如果以计算机软件的形式来实现所述功能并作为独立的产品销售或使用时，则在一定程度上可认为本发明的技术方案的全部或部分(例如对现有技术做出贡献的部分)是以计算机软件产品的形式体现的。该计算机软件产品通常存储在计算机可读取的非易失性存储介质中，包括若干指令用以使得计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各实施例方法的全部或部分步骤。而前述的存储介质包括U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种全景视频播放方法，其特征在于，包括：

获取终端设备所检测到的用户观看全景视频时的用户行为，其中，所述全景视频的各帧数据是基于立方体模型而编码的、包括六个面的数据；

根据所获取到的用户行为来对所述全景视频的待播放的帧数据中的至少一个面的数据进行压缩；以及

将所述全景视频的压缩后的帧数据传输至所述终端设备，以使得所述终端设备能够播放所述全景视频的压缩后的帧数据。

2.根据权利要求1所述的全景视频播放方法，其特征在于，根据所获取到的用户行为来对所述全景视频的待播放的帧数据中的至少一个面的数据进行压缩，包括：

在所获取到的用户行为是用户左右移动视角的情况下，将所述全景视频的待播放的帧数据中的后面、上面和下面的数据进行压缩。

3.根据权利要求1所述的全景视频播放方法，其特征在于，根据所获取到的用户行为来对待播放的帧数据中的至少一个面的数据进行压缩，包括：

在所获取到的用户行为是用户上下移动视角的情况下，将所述全景视频的待播放的帧数据中的左面、后面和右面的数据进行压缩。

4.根据权利要求1-3中任一项所述的全景视频播放方法，其特征在于，将所述全景视频的压缩后的帧数据传输至所述终端设备，还包括：

将所述全景视频的压缩后的帧数据转换成矩形格式；

将转换成矩形格式的帧数据传输至所述终端设备。

5.一种全景视频播放装置，其特征在于，包括：

获取单元，用于获取终端设备所检测到的用户观看全景视频时的用户行为，其中，所述全景视频的各帧数据是基于立方体模型而编码的、包括六个面的数据；

压缩单元，与所述获取单元连接，用于根据所获取到的用户行为来对所述全景视频的待播放的帧数据中的至少一个面的数据进行压缩；以及

传输单元，与所述压缩单元连接，用于将所述全景视频的压缩后的帧数据传输至所述终端设备，以使得所述终端设备能够播放所述全景视频的压缩后的帧数据。

6.根据权利要求5所述的全景视频播放装置，其特征在于，所述压缩单元用于：

在所获取到的用户行为是用户左右移动视角的情况下，将所述全景视频的待播放的帧数据中的后面、上面和下面的数据进行压缩。

7.根据权利要求5所述的全景视频播放装置，其特征在于，所述压缩单元用于：

在所获取到的用户行为是用户上下移动视角的情况下，将所述全景视频的待播放的帧数据中的左面、后面和右面的数据进行压缩。

8.根据权利要求5-7中任一项所述的全景视频播放装置，其特征在于，所述传输单元包括：

转换模块，用于将所述全景视频的压缩后的帧数据转换成矩形格式；

传输模块，与所述转换模块连接，用于将转换成矩形格式的帧数据传输至所述终端设备。