CN107872626A - 全景视频播放方法和系统以及用于全景视频播放的服务器 - Google Patents

Abstract

本发明公开了一种全景视频播放方法和系统以及用于全景视频播放的服务器，涉及视频技术领域。本发明通过获取播放窗口涉及的视频源，并根据拼接结果将视频源分割成子视频块，再从子视频块中选取播放窗口涉及的子视频块进行拼接，并发送给播放器播放，可以仅传输播放窗口显示的视频数据，节约了带宽，提高了传输效率，从而可以减少视频播放时的卡顿，提升了用户体验。

Description

全景视频播放方法和系统以及用于全景视频播放的服务器

技术领域

本发明涉及视频技术领域，特别涉及一种全景视频播放方法和系统以及用于全景视频播放的服务器。

背景技术

全景视频技术在全景照片技术之上发展延伸而来。全景视频可将多个不同机位拍摄的视频进行合成，给用户提供全方位可观看动态视频的视觉体验。

然而，在现有技术中，服务器采用将各个机位的视频源拼接为完整的全景视频发送到客户端播放的方式。然而，客户端的窗口只能呈现全景视频的一部分，因此，服务器将大量的冗余内容传输到了客户端，造成了带宽的浪费，降低了传输速率，使用户在观看视频时容易出现卡顿，观看体验不佳。

发明内容

本发明实施例所要解决的一个技术问题是：如何提高全景视频播放的流畅度。

根据本发明实施例的第一个方面，提供一种全景视频播放方法，包括：服务器获取播放器发送的播放请求，播放请求包括播放窗口在全景视频中的位置信息；服务器根据位置信息，确定播放窗口涉及的视频源；服务器拼接播放窗口涉及的视频源；服务器将拼接后的视频源分割为子视频块；服务器根据位置信息，选择播放窗口涉及的子视频块；服务器拼接选择的子视频块，生成窗口视频；服务器将窗口视频发送给播放器，以便播放器播放窗口视频。

根据本发明实施例的第二个方面，提供一种用于全景视频播放的服务器，包括：播放请求获取模块，用于获取播放器发送的播放请求，播放请求包括播放窗口在全景视频中的位置信息；视频源确定模块，根据位置信息，确定播放窗口涉及的视频源；视频源拼接模块，用于拼接播放窗口涉及的视频源；子视频块生成模块，用于将拼接后的视频源分割为子视频块；子视频块选择模块，用于根据位置信息，选择播放窗口涉及的子视频块；窗口视频生成模块，用于拼接选择的子视频块，生成窗口视频；窗口视频发送模块，用于将窗口视频发送给播放器，以便播放器播放窗口视频。

根据本发明实施例的第三个方面，提供一种全景视频播放系统，包括：前述任意一种服务器，和，播放器，播放器用于向服务器发送播放请求，以便播放服务器发送的根据播放请求生成的窗口视频；其中，播放请求包括播放窗口在全景视频中的位置信息。

本发明通过获取播放窗口涉及的视频源，并根据拼接结果将视频源分割成子视频块，再从子视频块中选取播放窗口涉及的子视频块进行拼接，并发送给播放器播放，可以仅传输播放窗口显示的视频数据，节约了带宽，提高了传输效率，从而可以减少视频播放时的卡顿，提升了用户体验。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明全景视频播放方法的一个实施例的流程图。

图1A为播放窗口在全景视频中的位置示意图。

图2为本发明全景视频播放方法的另一个实施例的流程图。

图3为本发明全景视频播放系统的一个实施例的结构图。

图4为本发明用于全景视频播放的服务器的一个实施例的结构图。

图5为本发明用于全景视频播放的服务器的另一个实施例的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面参考图1描述本发明一个实施例的全景视频播放方法。

图1为本发明全景视频播放方法的一个实施例的流程图。如图1所示，该实施例的方法包括：

步骤S102，服务器获取播放器发送的播放请求，播放请求包括播放窗口在全景视频中的位置信息。

由于在同一全景视频场景中，各个机位的视频源的画幅、方向、位置都比较固定，因此服务器例如可以预先将针对同一全景视频场景的所有视频源拼接为完整的全景视频，并标注全景视频中各个视频源的边缘的坐标信息，再将各个视频源的边缘坐标信息发送给播放器。从而，播放器可以获知当前播放窗口在全景视频中的位置信息。

可以将全景视频的左上角作为坐标原点，水平向右方向为x轴正方向，垂直向下方向为y轴正方向，再根据预设的单位长度形成完整的坐标系统。根据需要，还可以采用其他的标注方式，这里不再赘述。

位置信息可以包括播放窗口的其中一个顶点的坐标，以及播放窗口的宽和高，从而可以定位播放窗口的位置；此外，位置信息还可以为播放窗口左上角和右下角的坐标，或者左下角和右上角的坐标。

播放器在播放时，可以设置窗口的起始位置，并记录位于起始位置的播放窗口的位置信息。然后，在视频播放的过程中，可以根据用户的播放窗口移动操作，计算出移动操作后播放窗口的位置信息。

步骤S104，服务器根据位置信息，确定播放窗口涉及的视频源。

播放窗口涉及的视频源是指至少一部分出现在播放窗口中的视频源。

服务器根据播放窗口的位置信息，可以计算播放窗口的四个顶点的坐标。根据四个顶点的坐标与各个视频源的边缘的坐标信息，可以判断当前的播放窗口涉及了哪些视频源。

下面示例性地说明如何确定播放窗口涉及的视频源。图1A为播放窗口在全景视频中的位置示意图。其中视频源1～视频源8为全景视频的各个视频源，并且每个视频源的宽为4个单位，高为3个单位。

图1A中的播放窗口A的左上角坐标为(2，1)，右下角坐标为(6，4)。从而，根据与各个视频源的边缘坐标的比较结果可知，视频源1、2、5、6部分出现在了播放窗口A中。

步骤S106，服务器拼接播放窗口涉及的视频源。

在进行拍摄时，各个机位具有不同的位置、画幅和角度等拍摄信息。然而，为了完整地拼接全景视频，相邻的视频源之间不可避免地会出现重合部分。因此，需要采用数字图像处理技术拼接相邻的视频，使相邻的视频之间的画面能够流畅地过渡。

步骤S108，服务器将拼接后的视频源分割为子视频块。

其中，子视频块可以为流文件。流文件的灵活性较高，并且可以根据索引文件进行快速组合。

服务器可以按照预设的尺寸将视频源进行分割。例如，对于图1A中的各个视频源，可以将其分割为若干1×1的子视频块。

在一个实施例中，服务器可以首先根据拼接视频源生成的拼接视频裁剪视频源，再按照预设尺寸分割裁剪后的视频源。即，分割生成的子视频块只包括真正出现在全景视频中的部分。视频源之间的重复处将会被去除。

此外，服务器还可以为各个子视频块生成标识，以便于检索。子视频块的标识应当能够体现子视频块的位置信息。

一种标识方式为，服务器根据子视频块在视频源中的位置信息和视频源在全景视频中的位置信息，为子视频块生成子视频块标识，即依次将上述信息对应的数值进行组合生成子视频块标识。例如，对于在视频源001的坐标系统中坐标为(2，3)的子视频块，可以采用0010203进行标识。从而，根据子视频块标识，可以获知子视频块的位置，并且对于已有的位置信息，也可以快速定位相应的子视频块。

另一种标识方式为，服务器为子视频块分配子视频块标识，并存储子视频块的标识与子视频块在视频源中的位置信息以及视频源在全景视频中的位置信息的对应关系。从而，服务器可以随机分配子视频块标识，并将子视频块的标识及其位置关系维护在对应关系表中，便于统一管理。

步骤S110，服务器根据位置信息，选择播放窗口涉及的子视频块。

各个视频源分割完毕后，服务器可以再次根据播放窗口的位置信息，只选择出现在播放窗口的范围内的子视频块。

步骤S112，服务器拼接选择的子视频块，生成窗口视频。

服务器可以按照各个子视频块在全景视频中的相对位置进行组合拼接，生成待播放的窗口视频。

当用户会频繁地更换播放窗口的位置时，可以考虑向播放器传输具有较小播放长度的窗口视频。一个实施例为，播放请求还包括播放进度信息。服务器在获得分割后的子视频块之后，以预设的播放进度间隔将子视频块分割为视频片段。然后，服务器可以拼接选择的子视频块中播放进度信息对应的视频片段，并生成窗口视频片段。

从而，可以尽可能少地减少传输的窗口视频的冗余，减少了对带宽资源和处理资源的浪费。

步骤S114，服务器将窗口视频发送给播放器，以便播放器播放窗口视频。

通过获取播放窗口涉及的视频源，并根据拼接结果将视频源分割成子视频块，再从子视频块中选取播放窗口涉及的子视频块进行拼接，并发送给播放器播放，可以仅传输播放窗口需要的视频数据，节约了带宽，提高了传输效率，从而可以减少视频播放时的卡顿，提升了用户体验。

在本发明中，分割视频源生成的子视频块可以保存在服务器端，以便进行复用。下面参考图2描述本发明另一个实施例的全景视频播放方法。

图2为本发明全景视频播放方法的另一个实施例的流程图。如图2所示，该实施例的方法包括：

步骤S202，服务器获取播放器发送的播放请求，播放请求包括播放窗口在全景视频中的位置信息。

步骤S204，服务器根据位置信息，确定播放窗口涉及的视频源。

步骤S206，服务器查看播放窗口涉及的视频源中是否存在未被拼接的视频源。如果不存在，执行步骤S208；如果存在，执行步骤S210～S314。

例如，如图1A所示，用户的播放窗口曾经位于播放窗口A和播放窗口B处，从而，服务器端已存储了视频1～8分割生成的所有子视频块。当在这之后，用户的窗口位于播放窗口C时，播放窗口涉及的视频为视频源2、3、6、7，而上述视频源已经被分割。因此，此时不必再对视频源2、3、6、7重新进行拼接和分割，而是可以直接从服务器中获得播放窗口C的范围内对应的子视频块。

步骤S208，服务器从已分割生成的子视频块中选择播放窗口涉及的子视频块。

步骤S210，服务器拼接播放窗口涉及的视频源。

步骤S212，服务器将拼接后的视频源分割为子视频块。

步骤S214，服务器根据位置信息，选择播放窗口涉及的子视频块。

步骤S216，服务器拼接选择的子视频块，生成窗口视频。

步骤S218，服务器将窗口视频发送给播放器，以便播放器播放窗口视频。

通过采用上述方法，在根据需求分割生成子视频块的基础上，尽可能地复用已有的资源，进一步地提升了服务器端视频处理的效率，加快了对播放器的响应速度，提升了用户体验。

视频处理的计算量较大，因此可以考虑将不同的操作分配给不同的计算资源，或者根据各个计算资源的属性或状态分配计算资源。一个实施例为，服务器根据操作对象的计算属性和操作类型为拼接播放窗口涉及的视频源、将拼接后的视频源分割为子视频块、拼接选择的子视频块中的至少一种操作分配计算资源。从而，能够提升服务器的处理效率。

其中，操作对象包括视频源、子视频块等等。操作对象的计算属性例如可以为视频的码率、分辨率、压缩方式等等。

例如，服务器可以为操作类型、操作对象的计算属性等参考因素分配权重，根据各个参考因素的值加权计算该操作的得分，并分配具有相应分数范围的计算资源处理操作。

下面参考图3描述本发明一个实施例的全景视频播放系统。

图3为本发明全景视频播放系统的一个实施例的结构图。如图3所示，该实施例的系统包括：用于全景视频播放的服务器40，和，播放器30，播放器30用于向服务器40发送播放请求，以便播放服务器40发送的根据播放请求生成的窗口视频；其中，播放请求包括播放窗口在全景视频中的位置信息。

下面参考图4描述本发明一个实施例的用于全景视频播放的服务器。

图4为本发明用于全景视频播放的服务器的一个实施例的结构图。如图4所示，该实施例的服务器包括：播放请求获取模块41，用于获取播放器发送的播放请求，播放请求包括播放窗口在全景视频中的位置信息；视频源确定模块42，根据位置信息，确定播放窗口涉及的视频源；视频源拼接模块43，用于拼接播放窗口涉及的视频源；子视频块生成模块44，用于将拼接后的视频源分割为子视频块；子视频块选择模块45，用于根据位置信息，选择播放窗口涉及的子视频块；窗口视频生成模块46，用于拼接选择的子视频块，生成窗口视频；窗口视频发送模块47，用于将窗口视频发送给播放器，以便播放器播放窗口视频。

其中，子视频块可以为流文件。

下面参考图5描述本发明另一个实施例的用于全景视频播放的服务器。

图5为本发明用于全景视频播放的服务器的另一个实施例的结构图。如图5所示，该实施例的服务器还包括：视频源拼接情况查询模块51，用于查看播放窗口涉及的视频源中是否存在未被拼接的视频源；子视频块选择模块45进一步用于当播放窗口涉及的视频源中不存在未被拼接的视频源时，从已分割生成的子视频块中选择播放窗口涉及的子视频块，生成窗口视频；视频源拼接模块43进一步用于当播放窗口涉及的视频源中存在未被拼接的视频源时，拼接播放窗口涉及的视频源。

其中，子视频块生成模块44可以包括：视频源裁剪单元542，用于根据拼接视频源生成的拼接视频裁剪视频源；视频源分割单元544，用于按照预设尺寸分割裁剪后的视频源。

此外，服务器还可以包括：子视频块标识生成模块52，用于根据子视频块在视频源中的位置信息和视频源在全景视频中的位置信息，为子视频块生成子视频块标识；或者，子视频块标识分配模块53，用于为子视频块分配子视频块标识，并存储子视频块的标识与子视频块在视频源中的位置信息以及视频源在全景视频中的位置信息的对应关系。

此外，服务器还可以还包括：计算资源分配模块55，用于根据操作对象的计算属性和操作类型为拼接播放窗口涉及的视频源、将拼接后的视频源分割为子视频块、拼接选择的子视频块中的至少一种操作分配计算资源。

其中，播放请求还可以包括播放进度信息。此时，服务器还可以包括视频片段生成模块57，用于以预设的播放进度间隔将子视频块分割为视频片段；窗口视频生成模块46可以包括：视频片段拼接单元562，用于拼接选择的子视频块中播放进度信息对应的视频片段；窗口视频生成单元564，用于拼接选择的视频片段，生成窗口视频片段。

此外，根据本发明的方法还可以实现为一种计算机程序产品，该计算机程序产品包括计算机可读介质，在该计算机可读介质上存储有用于执行本发明的方法中限定的上述功能的计算机程序。本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种全景视频播放方法，其特征在于，包括：

服务器获取播放器发送的播放请求，所述播放请求包括播放窗口在全景视频中的位置信息；

服务器根据所述位置信息，确定所述播放窗口涉及的视频源；

服务器拼接所述播放窗口涉及的视频源；

服务器将拼接后的视频源分割为子视频块；

服务器根据所述位置信息，选择所述播放窗口涉及的子视频块；

服务器拼接选择的子视频块，生成窗口视频；

服务器将所述窗口视频发送给播放器，以便播放器播放所述窗口视频。

2.根据权利要求1所述的方法，其特征在于，服务器根据所述位置信息，确定所述播放窗口涉及的视频源之后，还包括：

服务器查看所述播放窗口涉及的视频源中是否存在未被拼接的视频源；

如果不存在，服务器从已分割生成的子视频块中选择所述播放窗口涉及的子视频块，生成窗口视频；

如果存在，服务器拼接所述播放窗口涉及的视频源。

3.根据权利要求1所述的方法，其特征在于，所述服务器将拼接后的视频源分割为子视频块包括：

服务器根据拼接视频源生成的拼接视频裁剪所述视频源；

服务器按照预设尺寸分割裁剪后的视频源。

4.根据权利要求1所述的方法，其特征在于，所述服务器将拼接后的视频源分割为子视频块之后，还包括：

服务器根据子视频块在视频源中的位置信息和所述视频源在全景视频中的位置信息，为子视频块生成子视频块标识；或者，

服务器为子视频块分配子视频块标识，并存储子视频块的标识与子视频块在视频源中的位置信息以及所述视频源在全景视频中的位置信息的对应关系。

5.根据权利要求1所述的方法，其特征在于，还包括：

服务器根据操作对象的计算属性和操作类型为拼接所述播放窗口涉及的视频源、将拼接后的视频源分割为子视频块、拼接选择的子视频块中的至少一种操作分配计算资源。

6.根据权利要求1所述的方法，其特征在于，所述播放请求还包括播放进度信息；

所述方法还包括：

服务器以预设的播放进度间隔将子视频块分割为视频片段；

所述服务器拼接选择的子视频块，生成窗口视频包括：

服务器拼接选择的子视频块中所述播放进度信息对应的视频片段；

服务器拼接选择的视频片段，生成窗口视频片段。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述子视频块为流文件。

8.一种用于全景视频播放的服务器，其特征在于，包括：

播放请求获取模块，用于获取播放器发送的播放请求，所述播放请求包括播放窗口在全景视频中的位置信息；

视频源确定模块，根据所述位置信息，确定所述播放窗口涉及的视频源；

视频源拼接模块，用于拼接所述播放窗口涉及的视频源；

子视频块生成模块，用于将拼接后的视频源分割为子视频块；

子视频块选择模块，用于根据所述位置信息，选择所述播放窗口涉及的子视频块；

窗口视频生成模块，用于拼接选择的子视频块，生成窗口视频；

窗口视频发送模块，用于将所述窗口视频发送给播放器，以便播放器播放所述窗口视频。

9.根据权利要求8所述的服务器，其特征在于，还包括：

视频源拼接情况查询模块，用于查看所述播放窗口涉及的视频源中是否存在未被拼接的视频源；

所述子视频块选择模块进一步用于当所述播放窗口涉及的视频源中不存在未被拼接的视频源时，从已分割生成的子视频块中选择所述播放窗口涉及的子视频块，生成窗口视频；

所述视频源拼接模块进一步用于当所述播放窗口涉及的视频源中存在未被拼接的视频源时，拼接所述播放窗口涉及的视频源。

10.根据权利要求8所述的服务器，其特征在于，所述子视频块生成模块包括：

视频源裁剪单元，用于根据拼接视频源生成的拼接视频裁剪所述视频源；

视频源分割单元，用于按照预设尺寸分割裁剪后的视频源。

11.根据权利要求8所述的服务器，其特征在于，还包括：

子视频块标识生成模块，用于根据子视频块在视频源中的位置信息和所述视频源在全景视频中的位置信息，为子视频块生成子视频块标识；或者，

子视频块标识分配模块，用于为子视频块分配子视频块标识，并存储子视频块的标识与子视频块在视频源中的位置信息以及所述视频源在全景视频中的位置信息的对应关系。

12.根据权利要求8所述的服务器，其特征在于，还包括：

计算资源分配模块，用于根据操作对象的计算属性和操作类型为拼接所述播放窗口涉及的视频源、将拼接后的视频源分割为子视频块、拼接选择的子视频块中的至少一种操作分配计算资源。

13.根据权利要求8所述的服务器，其特征在于，所述播放请求还包括播放进度信息；

所述服务器还包括视频片段生成模块，用于以预设的播放进度间隔将子视频块分割为视频片段；

所述窗口视频生成模块包括：

视频片段拼接单元，用于拼接选择的子视频块中所述播放进度信息对应的视频片段；

窗口视频生成单元，用于拼接选择的视频片段，生成窗口视频片段。

14.根据权利要求8-13中任一项所述的服务器，其特征在于，所述子视频块为流文件。

15.一种全景视频播放系统，其特征在于，包括：

权利要求8-14中任一项所述的服务器，和，

播放器，所述播放器用于向服务器发送播放请求，以便播放服务器发送的根据所述播放请求生成的窗口视频；

其中，所述播放请求包括播放窗口在全景视频中的位置信息。