CN113709542B - 一种交互式全景视频播放的方法和系统 - Google Patents

Abstract

本发明提出一种交互式全景视频播放的方法和系统，用以提升用户在观看全景视频时的业务体验。在本发明中，可对视频内容进行预处理，生成配套的标签文件；标签文件按照时间轴(或者帧序列)顺序列出视频中重要的情节或事物的描述及其中心点坐标。加载标签播放视频时，会在当前播放画面展示后续一定时间内的标签，用户通过遥控或者触控操作选择标签后，画面将在一定时间内平滑过渡到所选区域。

Description

一种交互式全景视频播放的方法和系统

技术领域

本发明涉及视频播放，更具体地，涉及用于交互式全景视频播放的方法和系统。

背景技术

在5G和光纤宽带日益发展成熟的背景下，xR(扩展现实)产品成为时下热点，运行商纷纷推出了xR创新产品，其中就包括VR(虚拟现实)全景视频。在VR全景业务中，用户可通过手机、机顶盒等终端设备来观看360°全景视频。

在VR全景视频的业务体验过程中，用户可控制视频播放时间进度，也可操控全景播放器来选择不同的视角以观看不同画面，因此会涉及一个二维以上的“时间+空间”的组合模型。在自由播放模式下，由于用户在某个时间点仅可观看到一个视角的画面，因此有可能错过某个时间点上其他视角的重要信息或者精彩的画面。例如，用户当前正在观看全景视频中视角A处的画面，但是在用户看不到的视角B处当前存在对其感兴趣的艺术作品的介绍，那么此时，用户由于并不知晓视角B处的内容，从而会错过该介绍，进而可能会使用户对该视频整体的感受下降。或者，用户提前知晓该VR全景视频具有对其感兴趣的艺术作品的介绍，但是并不知道在何时以及在哪个视角出现，因此可能会花费较多时间和精力来寻找该时间点和视角，从而导致用户体验下降。

由此，需要一种在用户观看全景视频时能够让用户尽可能全面地了解视频内容的方法，用以提升用户在观看全景视频时的业务体验。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

根据本发明的一个实施例，提供了一种用于全景视频播放的方法，该方法包括：解析标签文件以得到标签文件中包含的一个或多个标签的标签信息，其中标签文件包含关于一个或多个关键区域在全景视频中出现的时间和位置的信息；在一个或多个标签块中显示标签信息，一个或多个标签块中的每一个标签块各自显示一个标签的标签信息；接收用户对一个或多个标签块中一标签块的选择；响应于该选择，将当前播放区域过渡到所选的标签块所对应的目标关键区域。

根据本发明的一个实施例，提供了一种全景视频播放系统，该系统包括视频运营服务系统和全景播放器。视频运营服务系统包括：全景视频标签模块，该全景视频标签模块用于提供与全景视频相关联的标签文件，其中标签文件包含关于一个或多个关键区域在全景视频中出现的时间和位置的信息；以及内容发布管理模块，该内容发布管理模块用于将标签文件与全景视频进行关联。该全景播放器包括：标签解析模块，该标签解析模块用于解析标签文件以得到标签文件中包含的一个或多个标签的标签信息；播控管理模块，该播控管理模块用于基于解析的标签信息，计算并形成用于显示标签信息的标签展示指令，并将用户对标签块的选择操作形成用于显示与所选的标签块对应的目标关键区域相对应的播放画面的播控操作指令；显示模块，该显示模块接收播控操作指令来进行显示。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。

图1示出了现有技术中自由模式下的全景视频播放示意图100；

图2示出了根据本发明的一个实施例的全景视频播放示意图200；

图3示出了根据本发明的一个实施例的全景视频播放系统300；

图4示出了根据本发明的一个实施例的用于交互式全景视频播放的方法400的流程图；以及

图5示出了根据图4的流程图400所解说的具体播放示例的示意图。

具体实施方式

下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。

图1示出了现有技术中自由模式下的全景视频播放示意图100。在播放全景视频时，用户可以选择播放全景视频当前帧图像中的哪部分图像，该部分图像相当于用户作为观察者以一定观察视角观看全景视频时所看到的部分图像，此观察视角即为当前视频的播放视角。在自由模式下，用户在每个时间点t处都可以操控播放视角。但基于用户的操控的视角，播放器在该时间点t只播放了全景视频中的一部分(例如，图1中播放器当前播放的区域101)，用户的这种自由操作可能会错过该时间点t处全景视频的其他部分中的重点或感兴趣的内容(例如，图1中视频中具有重要信息的区域102)。

图2示出了根据本发明的一个实施例的全景视频播放示意图200。本发明对全景视频内容进行预处理，生成配套的标签文件201。该标签文件201记载了关于全景视频在不同时间处或不同视频帧中出现的重要的、值得关注的或用户感兴趣的情节或事物(下文称为“关键区域”)的信息。根据本发明的一个实施例，该标签文件201按照时间轴(例如，t1,t2,t3……)或者帧序列列出对于关键区域的描述以及该关键区域的中心点坐标。根据本发明的一个实施例，中心坐标用于确定该关键区域的位置。例如，假设全景视频图像整个是一个矩形，可以用一个二维的坐标来表示每个像素点的位置，坐标原点可以选图像中心点，也可以选左下角。由此，当关键区域的中心坐标和长宽尺寸(其可由视频内容发布者自行根据业务需求来制定大小)确定了，那么该关键区域的整块图像也就确定了。

在播放视频时，加载该标签文件201，使得在当前播放的画面上展示后续一定时间内的标签。在用户通过遥控器或者触控操作来选择某一标签后，所播放的区域将在一定时间内平滑过渡到所选标签所对应的区域。通过此方式，相较于图1的自由模式，用户可以在视频播放过程中了解当前其他视角的画面，从而改进用户体验。本领域的技术人员完全可以理解，标签文件201还可以包括其他信息，其在下文中进行具体说明。

图3示出了根据本发明的一个实施例的全景视频播放系统300。该系统300中的任何组件可以与任何其他组件通信，但出于容易解说的目的而未示出所有连接。

系统300包括视频运营服务系统301，CDN(内容分发网络)302以及全景播放器303。根据本发明的一个实施例，总体而言，视频运营服务系统301为全景视频内容提供编辑制作功能，将制作完成的标签文件与视频内容进行关联并发布到CDN 302。CDN 302存储接收到的视频内容以及相关联的标签文件。当CDN 302将视频内容传递给全景播放器303进行播放时，全景播放器303能够获取并解析与该视频内容相关联的标签文件，从而在播放视频的过程中展示相应标签，以供用户了解视频内容的关键区域，并进行选择。

根据本发明的一个实施例，视频运营服务系统301包括内容发布管理模块304和全景视频标签模块305。全景视频标签模块305用于制作和发布标签模版，由此为全景视频内容提供编辑制作功能。根据本发明的一个实施例，视频内容发布方可标记全景视频中的关键区域。例如,视频内容发布方可指定每一时间点或每一帧中的关键区域，并对关键区域进行描述。该关键区域可以是视频内容发布方所认为的用户可能感兴趣的区域、视频中值得关注的区域等等。

根据本发明的另一个实施例，用户可先行选择所感兴趣的内容类型，视频内容发布方可根据用户的兴趣来指定视频中的关键区域。例如，如果用户感兴趣的内容类型是打斗场面，那么视频中与该类型相关的区域可被标记为关键区域。根据本发明的一个实施例，用户可指定在视频播放过程中，仅对与其所选择的感兴趣的内容类型相关联的区域进行提醒，而不对视频内容发布方指定的关键区域进行提醒。或者，用户可指定在视频播放过程中，对与其所选择的感兴趣的内容类型相关联的区域以及视频内容发布方指定的关键区域两者均进行提醒。

根据本发明的另一个实施例，用户也可指定不感兴趣的内容类型。例如，如果用户比较害怕看到恐怖的情景，那么与这一类型相关联的区域将不在视频播放过程中向用户进行提醒，即使视频内容发布者认为该区域是值得关注的并被标记为关键区域。

基于全景视频中被标记的关键区域，可生成标签文件。标签文件按照时间轴或者帧序列列出对于关键区域的描述以及该关键区域的中心点坐标。根据本发明的一个实施例，用于生成标签文件的标签模版可由视频内容发布方制作，也可开放给个人用户制作。一般而言，标签模板可指定一个或多个字段或参数，例如，标签序号、时间点(帧序号)、描述、中心坐标、是否是用户指定(例如，在用户选择了感兴趣的内容类型的情况下)、是否是用户排除(例如，在用户选择了不感兴趣的内容类型的情况下)等。此外，根据本发明的一个实施例，一个全景视频内容可有多套标签模版。例如，一个版本的标签模板可具有标签序号、时间点、描述、中心坐标等字段，以按时间轴序列来指示一个或多个时间点处的关键区域。另一版本的标签模板可具有标签序号、帧序号、描述、中心坐标等字段，以按帧序列来指示一个或多个视频帧中的关键区域。此外，如果用户选择了感兴趣的内容类型，并指定仅对其感兴趣的内容进行提醒，则标签模板中可包括“是否是用户指定”字段，以仅对该字段为“是”的关键区域进行提醒。如果用户选择了不感兴趣的内容类型，则标签模板中可包括“是否是用户排除”字段，以对该字段为“是”的关键区域进行排除。本领域的技术人员完全能够了解，以上关于标签模板的说明仅仅是示例性的，本领域的技术人员完全可以根据实际需求改变标签模板的字段。

在生成标签文件后，内容发布管理模块304将制作完成的标签文件与视频内容进行关联以供发布。根据本发明的一个实施例，内容发布管理模块304将标签文件与全景视频内容发布到CDN 302。

CDN 302将接收并存储全景视频以及相关联的标签文件，并根据全景播放器303的请求将全景视频与相关联的标签文件传送到全景播放303进行播放。

全景播放器303包括标签解析模块306，播控管理模块307以及显示模块308。根据本发明的一个实施例，全景播放器303是能够播放全景视频文件的任意播放设备，诸如电视机、便携式计算机、平板电脑、头戴式显示器等等。

在对全景内容进行播放时，标签解析模块306获取与该视频相关联的标签文件，并对该标签文件中的信息进行解析。播控管理模块307基于解析的标签信息，计算并形成标签展示指令，并进而将标签展示指令传递给显示模块308，使得显示模块308在播放视频期间显示标签信息。

用户可在视频播放期间对展示的标签进行选择。例如，取决于不同的硬件设备，用户可通过遥控、触摸、语音、手势等方式来进行选择。在接收到用户的操作指令之际，播控管理模块307针对用户的操作指令形成播控操作指令，并传递给显示模块308。显示模块308基于接收到的播控操作指令来操控对视频内容的播放，例如播放与用户所选标签对应的关键区域的内容。

本领域的技术人员完全可以理解,本发明中的模块是示意性的，其可为程序模块或为硬件实体或其组合。并且,多个模块可被合并被一个模块或被拆分为多个子模块来实现类似的功能。

图4示出了根据本发明的一个实施例的用于交互式全景视频播放的方法400的流程图。根据本发明的一个实施例，图4中的方法400由全景播放器303来执行。图5示出了根据图4的流程图400所解说的具体播放示例的示意图。本领域的技术人员完全可以理解，图4和图5仅仅是出于示意性目的而进行的解说，并非旨在对本发明的范围进行任何限制。

参考图4，在步骤401，解析标签文件以得到标签文件中包含的一个或多个标签的标签信息。参见图5，全景播放器对标签文件501中的参数信息进行解析。标签文件501根据时间轴列出了可在视频播放期间进行展示的数个标签，每个标签各自表示一个关键区域。每个标签均用针对该标签的标签序号、时间点、描述以及中心坐标等参数的信息来描绘。例如，标签1表示可在时间点1:05处被播放的，中心坐标为(200,200)，描述为“童趣场景”的关键区域。当然，本领域的技术人员完全可以理解，图5中的标签文件501仅仅是示意性的，标签文件可根据不同实践来包括其他字段以及其他任意数量的标签。

在步骤402，在一个或多个标签块中显示经解析的标签信息中的一部分，该一个或多个标签块中的每一个标签块各自显示一个标签的标签信息。根据本发明的一个实施例，在当前播放画面上展示该一个或多个标签块。这些标签块可按不影响用户观看体验的方式覆盖(例如，半透明)在当前播放画面上进行展示，并按预定间隔排开，或者按其他方式进行排列。本领域的技术人员完全可以理解，如果没有合适的标签信息需要进行显示，为了不影响用户观看体验，标签块可不被显示。

此外，在本发明的上下文中，术语“当前播放区域”是从技术角度来描述全景视频中当前正在播放的区域，而术语“当前播放画面”是从用户体验角度来描述用户当前所能看到的画面，其可包括除了“当前播放区域”之外的元素，例如标签块，菜单选项等。

根据本发明的一个实施例，基于对标签文件的解析，可例如通过每个标签所对应的关键区域的中心位置来获得该关键区域与当前播放区域的位置关系，并根据该位置关系来在当前播放画面上选择合适的标签块来展示该标签的标签信息。

参考图5，示意图502-1示出了，在当前播放画面的四周具有8个可供展示标签信息的标签块，该8个标签块位于8个角度方向上。根据本发明的一个实施例，为了不过分打扰用户的观看体验，只有自当前时间起一预定时间间隔内的标签才被显示在标签块中。继续图5的示例，例如，当前时间为1:00，预定时间间隔为12秒，则只有“时间点”参数在1:12之前的标签才被选择用于显示在标签块中。根据标签文件501中列出的信息，只有标签1、标签2、标签3可被显示在标签块中。根据标签1、标签2、标签3所对应的关键区域与当前播放区域的位置关系，在这8个标签块中选取3个合适的位置进行标签信息展示。根据图502-1可看出，标签1、标签2、标签3根据其与当前播放区域的位置关系，分别被表示在当前播放画面的左上角、右上角和左下角。即，标签块503对应于标签文件501中的标签1，标签块504对应于标签文件501中的标签2，而标签块505对应于标签文件501中的标签3。

本领域的技术人员完全可以理解，本领域的技术人员完全可以根据实践来选择用于显示标签信息的不同的预定时间间隔。此外，图502-1中示出的标签块的位置、标签块的数量、标签信息展示样式以及所显示的标签信息完全是示意性的，本领域的技术人员完全可以在实践中采用其他标签信息展示位置以及标签信息展示样式。例如，虽然图502-1中以矩形区块的形状示出每个标签块，但是，在实践中，标签块可用其他形状或样式来展示。此外，根据本发明的一个实施例，针对具有用户预先选择的所感兴趣的内容类型或预先选择的不感兴趣的内容类型的关键区域，对应于该种关键区域的标签块可用不同的颜色或其他方式被突出显示，以与其他内容类型的标签块区分开。

继续图502的示例，如在502-2中所展示的，在每个标签块中，所显示的标签信息列出了，相较于当前时间(例如，1:00)，标签所对应的关键区域将在何时(例如，未来几秒后)可被播放以及该关键区域的描述。例如，针对标签1，基于标签文件501的描述，标签1所对应的关键区域将在1:05播放。因此，相较于当前时间1：00，该关键区域将在5秒后被播放。因此，在标签块503中，“5s后”的字样被显示，并且该关键区域的描述“童趣场景”被一起显示。通过此标签信息，用户可以直接了解所列出的关键区域是否是自己感兴趣的以及将在何时出现，从而更容易且从容地在合适的时间进行选择。当然，本领域的技术人员完全可以理解，图502中所展示的标签信息仅仅是示意性的，本领域的技术人员可以根据实践来选择不同的参数以作为标签信息进行展示。

根据本发明的一个实施例，如果标签文件中所列出的标签的数量大于当前播放画面上可供展示标签信息的标签块的数量，则可进一步基于与当前时间的时间关系来依次展示标签信息。根据本发明的另一个实施例，随着时间推移，到期标签(即，对应于在当前时间之前的时间可被播放的关键区域的标签)的标签信息将不再显示在标签块中，该标签块将被用于显示当前时间之后的，基于与当前播放画面的位置关系被确定为适合在该标签块中显示的标签信息。

在步骤403，接收用户对标签块的选择。用户可在视频播放过程中，对某一个标签块进行选择。参见图5，图506示出了用户在时间点1:01时选择了在右上角位置处的标签块504，此标签块504对应于标签文件501中的标签2。在被选中之际，该标签块504的颜色被改变或者从半透明变为不透明，以告知用户被选中。当然，本领域的技术人员完全可以理解，可以采用各种方式来对标签块504进行样式或颜色上的改变以表明被选中。

此外，基于图506可看出，每个标签块中关于关键区域将可被播放的时间随着时间流逝而变化，以实时地反映相较于当前时间，该关键区域将在何时可被播放。例如，标签块503中的标签信息从图502-2中的“5s后”改变为图506中的“4s后”，因为图506的时间相较于图502-2中的时间过去了1秒。

在步骤403中接收到用户对标签块的选择后，在步骤404，计算从当前播放区域平滑地过渡到所选择的标签块所对应的关键区域(下文称为“目标关键区域”)的移动方向和移动速度。本领域的技术人员完全可以理解，此处的“过渡”指的是根据当前播放区域与目标关键区域的位置关系，从当前播放区域通过例如旋转、平移的方式到达目标关键区域的过程。为了便于说明，下文中这些过渡方式统称为“移动”。在步骤405，当前播放区域按照所计算的移动方向和所计算的移动速度向目标关键区域移动。

参见图5，图507示出响应于用户对标签块504的选择，当前播放区域将向标签块504的方向移动。所计算的移动方向和所计算的移动速度将使得当前播放区域能够在目标关键区域可被播放的时间点之前移动到目标关键区域。该计算可至少部分地基于例如当前播放区域的中心坐标、目标关键区域的中心坐标、当前时间以及目标播放区域可被播放的时间。例如，当前图像帧对应的时间是t1，目标关键区域的关键信息画面起始播放点是t2，另外考虑到移动过去之后要有一个提前量Δt，这个Δt是为了给用户观看有个时间上的缓冲，这个参数的值可以设置的比较短，比如0.2s，0.5s,甚至更短。假设当前播放区域的中心坐标为(x1,y1)，目标关键区域的中心坐标为(x2,y2)，则移动的速度可被计算为v＝[(x1-x2)²+(y1-y2)²]1/2/(t2-Δt-t1)。

继续图5的示例，参见图508，根据标签块504所对应的标签2中记载的时间点1:08，所计算的移动方向和移动速度可使得当前播放区域在1:08之前(例如，1:07)平滑地移动到标签2中所记载的目标关键区域，从而不会错过目标关键区域在1:08时播出的内容。一般而言，取决于用户的观看感受，当前播放区域到目标关键区域的匀速移动是较为理想的。

在步骤406，当前播放区域过渡到目标关键区域，使得当前播放画面播放目标关键区域的画面。

继续图5的示例，参见图509，在时间点1:08，当前播放区域过渡到目标关键区域，并显示与目标关键区域相对应的播放画面。从图509中可看出，对比图507，标签块503中的标签信息将被与标签4相对应的标新信息所替代，因为原先显示的标签1已到期。此外，在标签块510中，显示了与标签5相对应的标签信息。例如，继续上述的假设，基于预定时间间隔为12秒，由于当前时间为1:08，因此，标签5(其对应的关键区域在1：20可被播放)可被显示在标签块510中。根据本发明的另一个实施例，如果标签块中所显示的标签到期，并且在该标签块位置处当前没有合适的标签进行显示，则该标签块可自动消失。例如，在图508中，由于标签块503中的标签1所对应的时间点(1:05)相较于当前时间(1:07)已过期，并且在当前时间1:07并没有后续标签适合在标签块503处进行显示，则标签块503可自动消失。

综上，本发明提出一种交互式全景视频播放的方法和系统。该方案在不影响用户自由观看全景视频的同时，提供了一种直观的、易操作的交互观看方式，使得用户不会错过全景视频中的关键部分或感兴趣的部分，提升了用户体验。

尽管目前为止已经参考附图描述了本发明的各方面，但是上述方法、系统和设备仅是示例，并且本发明的范围不限于这些方面，而是仅由所附权利要求及其等同物来限定。各种组件可被省略或者也可被等同组件替代。另外，也可以在与本发明中描述的顺序不同的顺序实现所述步骤。此外，可以按各种方式组合各种组件。也重要的是，随着技术的发展，所描述的组件中的许多组件可被之后出现的等同组件所替代。

Claims (8)

1.一种用于全景视频播放的方法，包括：

解析标签文件以得到所述标签文件中包含的一个或多个标签的标签信息，其中所述标签文件包含关于一个或多个关键区域在所述全景视频中出现的时间和位置的信息；

在一个或多个标签块中显示所述标签信息，所述一个或多个标签块中的每一个标签块各自显示一个标签的标签信息，其中所述标签信息包括所述标签块所对应的关键区域相较于当前时间将在何时能被播放的时间；

接收用户对所述一个或多个标签块中一标签块的选择；以及

响应于所述选择，将当前播放区域过渡到所选的标签块所对应的目标关键区域，进一步包括：至少部分地基于所述当前播放区域的中心坐标、所述目标关键区域的中心坐标、所述当前时间以及所述目标关键区域将被播放的时间来计算从所述当前播放区域平滑地移动到所述目标关键区域的移动方向和移动速度，并且所述当前播放区域按照所计算的移动方向和所计算的移动速度向所述目标关键区域移动；

其中，计算从所述当前播放区域平滑地移动到所述目标关键区域的移动速度进一步包括：假设所述当前时间为t1，所述目标关键区域将被播放的起始播放点为t2，播放提前量为Δt，所述当前播放区域的中心坐标为(x1,y1)，所述目标关键区域的中心坐标为(x2,y2)，则所述移动速度v被计算为v＝[(x1-x2)²+(y1-y2)²]^1/2/(t2-Δt-t1)。

2.如权利要求1所述的方法，其特征在于，所述关键区域指所述全景视频中出现的重要的、值得关注的或用户感兴趣的情节或事物。

3.如权利要求2所述的方法，其特征在于，所述关键区域基于用户指定的所感兴趣的类别或者用户指定的不感兴趣的类别。

4.如权利要求2所述的方法，其特征在于，所述标签文件中的标签信息基于标签模板来生成，所述标签模板至少指定以下字段中的一个或多个：标签序号、关键区域出现的时间点或帧序号、关键区域的描述、关键区域的中心坐标。

5.如权利要求1所述的方法，其特征在于，所述标签文件中记载的一个或多个标签中的每一个标签按照其所对应的关键区域的中心位置来获得与当前播放区域之间的位置关系，并根据所述位置关系来在所述一个或多个标签块中选择一标签块用于显示该标签的标签信息。

6.如权利要求1所述的方法，其特征在于，所述一个或多个标签块被展示在当前播放画面上。

7.如权利要求6所述的方法，其特征在于，只有自当前时间起一预定时间间隔内的标签的标签信息才被显示在标签块中，并且已过期的标签的标签信息将不被显示在标签块中。

8.如权利要求6所述的方法，其特征在于，在一个或多个标签块中显示所述标签信息包括在所述一个或多个标签块中显示所述标签块所对应的关键区域的描述。