CN106937156A - 一种实现多资源同步播放的方法及装置和媒体播放器 - Google Patents

一种实现多资源同步播放的方法及装置和媒体播放器 Download PDF

Info

Publication number
CN106937156A
CN106937156A CN201511022457.3A CN201511022457A CN106937156A CN 106937156 A CN106937156 A CN 106937156A CN 201511022457 A CN201511022457 A CN 201511022457A CN 106937156 A CN106937156 A CN 106937156A
Authority
CN
China
Prior art keywords
video
angle
target
resource
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511022457.3A
Other languages
English (en)
Inventor
郑宇均
蓝柏林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Happy Online (beijing) Network Technology Co Ltd
Original Assignee
Happy Online (beijing) Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Happy Online (beijing) Network Technology Co Ltd filed Critical Happy Online (beijing) Network Technology Co Ltd
Priority to CN201511022457.3A priority Critical patent/CN106937156A/zh
Publication of CN106937156A publication Critical patent/CN106937156A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种实现多资源同步播放的方法及装置和媒体播放器。其中方法包括:根据虚拟现实VR视频显示角度的控制指令,获取当前播放的VR视频中所述控制指令指示的目标角度的视频以及与所述目标角度的视频对应的其他媒体资源;将所述目标角度的视频与所述其他媒体资源进行同步播放。本发明根据用户发出的显示角度的控制指令,可以实现VR视频中该显示角度的视频与所匹配的其他媒体资源的同步播放,可以在传统的媒体播放器的框架下,实现VR视频及相关媒体资源的同步播放,为VR视频在教育上的应用提供了解决方案。

Description

一种实现多资源同步播放的方法及装置和媒体播放器
技术领域
本发明涉及虚拟现实技术领域,特别涉及一种实现多资源同步播放的方法及装置和媒体播放器。
背景技术
虚拟现实(Virtual Reality,VR)技术是一种可以创建和体验虚拟世界的计算机仿真技术,它可以生成一种模拟环境,提供实时动态的三维立体逼真图像,可以使用户获得身临其境的感觉,沉浸于该模拟环境之中。
VR技术在教育领域的应用正逐渐成为热门,学习者可以通过远程的方式,参与到教学当中,并且与传统2D方式不同的是,用户可以获得身处教学现场的感受,教学过程的直观性更强,学习效率也越高。
但是现有的教育类的视频都是基于2D视频来设计的,用户通常可使用媒体播放器(包括基于Flash和基于HTML5的媒体播放器)来实现远程教育,在播放教学视频的同时,也加载一些与教学内容相关的其他媒体资源,如何在现有的媒体播放器的框架下,实现VR视频的播放,使VR视频教学真正广泛适用,成为亟待解决的问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种实现多资源同步播放的方法及装置和媒体播放器。
第一方面,本发明提供了一种实现多资源同步播放的方法,所述方法包括:
根据虚拟现实VR视频显示角度的控制指令,获取当前播放的VR视频中所述控制指令指示的目标角度的视频以及与所述目标角度的视频对应的其他媒体资源;
将所述目标角度的视频与所述其他媒体资源进行同步播放。
在一个实施例中,获取所述控制指令指示的目标角度的视频,包括:
根据所述控制指令指示的角度,从本地存储或者网络侧存储的VR视频文件或者VR媒体流中获取所述目标角度的视频。
在一个实施例中,所述控制指令指示的目标角度包括:所述VR视频的初始显示角度或者用户指示的需要切换的目标角度。
在一个实施例中,获取与所述目标角度的视频对应的其他媒体资源,包括:
根据预设的VR视频中包含的同一个时刻不同角度的多个视频数据与其他媒体资源的映射关系,从本地存储或者网络侧存储的媒体文件中获取与所述目标角度的视频对应的其他媒体资源。
在一个实施例中,获取与所述目标角度的视频对应的其他媒体资源之后,还包括:
将所述其他媒体资源转换为便于媒体播放器播放的数据结构。
在一个实施例中,将所述目标角度的视频与所述其他媒体资源进行同步播放,包括:
播放所述目标角度的视频时,不断查询所述视频的播放进度,根据所述播放进度确定当前的播放时间;
根据所述播放时间,与所述目标角度的视频同步播放与所述播放时间相匹配的媒体资源。
在一个实施例中,所述其他媒体资源,包括下述一项或多项媒体资源:字幕资源、演示文稿资源和笔记资源。
在一个实施例中,同步播放其他媒体资源中的字幕资源,包括:
与所述目标角度的视频同步显示多个语种的字幕资源;
当接收到关闭其中一个或多个语种的字幕资源的指令时,根据所述指令关闭对应语种的字幕资源的显示。
在一个实施例中,同步播放其他媒体资源中的演示文稿资源,包括:
将与播放时间相匹配的演示文稿以及与所述目标角度的视频对应的所有演示文稿的缩略图一并显示;
当接收到播放所述缩略图中其他演示文稿的指令时,根据所述指令,将当前与所述播放时间相匹配的演示文稿切换为所述指令指示的演示文稿,并且跳转播放对应播放时间的视频。
在一个实施例中,所述笔记资源中包含多条笔记条目;所述同步播放其他媒体资源中的笔记资源,包括:
将笔记资源中与所述播放时间相匹配的笔记条目逐步突出显示;
当接收到切换笔记条目的指令时,跳转显示对应的笔记条目,并跳转播放对应播放时间的视频。
在一个实施例中,所述目标角度的视频、字幕资源、演示文稿资源和笔记资源通过播放器中不同的播放区域进行显示;
当接收到区域调整指令时,根据所述调整指令,将所述目标角度的视频、字幕资源、演示文稿资源和笔记资源中至少两个的播放区域进行切换。
第二方面,本发明提供了一种实现多资源同步播放的装置,该装置包括:
第一获取模块,用于根据虚拟现实VR视频显示角度的控制指令,获取当前播放的VR视频中所述控制指令指示的目标角度的视频;
第二获取模块,用于获取与所述目标角度的视频对应的其他媒体资源;
同步播放模块,用于将所述目标角度的视频与所述其他媒体资源进行同步播放。
在一个实施例中,第一获取模块,用于根据所述控制指令指示的角度,从本地存储或者网络侧存储的VR视频文件或者VR媒体流中获取所述目标角度的视频。
在一个实施例中,所述控制指令指示的目标角度包括:所述VR视频的初始显示角度或者用户指示的需要切换的目标角度。
在一个实施例中,第二获取模块,具体用于根据预设的VR视频中包含的同一个时刻不同角度的多个视频数据与其他媒体资源的映射关系,从本地存储或者网络侧存储的媒体文件中获取与所述目标角度的视频对应的其他媒体资源。
在一个实施例中,上述装置,还可以包括:
转换模块,用于在所述第二获取模块获取与所述目标角度的视频对应的其他媒体资源之后,将所述其他媒体资源转换为便于媒体播放器播放的数据结构。
在一个实施例中,所述同步播放模块,具体包括:
第一播放子模块,用于播放所述目标角度的视频;
确定子模块,用于在播放所述目标角度的视频时,不断查询所述视频的播放进度,根据所述播放进度确定当前的播放时间;
第二播放子模块,用于根据所述播放时间,与所述目标角度的视频同步播放与所述播放时间相匹配的媒体资源。
在一个实施例中,所述其他媒体资源,包括下述一项或多项媒体资源:字幕资源、演示文稿资源和笔记资源。
在一个实施例中,第二播放子模块,具体用于与所述目标角度的视频同步显示多个语种的字幕资源;当接收到关闭其中一个或多个语种的字幕资源的指令时,根据所述指令关闭对应语种的字幕资源的显示。
在一个实施例中,第二播放子模块,具体用于将与播放时间相匹配的演示文稿以及与所述目标角度的视频对应的所有演示文稿的缩略图一并显示;当接收到播放所述缩略图中其他演示文稿的指令时,根据所述指令,将当前与所述播放时间相匹配的演示文稿切换为所述指令指示的演示文稿,并且跳转播放对应播放时间的视频。
在一个实施例中,第二播放子模块,具体用于将笔记资源中与所述播放时间相匹配的笔记条目逐步突出显示;当接收到切换笔记条目的指令时,跳转显示对应的笔记条目,并跳转播放对应播放时间的视频。
在一个实施例中,所述目标角度的视频、所述字幕资源、演示文稿资源和笔记资源通过不同的播放区域进行显示;
相应地,所述装置还包括:
显示区域调整模块,用于当接收到区域调整指令时,根据所述调整指令,将所述目标角度的视频、字幕资源、演示文稿资源和笔记资源中至少两个的播放区域进行切换。
本发明实施例提供的上述技术方案的有益效果至少包括:
本发明实施例提供的上述实现多资源同步播放的方法及装置和媒体播放器中,根据虚拟现实VR视频显示角度的控制指令,获取当前播放的VR视频中该控制指令指示的目标角度的视频以及与该目标角度的视频对应的其他媒体资源;将该目标角度的视频与其他媒体资源进行同步播放。本发明实施例根据用户发出的显示角度的控制指令,可以实现VR视频中该显示角度的视频与所匹配的其他媒体资源的同步播放,可以在传统的媒体播放器的框架下,实现VR视频及相关媒体资源的同步播放,为VR视频在教育上的应用提供了解决方案。
进一步地,本发明实施例中,在VR视频及相关媒体资源的同步播放的过程中,对不同的媒体资源即字幕资源、演示文稿资源和笔记资源等采用了灵活的显示控制,在用户充分享受身临其境的VR视频教学的同时,可以更人性化向用户提供与VR视频当前显示角度匹配的其他媒体信息,进一步提高了用户的使用体验。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例提供的实现多资源同步播放的方法的流程图;
图2为本发明实施例提供的将目标角度的视频与其他媒体资源进行同步播放的步骤的实现流程图;
图3为本发明实施例提供的媒体播放器的布局的示意图;
图4为本发明实施例提供的字幕资源显示部分的界面示意图;
图5为本发明实施例提供的演示文稿资源显示部分的界面示意图;
图6为本发明实施例提供的笔记资源显示部分的界面示意图
图7为本发明实施例提供的实现多资源同步播放的装置的结构示意图;
图8为本发明实施例提供的同步播放模块73的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
下面首先对本发明实施例提供的虚拟现实视频的播放方法进行详细的说明。
本发明实施例提供的实现多资源同步播放的方法,如图1所示,包括下述步骤:
步骤S11、根据虚拟现实VR视频显示角度的控制指令,获取当前播放的VR视频中所述控制指令指示的目标角度的视频以及与所述目标角度的视频对应的其他媒体资源;
步骤S12、将所述目标角度的视频与所述其他媒体资源进行同步播放。
进一步地,上述步骤S11中,获取控制指令指示的目标角度的视频,在具体实施时,可以根据控制指令指示的角度,从本地存储或者网络侧存储的VR视频文件或者VR媒体流中获取目标角度的视频。
在本发明实施例中,网络包括:各种2G、3G和4G的公共移动通信网络、无线局域网络,各种通过通信电缆连接的有线网络等等。
在现有技术中,一个VR视频中包含同一个时刻不同角度的多个视频数据,该VR视频可以存储于媒体播放器本地或者存储于网络侧的服务器中,在接收到VR视频显示角度的控制指令时,可以根据该控制指令指示的角度,从本地或者网络侧获取对应的那部分角度的视频。
其中,控制指令指示的目标角度包括:VR视频的初始显示角度或者用户指示的需要切换的目标角度。
VR视频的初始显示角度是指初始播放VR视频时所显示的角度,这个角度通常是缺省的或预设的角度,用户在观看VR视频时,可以根据自身的观看需要,通过对播放器的控制,发出相应显示角度的控制指令,比如切换到当前显示角度的左侧的一定角度范围的视频的控制指令。
控制指令可以通过多种方式获得,例如通过感知对播放终端的屏幕、键盘或操控按钮的触控而获得;
通过感知遥控设备发出的指令获得;(例如用户点击遥控器的上下左右的方向键的情况)
通过感知控制手柄发出的指令获得;(例如用户根据需要操控手柄的情况)
通过感知VR可穿戴设备运动所产生的角度变化而获得。(例如用户佩戴VR可穿戴设备,随着用户头部的运动,VR可穿戴设备通过自身的传感器感知其角度的变化)
VR视频中包含了同一个时刻不同角度的多个视频数据,举例来说,如果VR视频整体包含了360°视角范围的影像数据,其中具体包含了10个不同角度范围的视频数据(每36°为一个角度范围),在初始时,根据VR视频显示角度的控制指令,将缺省或预设的初始显示角度对应的那视频数据发送给播放终端进行播放,例如首先获取0度到120度视角的那视频数据进行播放。
随后用户发生显示角度的切换时,根据该用户发出的VR视频显示角度的控制指令,获取切换后的目标角度的那视频,例如初始显示角度是0°~120°的视角,后续用户通过遥控器请求切换至120°~180°,那么媒体播放器可从本地或者网络侧保存的VR视频文件或者视频流中获取120°~180°这部分的视频数据。
在存储VR视频时,由于VR视频包含了同一个时刻不同角度的多个视频数据,对于同一个VR视频包含每个不同角度的视频数据来说,其对应的媒体资源都不相同,则在存储其他媒体资源时,需要预先建立每个不同角度范围的视频数据与其他媒体资源之间的映射关系。
以一个会议为主题的VR视频举例来说,其中可能包含了不同角度即不同发言者的视频数据,对于这些发言者的字幕资源来说,必须针对每个不同角度的视频数据,分别对应存储其对应的其他媒体资源例如字幕资源。便于当VR视频中不同角度的视频被播放时,能够同步播放这部分角度对应的字幕资源。
这样,在上述步骤S11中,获取与所述目标角度的视频对应的其他媒体资源,可以根据预设的VR视频中包含的同一个时刻不同角度的多个视频数据与其他媒体资源的映射关系,从本地存储或者网络侧存储的媒体文件中获取与该目标角度的视频对应的其他媒体资源。
为了方便其他媒体资源在媒体播放器上的正常播放,还需要按照播放器对应的数据格式,对获取到的其他媒体资源进行数据转换,将其转换成为便于媒体播放器播放的数据结构。
进一步地,上述步骤S12中,将所述目标角度的视频与所述其他媒体资源进行同步播放,如图2所示,包括下述流程:
S21、播放该目标角度的视频时,不断查询该视频的播放进度,根据查询到的播放进度确定当前的播放时间;
S22、根据播放时间,与该目标角度的视频同步播放与播放时间相匹配的媒体资源。
播放目标角度的那视频时,不断地查询该视频的播放进度,根据播放进度,可以获知当前播放的具体时间,播放时间可以同步显示给用户,同时,还可以根据该播放时间,播放目标角度的视频相匹配的媒体资源。
在本发明实施例中,其他媒体资源包括但不限于下述媒体资源:字幕资源、演示文稿资源和笔记资源。
在具体实施时,在媒体播放器中,目标角度的视频、字幕资源、演示文稿资源和笔记资源可以通过不同的播放区域进行显示;
并且,目标角度的视频通常位于视觉的中心区域,其他资源分布在中心区域之外,例如图3所述的媒体播放器的布局的例子,该媒体播放器包含三个工作区,一个主工作区,辅工作区1和辅工作区2。其中,主工作区播放VR视频中的各个角度的视频及相匹配的字幕资源,辅工作区1和辅工作区2分别用户播放演示文稿和笔记。
上述例子仅是媒体播放器的布局的一个示例,当然,目标角度的视频、字幕资源、演示文稿资源和笔记资源所在的播放区域可以相互混杂,没有严格的界限区分,各种布局方式皆可。
在如图3所示的媒体播放器的布局示意图中,还可以包含播放控制栏用以显示当前播放的进度,以及播放角度控制栏,用以提供VR视频显示角度的控制。
在各个工作区之间,有一个工作区的切换按钮,当接收到播放区域调整的指令时,可以根据该指令,将目标角度的视频、字幕资源、演示文稿资源和笔记资源中至少两个的播放区域进行切换。例如切换后,可能演示文稿进入到了主工作区,而目标角度的视频则到了辅工作区1。
进一步地,本发明实施例提供的上述方法中,同步播放其他媒体资源中的字幕资源,可以通过下述过程实现:
与所述目标角度的视频同步显示多个语种的字幕资源;
当接收到关闭其中一个或多个语种的字幕资源的指令时,根据所述指令关闭对应语种的字幕资源的显示。
如图4所示的界面示意图,比如同步显示中文、英文和法文三种语种的字幕资源,并且三个字幕资源均设有独立的开关,用户可以按照自身需要,关闭其中任何一种字幕资源。
进一步地,本发明实施例提供的上述方法中,同步播放其他媒体资源中的演示文稿资源,可以通过下述过程实现:
将与播放时间相匹配的演示文稿以及与所述目标角度的视频对应的所有演示文稿的缩略图一并显示;
当接收到播放所述缩略图中其他演示文稿的指令时,根据所述指令,将当前与所述播放时间相匹配的演示文稿切换为所述指令指示的演示文稿,并且跳转播放对应播放时间的视频。
如图5所示的显示界面,与当前播放时间相匹配的演示文稿放大显示,该目标角度的所有演示文稿的缩略图一并显示在下方,供用户切换选择。
演示文稿可以包含文字、图片或者文字与图片的结合。
进一步地,本发明实施例提供的上述方法中,笔记资源中包含多条笔记条目;所述同步播放其他媒体资源中的笔记资源,包括:
将笔记资源中与播放时间相匹配的笔记条目逐步突出显示;
当接收到切换笔记条目的指令时,跳转显示对应的笔记条目,并跳转播放对应播放时间的视频。
例如图6所示的界面,在该界面中,包含若干笔记条目,当前播放时间相匹配的笔记条目被突出显示,用户可以在多个笔记条目之中选择。
还是以一个会议为主题的VR视频举例来说,采用本发明实施例提供的上述实现多资源同步播放的方法,可以根据用户需要切换到不同的与会者的发言视频上(不同与会者可以同时发言),同时同步播放其发言的字幕信息、对应的演示文稿(该与会者的背景介绍,发言的PPT等),以及该与会者发言对应的笔记条目。
基于同一发明构思,本发明实施例还提供了一种实现多资源同步播放的装置,由于该装置所解决问题的原理与前述方法相似,因此该装置的实施可以参见前述方法的实施,重复之处不再赘述。
如图7所示,本发明实施例提供的一种实现多资源同步播放的装置,包括:
第一获取模块71,用于根据虚拟现实VR视频显示角度的控制指令,获取当前播放的VR视频中所述控制指令指示的目标角度的视频;
第二获取模块72,用于获取与所述目标角度的视频对应的其他媒体资源;
同步播放模块73,用于将所述目标角度的视频与所述其他媒体资源进行同步播放。
进一步地,上述第一获取模块71,用于根据所述控制指令指示的角度,从本地存储或者网络侧存储的VR视频文件或者VR媒体流中获取所述目标角度的视频。
进一步地,所述控制指令指示的目标角度包括:所述VR视频的初始显示角度或者用户指示的需要切换的目标角度。
进一步地,第二获取模块72,具体用于根据预设的VR视频中包含的同一个时刻不同角度的多个视频数据与其他媒体资源的映射关系,从本地存储或者网络侧存储的媒体文件中获取与所述目标角度的视频对应的其他媒体资源。
进一步地,上述实现多资源同步播放的装置,如图7所示,还可以包括:转换模块74,用于在所述第二获取模块72获取与所述目标角度的视频对应的其他媒体资源之后,将所述其他媒体资源转换为便于媒体播放器播放的数据结构。
进一步地,上述同步播放模块73,如图8所示,包括:
第一播放子模块731,用于播放所述目标角度的视频;
确定子模块732,用于在播放所述目标角度的视频时,不断查询所述视频的播放进度,根据所述播放进度确定当前的播放时间;
第二播放子模块733,用于根据所述播放时间,与所述目标角度的视频同步播放与所述播放时间相匹配的媒体资源。
进一步地,所述其他媒体资源,包括下述一项或多项媒体资源:字幕资源、演示文稿资源和笔记资源。
进一步地,第二播放子模块733,具体用于与所述目标角度的视频同步显示多个语种的字幕资源;当接收到关闭其中一个或多个语种的字幕资源的指令时,根据所述指令关闭对应语种的字幕资源的显示。
进一步地,第二播放子模块733,具体用于将与播放时间相匹配的演示文稿以及与所述目标角度的视频对应的所有演示文稿的缩略图一并显示;当接收到播放所述缩略图中其他演示文稿的指令时,根据所述指令,将当前与所述播放时间相匹配的演示文稿切换为所述指令指示的演示文稿,并且跳转播放对应播放时间的视频。
进一步地,第二播放子模块733,具体用于将笔记资源中与所述播放时间相匹配的笔记条目逐步突出显示;当接收到切换笔记条目的指令时,跳转显示对应的笔记条目,并跳转播放对应播放时间的视频。
进一步地,所述目标角度的视频、所述字幕资源、演示文稿资源和笔记资源通过不同的播放区域进行显示;
相应地,如图7所示,该装置还可以包括:
显示区域调整模块75,用于当接收到区域调整指令时,根据所述调整指令,将所述目标角度的视频、字幕资源、演示文稿资源和笔记资源中至少两个的播放区域进行切换。
本发明实施例还提供了一种媒体播放器,该媒体播放器包括本发明实施例提供的上述实现多资源同步播放的装置。
该媒体播放器可以为一个独立的设备,也可以与其他设备例如手机、电脑、各种可穿戴式设备或者其他嵌入式设备等集成为一体,通过软件或硬件实现的按键按钮、手势或者用户的头部动作等来控制,实现多个不同角度的视频及与该角度匹配的字幕、演示文稿和笔记的同步显示。
本发明实施例提供的上述实现多资源同步播放的方法及装置和媒体播放器中,根据虚拟现实VR视频显示角度的控制指令,获取当前播放的VR视频中该控制指令指示的目标角度的视频以及与该目标角度的视频对应的其他媒体资源;将该目标角度的视频与其他媒体资源进行同步播放。本发明实施例根据用户发出的显示角度的控制指令,可以实现VR视频中该显示角度的视频与所匹配的其他媒体资源的同步播放,可以在传统的媒体播放器的框架下,实现VR视频及相关媒体资源的同步播放,为VR视频在教育上的应用提供了解决方案。
进一步地,本发明实施例中,在VR视频及相关媒体资源的同步播放的过程中,对不同的媒体资源即字幕资源、演示文稿资源和笔记资源等采用了灵活的显示控制,在用户充分享受身临其境的VR视频教学的同时,可以更人性化向用户提供与VR视频当前显示角度匹配的其他媒体信息,进一步提高了用户的使用体验。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (23)

1.一种实现多资源同步播放的方法,其特征在于,所述方法包括:
根据虚拟现实VR视频显示角度的控制指令,获取当前播放的VR视频中所述控制指令指示的目标角度的视频以及与所述目标角度的视频对应的其他媒体资源;
将所述目标角度的视频与所述其他媒体资源进行同步播放。
2.如权利要求1所述的方法,其特征在于,获取所述控制指令指示的目标角度的视频,包括:
根据所述控制指令指示的角度,从本地存储或者网络侧存储的VR视频文件或者VR媒体流中获取所述目标角度的视频。
3.如权利要求1或2所述的方法,其特征在于,所述控制指令指示的目标角度包括:所述VR视频的初始显示角度或者用户指示的需要切换的目标角度。
4.如权利要求1所述的方法,其特征在于,获取与所述目标角度的视频对应的其他媒体资源,包括:
根据预设的VR视频中包含的同一个时刻不同角度的多个视频数据与其他媒体资源的映射关系,从本地存储或者网络侧存储的媒体文件中获取与所述目标角度的视频对应的其他媒体资源。
5.如权利要求4所述的方法,其特征在于,获取与所述目标角度的视频对应的其他媒体资源之后,还包括:
将所述其他媒体资源转换为便于媒体播放器播放的数据结构。
6.如权利要求1所述的方法,其特征在于,将所述目标角度的视频与所述其他媒体资源进行同步播放,包括:
播放所述目标角度的视频时,不断查询所述视频的播放进度,根据所述播放进度确定当前的播放时间;
根据所述播放时间,与所述目标角度的视频同步播放与所述播放时间相匹配的媒体资源。
7.如权利要求6所述的方法,其特征在于,所述其他媒体资源,包括下述一项或多项媒体资源:字幕资源、演示文稿资源和笔记资源。
8.如权利要求7所述的方法,其特征在于,同步播放其他媒体资源中的字幕资源,包括:
与所述目标角度的视频同步显示多个语种的字幕资源;
当接收到关闭其中一个或多个语种的字幕资源的指令时,根据所述指令关闭对应语种的字幕资源的显示。
9.如权利要求7所述的方法,其特征在于,同步播放其他媒体资源中的演示文稿资源,包括:
将与播放时间相匹配的演示文稿以及与所述目标角度的视频对应的所有演示文稿的缩略图一并显示;
当接收到播放所述缩略图中其他演示文稿的指令时,根据所述指令,将当前与所述播放时间相匹配的演示文稿切换为所述指令指示的演示文稿,并且跳转播放对应播放时间的视频。
10.如权利要求7所述的方法,其特征在于,所述笔记资源中包含多条笔记条目;所述同步播放其他媒体资源中的笔记资源,包括:
将笔记资源中与所述播放时间相匹配的笔记条目逐步突出显示;
当接收到切换笔记条目的指令时,跳转显示对应的笔记条目,并跳转播放对应播放时间的视频。
11.如权利要求7所述的方法,其特征在于,所述目标角度的视频、字幕资源、演示文稿资源和笔记资源通过播放器中不同的播放区域进行显示;
当接收到区域调整指令时,根据所述调整指令,将所述目标角度的视频、字幕资源、演示文稿资源和笔记资源中至少两个的播放区域进行切换。
12.一种实现多资源同步播放的装置,其特征在于,包括:
第一获取模块,用于根据虚拟现实VR视频显示角度的控制指令,获取当前播放的VR视频中所述控制指令指示的目标角度的视频;
第二获取模块,用于获取与所述目标角度的视频对应的其他媒体资源;
同步播放模块,用于将所述目标角度的视频与所述其他媒体资源进行同步播放。
13.如权利要求12所述的装置,其特征在于,第一获取模块,用于根据所述控制指令指示的角度,从本地存储或者网络侧存储的VR视频文件或者VR媒体流中获取所述目标角度的视频。
14.如权利要求12或13所述的装置,其特征在于,所述控制指令指示的目标角度包括:所述VR视频的初始显示角度或者用户指示的需要切换的目标角度。
15.如权利要求12所述的装置,其特征在于,第二获取模块,具体用于根据预设的VR视频中包含的同一个时刻不同角度的多个视频数据与其他媒体资源的映射关系,从本地存储或者网络侧存储的媒体文件中获取与所述目标角度的视频对应的其他媒体资源。
16.如权利要求15所述的装置,其特征在于,还包括:
转换模块,用于在所述第二获取模块获取与所述目标角度的视频对应的其他媒体资源之后,将所述其他媒体资源转换为便于媒体播放器播放的数据结构。
17.如权利要求12所述的装置,其特征在于,所述同步播放模块,包括:
第一播放子模块,用于播放所述目标角度的视频;
确定子模块,用于在播放所述目标角度的视频时,不断查询所述视频的播放进度,根据所述播放进度确定当前的播放时间;
第二播放子模块,用于根据所述播放时间,与所述目标角度的视频同步播放与所述播放时间相匹配的媒体资源。
18.如权利要求17所述的装置,其特征在于,所述其他媒体资源,包括下述一项或多项媒体资源:字幕资源、演示文稿资源和笔记资源。
19.如权利要求18所述的装置,其特征在于,第二播放子模块,具体用于与所述目标角度的视频同步显示多个语种的字幕资源;当接收到关闭其中一个或多个语种的字幕资源的指令时,根据所述指令关闭对应语种的字幕资源的显示。
20.如权利要求18所述的装置,其特征在于,第二播放子模块,具体用于将与播放时间相匹配的演示文稿以及与所述目标角度的视频对应的所有演示文稿的缩略图一并显示;当接收到播放所述缩略图中其他演示文稿的指令时,根据所述指令,将当前与所述播放时间相匹配的演示文稿切换为所述指令指示的演示文稿,并且跳转播放对应播放时间的视频。
21.如权利要求18所述的装置,其特征在于,第二播放子模块,具体用于将笔记资源中与所述播放时间相匹配的笔记条目逐步突出显示;当接收到切换笔记条目的指令时,跳转显示对应的笔记条目,并跳转播放对应播放时间的视频。
22.如权利要求18所述的装置,其特征在于,所述目标角度的视频、所述字幕资源、演示文稿资源和笔记资源通过不同的播放区域进行显示;
所述装置还包括:
显示区域调整模块,用于当接收到区域调整指令时,根据所述调整指令,将所述目标角度的视频、字幕资源、演示文稿资源和笔记资源中至少两个的播放区域进行切换。
23.一种媒体播放器,其特征在于,所述媒体播放器包括如权利要求12-22任一项所述的实现多资源同步播放的装置。
CN201511022457.3A 2015-12-31 2015-12-31 一种实现多资源同步播放的方法及装置和媒体播放器 Pending CN106937156A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511022457.3A CN106937156A (zh) 2015-12-31 2015-12-31 一种实现多资源同步播放的方法及装置和媒体播放器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511022457.3A CN106937156A (zh) 2015-12-31 2015-12-31 一种实现多资源同步播放的方法及装置和媒体播放器

Publications (1)

Publication Number Publication Date
CN106937156A true CN106937156A (zh) 2017-07-07

Family

ID=59441514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511022457.3A Pending CN106937156A (zh) 2015-12-31 2015-12-31 一种实现多资源同步播放的方法及装置和媒体播放器

Country Status (1)

Country Link
CN (1) CN106937156A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613405A (zh) * 2017-09-30 2018-01-19 福州瑞芯微电子股份有限公司 一种vr视频字幕显示方法和装置
CN111510757A (zh) * 2019-01-31 2020-08-07 华为技术有限公司 一种共享媒体数据流的方法、装置以及系统
CN113110234A (zh) * 2021-05-11 2021-07-13 武汉灏存科技有限公司 联动控制系统及方法
WO2022116822A1 (zh) * 2020-12-02 2022-06-09 腾讯科技(深圳)有限公司 沉浸式媒体的数据处理方法、装置和计算机可读存储介质
WO2023165362A1 (zh) * 2022-03-04 2023-09-07 北京字跳网络技术有限公司 信息展示方法、装置、头戴式显示设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2355500A1 (en) * 2009-12-15 2011-08-10 Alcatel Lucent Method and system for conducting a video conference with a consistent viewing angle
CN102347045A (zh) * 2011-05-20 2012-02-08 合一网络技术(北京)有限公司 一种用于嵌入式媒体播放器的同步显示、控制的系统和设备
CN102347044A (zh) * 2011-05-20 2012-02-08 合一网络技术(北京)有限公司 一种用于嵌入式媒体播放器的同步显示、控制方法和系统及设备
CN102833584A (zh) * 2012-05-22 2012-12-19 中华电信股份有限公司 多视角互动电视的影音串流方法
CN103426332A (zh) * 2012-05-14 2013-12-04 上海企诺电子科技有限公司 一种多媒体网络讲台及其制作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2355500A1 (en) * 2009-12-15 2011-08-10 Alcatel Lucent Method and system for conducting a video conference with a consistent viewing angle
CN102347045A (zh) * 2011-05-20 2012-02-08 合一网络技术(北京)有限公司 一种用于嵌入式媒体播放器的同步显示、控制的系统和设备
CN102347044A (zh) * 2011-05-20 2012-02-08 合一网络技术(北京)有限公司 一种用于嵌入式媒体播放器的同步显示、控制方法和系统及设备
CN103426332A (zh) * 2012-05-14 2013-12-04 上海企诺电子科技有限公司 一种多媒体网络讲台及其制作方法
CN102833584A (zh) * 2012-05-22 2012-12-19 中华电信股份有限公司 多视角互动电视的影音串流方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613405A (zh) * 2017-09-30 2018-01-19 福州瑞芯微电子股份有限公司 一种vr视频字幕显示方法和装置
CN107613405B (zh) * 2017-09-30 2019-12-27 福州瑞芯微电子股份有限公司 一种vr视频字幕显示方法和装置
CN111510757A (zh) * 2019-01-31 2020-08-07 华为技术有限公司 一种共享媒体数据流的方法、装置以及系统
WO2022116822A1 (zh) * 2020-12-02 2022-06-09 腾讯科技(深圳)有限公司 沉浸式媒体的数据处理方法、装置和计算机可读存储介质
CN113110234A (zh) * 2021-05-11 2021-07-13 武汉灏存科技有限公司 联动控制系统及方法
CN113110234B (zh) * 2021-05-11 2023-03-31 武汉灏存科技有限公司 联动控制系统及方法
WO2023165362A1 (zh) * 2022-03-04 2023-09-07 北京字跳网络技术有限公司 信息展示方法、装置、头戴式显示设备及存储介质

Similar Documents

Publication Publication Date Title
US10706482B1 (en) Parallel echo version of media content for comment creation and delivery
CN106937156A (zh) 一种实现多资源同步播放的方法及装置和媒体播放器
KR20200024441A (ko) 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치
CN110347979A (zh) 分屏跨应用的信息分享方法、装置与触控终端、存储介质
US10741089B2 (en) Interactive immersion system for movies, television, animation, music videos, language training, entertainment, video games and social networking
CN105898341A (zh) 一种实现双人同时视频直播的方法及移动客户端
TW201322771A (zh) 移動影像之再生處理方法及使用該方法之行動資訊終端機
JP2004007539A (ja) ビジュアル情報の記録/再生方法、その装置及び通信システム
CN105100870B (zh) 一种截屏方法及终端设备
CN107145278A (zh) 基于移动终端的设备控制方法、装置和移动终端
CN113099265B (zh) 一种交互方法及装置
US20230079893A1 (en) Multi-Viewpoint Multi-User Audio User Experience
CN109828666A (zh) 基于有形用户界面的混合现实交互系统及方法
CN103260070A (zh) 基于网络的智能终端控制方法
CN108012195A (zh) 一种直播方法、装置及其电子设备
CN108831216B (zh) 真三维虚拟仿真交互方法及系统
KR101198091B1 (ko) 학습 콘텐츠 서비스 제공 방법 및 시스템
US8771071B2 (en) System and method of rendering controller information
CN205961300U (zh) 智能交互平板
CN203607077U (zh) 虚拟旅行机
CN107491169A (zh) 一种vr信息采集存储系统及其方法
JP2015136069A (ja) 映像配信システム、映像配信方法及び映像配信プログラム
Gopalakrishnan et al. Parametric evaluation of progressively immersive multimedia representations for teaching environment in eLearning
KR101153952B1 (ko) 애니메이션 액션 체험 컨텐츠 서비스 시스템 및 방법
CN108141628A (zh) 信息处理设备、其控制方法和计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170707