CN105898138A - 全景视频播放方法及装置 - Google Patents

全景视频播放方法及装置 Download PDF

Info

Publication number
CN105898138A
CN105898138A CN201510974746.7A CN201510974746A CN105898138A CN 105898138 A CN105898138 A CN 105898138A CN 201510974746 A CN201510974746 A CN 201510974746A CN 105898138 A CN105898138 A CN 105898138A
Authority
CN
China
Prior art keywords
situation elements
main situation
user
display
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510974746.7A
Other languages
English (en)
Inventor
周正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leshi Zhixin Electronic Technology Tianjin Co Ltd
Original Assignee
Leshi Zhixin Electronic Technology Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leshi Zhixin Electronic Technology Tianjin Co Ltd filed Critical Leshi Zhixin Electronic Technology Tianjin Co Ltd
Priority to CN201510974746.7A priority Critical patent/CN105898138A/zh
Publication of CN105898138A publication Critical patent/CN105898138A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明实施例提供一种全景视频播放方法及装置，其中所述方法包括：获取主场景元素的显示角度及用户头部的角度；根据所述主场景元素的显示角度及所述用户头部的角度，判断所述主场景元素是否处于用户视野内；当所述主场景元素不处于所述用户视野内时，校正所述主场景元素的显示角度；根据校正后的所述主场景元素的显示角度显示所述主场景元素。本发明实施例还提供一种全景视频播放装置。本发明实施例的全景视频播放方法及装置，可以在用户头部转动时，通过调整主场景元素的显示角度，让主场景元素保持显示于用户视野内，提高了用户体验。

Description

全景视频播放方法及装置
技术领域
本发明实施例涉及音视频技术领域，尤其涉及一种全景视频播放方法及装置。
背景技术
全景图像通常是指大于双眼正常有效视角或双眼余光视角，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览至360度完整场景范围拍摄的照片。利用图像技术生成全景图像可以在单机或者网络上显示。而利用上述全景图像则可以制作出全景视频，在全景影视播放过程中，尤其是第一视角的全景影视播放，随着情节的深入，用户会跟随全景摄像机进行快速位置变换。全景内容提供的信息偏多，用户需要转头进行信息收集，信息过大或时间过短都会导致用户理解影片不完全。
特别是在虚拟现实环境下在播放全景视频时，用户被360度的内容环绕，用户在观看信息时，对于有主场景元素和副场景元素的全景视频而言，当用户转动头部时，用户的视野就有可能落在主场景元素之外，产生无法观看到主场景元素的问题。
发明内容
本发明实施例提供一种全景视频播放方法及装置，以解决现有技术中由于用户转动头部后，导致用户无法观看到主场景元素的问题。
本发明实施例提供一种全景视频播放方法，包括：
获取主场景元素的显示角度及用户头部的角度；
根据所述主场景元素的显示角度及所述用户头部的角度，判断所述主场景元素是否处于用户视野内；
当所述主场景元素不处于所述用户视野内时，校正所述主场景元素的显示角度；
根据校正后的所述主场景元素的显示角度显示所述主场景元素。
进一步的，所述方法还包括；
当所述主场景元素处于所述用户视野内时，则根据所述主场景元素的当前显示角度显示所述主场景元素。
进一步的，所述方法还包括：当所述主场景元素不处于所述用户视野内时，提示校正所述主场景元素的显示角度的步骤。
进一步的，所述方法还包括：接收校正指令，并根据所述校正指令校正所述主场景元素的显示角度的步骤。
进一步的，所述方法通过判断所述用户头部的角度是否大于预定值，判断所述主场景元素是否处于用户视野内。
本发明实施例还提供一种全景视频播放装置，包括：
角度获取模块，用于获取主场景元素的显示角度及用户头部的角度；
判断模块，用于根据所述主场景元素的显示角度及所述用户头部的角度，判断所述主场景元素是否处于用户视野内；
校正模块，用于当所述主场景元素不处于所述用户视野内时，校正所述主场景元素的显示角度；
显示模块，用于根据校正后的所述主场景元素的显示角度显示所述主场景元素。
进一步的，所述显示模块，还用于当所述主场景元素处于所述用户视野内时，则根据所述主场景元素的当前显示角度显示所述主场景元素。
进一步的，所述的装置还包括提示模块，用于当所述主场景元素不处于所述用户视野内时，提示校正所述主场景元素的显示角度。
进一步的，所述的装置还包括交互模块，用于接收校正指令；所述校正模块还用于根据所述校正指令校正所述主场景元素的显示角度。
进一步的，所述校正模块还用于通过判断所述用户头部的角度是否大于预定值，判断所述主场景元素是否处于用户视野内。
本发明实施例提供的全景视频播放方法及装置，可以在用户头部转动时，通过调整主场景元素的显示角度，让主场景元素保持显示于用户视野内，提高了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图为本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例全景视频播放方法的一种实施例的流程图；
图2为本发明实施例用户头部转动的示意图；
图3为本发明实施例全景视频播放方法的另一种实施例的流程图；
图4为本发明实施例全景视频播放装置一种实施例的示意图；
图5为本发明实施例全景视频播放装置另一种实施例的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例为本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
主场景元素通常是用户在观看某一全景视频时，较为关注的内容，副场景元素则为用户不太关注的内容。比如，虚拟现实模式下的虚拟影院，主场景元素为电影院的屏幕，副场景元素则是电影院的座椅及周边墙壁等。
对于有主场景元素和副场景元素的全景视频，当用户转动头部的角度如果较大时，导致用户的视野落在主场景元素之外，从而产生用户无法观看到主场景元素的问题。本发明的发明人在经过深入研究后发现，只要校正主场景元素的显示角度，就可以解决上述问题，具体方案如下：
图1为本发明实施例全景视频播放方法的一种实施例的流程图。
本发明实施例的全景视频播放方法，包括如下步骤：
S101：获取主场景元素的显示角度及用户头部的角度。
由于在虚拟现实系统中，保存有主场景元素和副场景元素的显示角度，因此可从虚拟现实系统中直接获取到主场景元素的显示角度。用户头部的坐标则可以通过陀螺仪等传感器检测用户头部转动的角度来获取，由于传感器已经被广泛应用于手机、头戴式虚拟现实装置测量位移或者角度，本发明在此不再具体叙述其获取角度的过程。
需要说明的是，当用户开始使用虚拟现实系统时，比如刚开始戴上头戴式虚拟现实设备时，就会开始获取主场景元素的显示角度及用户头部的角度；通常情况下，此时主场景元素的显示角度及用户头部的角度均为0°；当用户开始使用虚拟现实系统时，如果发生了用户转动头部的情况，也会获取主场景元素的显示角度及用户头部的角度。
S102：根据所述主场景元素的显示角度及所述用户头部的角度，判断所述主场景元素是否处于用户视野内。
具体请参阅图2，图2为本发明实施例用户头部转动的示意图。
假设刚开始时主场景元素处在用户头部的正前方，即处于0°方向；n°及-n°则为预定角度，如果用户转动头部的角度大于n°或者小于-n°则表明主场景元素不在用户视野内；换而言之，当用户转动头部的角度的绝对值大于预定角度n°时，则表明主场景元素不在用户视野内，反之则表明主场景元素不在用户视野内。
在图2中，由于y°或者-y°的绝对值小于n°，所以如果用户头部转动的角度为y°或者-y°，则主场景元素仍在用户视野内；由于x°或者-x°的绝对值大于n°，如果用户头部转动的角度为x°或者-x°，则主场景元素不在用户视野内。
S103：当所述主场景元素处于所述用户视野内时，则根据所述主场景元素的当前显示角度显示所述主场景元素。
虽然用户的头部发生了转动，但由于转动的角度较小，并不影响用户观看，因此不用对主场景元素的显示角度进行校正，仍然按照当前显示角度显示主场景元素。
S104：当所述主场景元素不处于所述用户视野内时，校正所述主场景元素的显示角度。
由于用户的头部发生了较大角度的转动，已经影响到用户观看主场景元素，因此为了使用户能看到主场景元素，虚拟现实系统将校正主场景元素的显示角度。比如图2中，如果刚开始时用户的视野为0°方向，主场景的显示角度也是0°，当用户头部转动了x°，那么可以将主场景元素的显示角度也调整为x°。当然副场景的元素的显示角度也相应的进行校正，以保持整个全景视频图像的一致性。
S105：根据校正后的所述主场景元素的显示角度显示所述主场景元素。
本步骤中将根据校正后的主场景元素的显示角度，重新渲染全景视频，并显示。所显示的全景视频的数据帧格式，可以是MPEG-1、MPEG-2、MPEG-4或者是Mpeg4 AVC；也可以是H.26X系列，包括H.261、H.262、H.263、H.263+、H.263++、H.264。
本步骤中，渲染全景视频是通过异步时间扭曲(Asynchronous Timewarp，ATW)技术实现。异步时间扭曲是一种生成中间帧的技术，当不能保持足够帧频率的时候，能产生中间帧，在GPU渲染能力与屏幕显示需求之间达到平衡。异步时间扭曲是实际图像调整的进程，即是通过扭曲一帧已经渲染完成但还未在屏幕上显示的图像，进而生成中间帧用以弥补由于头部运动所造成的画面延迟。中间帧是作为后处理效果，通过改变已经被渲染好的图像来匹配用户最新的头部位置。
异步时间扭曲通过一个独立于显卡渲染周期的处理进程来持续追踪头部位置，该进程和渲染进程平行运行。在每一次垂直同步前，该平行进程根据渲染进程最新完成的帧生成新的帧。相比于同步时间扭曲，能够获取得更低的延迟以及更高的准确度。实现该异步时间扭曲的方式可以是Liquid VR技术，也可以是GameWorks VR技术。
Liquid VR技术所提供的是访问异步处理引擎(Asynchronous ComputeEngine,ACE)功能的完全访问权限。异步处理引擎架构则可以在处理进程中同时插入不同的指令，从而充分利用起计算资源。当空闲的流处理单元的指令槽可用时，所需要的命令就可以插入执行。如此一来，图形处理器就可以在执行图像渲染工作的同时来处理计算任务。
Liquid VR技术可以由两个或多个显卡之间相互交替来渲染每一帧图像。即使在图像在经由VR头盔被分割为左眼视图和右眼视图来显示时，能够有效地为每块显卡分配好任务，实现其中一个图形处理器负责处理左眼图像，另一个图形处理器负责处理右眼图像。
GameWorks VR可充分的将图形处理器应用于虚拟现实图像的处理中，并在驱动器层面完成异步时间扭曲处理，能同时渲染左右视图，从而输出较好的效果。此外，还可以将整个图像分割成3x3的视区网格，每一个视区与从屏幕上被分割出来的现实区域对应。在保留中央视区完整分辨率的情况下，外围视区通过后处理阶段的扭曲方式进行渲染。完成上述处理后，用户感知的图像相比原来的像素数量可减少25％到50％，而像素渲染效率则提升为原来的1.3倍到2倍。
本实施例的全景视频播放方法，在主场景元素不在用户视野内时，可自动校正主场景元素到显示角度，无需用户进行手动校正。
图3为本发明实施例全景视频播放方法的另一种实施例的流程图。
本发明实施例的全景视频播放方法，包括如下步骤：
S301：获取主场景元素的显示角度及用户头部的角度。
由于在虚拟现实系统中，保存有主场景元素和副场景元素的显示角度，因此可从虚拟现实系统中直接获取到主场景元素的显示角度。用户头部的坐标则可以通过陀螺仪等传感器检测用户头部转动的角度来获取，由于传感器已经被广泛应用于手机、头戴式虚拟现实装置测量位移或者角度，本发明在此不再具体叙述其获取角度的过程。
需要说明的是，当用户开始使用虚拟现实系统时，比如刚开始戴上头戴式虚拟现实设备时，就会开始获取主场景元素的显示角度及用户头部的角度；通常情况下，此时主场景元素的显示角度及用户头部的角度均为0°；当用户开始使用虚拟现实系统时，如果发生了用户转动头部的情况，也会获取主场景元素的显示角度及用户头部的角度。
S302：根据所述主场景元素的显示角度及所述用户头部的角度，判断所述主场景元素是否处于用户视野内。
具体请参阅图2，图2为本发明实施例用户头部转动的示意图。
假设刚开始时主场景元素处在用户头部的正前方，即处于0°方向；n°及-n°则为预定角度，如果用户转动头部的角度大于n°或者小于-n°则表明主场景元素不在用户视野内；换而言之，当用户转动头部的角度的绝对值大于预定角度n°时，则表明主场景元素不在用户视野内，反之则表明主场景元素不在用户视野内。
在图2中，由于y°或者-y°的绝对值小于n°，所以如果用户头部转动的角度为y°或者-y°，则主场景元素仍在用户视野内；由于x°或者-x°的绝对值大于n°，如果用户头部转动的角度为x°或者-x°，则主场景元素不在用户视野内。
S303：当所述主场景元素处于所述用户视野内时，则根据所述主场景元素的当前显示角度显示所述主场景元素。
虽然用户的头部发生了转动，但由于转动的角度较小，并不影响用户观看，因此不用对主场景元素的显示角度进行校正，仍然按照当前显示角度显示主场景元素。
S304：提示校正所述主场景元素的显示角度。
此时，可在虚拟现实系统的显示屏幕上，显示“主场景不在视野范围内，是否需要校正”的对话框，提醒用户是否需要校正主场景元素的显示角度。并在对话框中给出“是”和“否”两个选项，提供给用户进行选择是否校正。当然副场景的元素的显示角度也相应的进行校正，以保持整个全景视频图像的一致性。
S305：接收校正指令。
虚拟现实系统可接收通过蓝牙手柄，蓝牙键盘，数据手套等发出的校正指令。用户只需要按下蓝牙键盘上的某一固定按键，或者按下蓝牙手柄上某一按钮即可。
S306：根据所述校正指令校正所述主场景元素的显示角度。
虚拟现实系统在接收到校正指令后即可根据此前所获得的用户转动头部后的角度校正主场景元素的显示角度。
由于用户的头部发生了较大角度的转动，已经影响到用户观看主场景元素，因此为了使用户能看到主场景元素，虚拟现实系统将校正主场景元素的显示角度。比如图2中，如果刚开始时用户的视野为0°方向，主场景的显示角度也是0°，当用户头部转动了x°，那么可以将主场景元素的显示角度也调整为x°。
S307：根据校正后的所述主场景元素的显示角度显示所述主场景元素。
本步骤中将根据校正后的主场景元素的显示角度，重新渲染全景视频，并显示。所显示的全景视频的数据帧格式，可以是MPEG-1、MPEG-2、MPEG-4或者是Mpeg4 AVC；也可以是H.26X系列，包括H.261、H.262、H.263、H.263+、H.263++、H.264。
本步骤中，渲染全景视频是通过异步时间扭曲技术实现。异步时间扭曲是一种生成中间帧的技术，当不能保持足够帧频率的时候，能产生中间帧，在GPU渲染能力与屏幕显示需求之间达到平衡。异步时间扭曲是实际图像调整的进程，即是通过扭曲一帧已经渲染完成但还未在屏幕上显示的图像，进而生成中间帧用以弥补由于头部运动所造成的画面延迟。中间帧是作为后处理效果，通过改变已经被渲染好的图像来匹配用户最新的头部位置。
异步时间扭曲通过一个独立于显卡渲染周期的处理进程来持续追踪头部位置，该进程和渲染进程平行运行。在每一次垂直同步前，该平行进程根据渲染进程最新完成的帧生成新的帧。相比于同步时间扭曲，能够获取得更低的延迟以及更高的准确度。实现该异步时间扭曲的方式可以是Liquid VR技术，也可以是GameWorks VR技术。
Liquid VR技术所提供的是访问异步处理引擎功能的完全访问权限。异步处理引擎架构则可以在处理进程中同时插入不同的指令，从而充分利用起计算资源。当空闲的流处理单元的指令槽可用时，所需要的命令就可以插入执行。如此一来，图形处理器就可以在执行图像渲染工作的同时来处理计算任务。
Liquid VR技术可以由两个或多个显卡之间相互交替来渲染每一帧图像。即使在图像在经由VR头盔被分割为左眼视图和右眼视图来显示时，能够有效地为每块显卡分配好任务，实现其中一个图形处理器负责处理左眼图像，另一个图形处理器负责处理右眼图像。
GameWorks VR可充分的将图形处理器应用于虚拟现实图像的处理中，并在驱动器层面完成异步时间扭曲处理，能同时渲染左右视图，从而输出较好的效果。此外，还可以将整个图像分割成3x3的视区网格，每一个视区与从屏幕上被分割出来的现实区域对应。在保留中央视区完整分辨率的情况下，外围视区通过后处理阶段的扭曲方式进行渲染。完成上述处理后，用户感知的图像相比原来的像素数量可减少25％到50％，而像素渲染效率则提升为原来的1.3倍到2倍。
本实施例的全景视频播放方法，在主场景元素不在用户视野内时，可提示用户是否进行校正，然后由用户自行校正，其校正的方式更为灵活。
图4为本发明实施例全景视频播放装置一种实施例的示意图。
本发明实施例的全景视频播放装置400，包括角度获取模块401、判断模块402、校正模块403，以及显示模块404。
角度获取模块401，用于获取主场景元素的显示角度及用户头部的角度。由于在虚拟现实系统中，保存有主场景元素和副场景元素的显示角度，因此可从虚拟现实系统中直接获取到主场景元素的显示角度。用户头部的坐标则可以通过陀螺仪等传感器检测用户头部转动的角度来获取，由于传感器已经被广泛应用于手机、头戴式虚拟现实装置测量位移或者角度，本发明在此不再具体叙述其获取角度的过程。
需要说明的是，当用户开始使用虚拟现实系统时，比如刚开始戴上头戴式虚拟现实设备时，就会开始获取主场景元素的显示角度及用户头部的角度；通常情况下，此时主场景元素的显示角度及用户头部的角度均为0°；当用户开始使用虚拟现实系统时，如果发生了用户转动头部的情况，也会获取主场景元素的显示角度及用户头部的角度。
判断模块402，用于根据所述主场景元素的显示角度及所述用户头部的角度，判断所述主场景元素是否处于用户视野内。具体请参阅图2，假设刚开始时主场景元素处在用户头部的正前方，即处于0°方向；n°及-n°则为预定角度，如果用户转动头部的角度大于n°或者小于-n°则表明主场景元素不在用户视野内；换而言之，当用户转动头部的角度的绝对值大于预定角度n°时，则表明主场景元素不在用户视野内，反之则表明主场景元素不在用户视野内。在图2中，由于y°或者-y°的绝对值小于n°，所以如果用户头部转动的角度为y°或者-y°，则主场景元素仍在用户视野内；由于x°或者-x°的绝对值大于n°，如果用户头部转动的角度为x°或者-x°，则主场景元素不在用户视野内。
校正模块403，用于当所述主场景元素不处于所述用户视野内时，校正所述主场景元素的显示角度。由于用户的头部发生了较大角度的转动，已经影响到用户观看主场景元素，因此为了使用户能看到主场景元素，虚拟现实系统将校正主场景元素的显示角度。比如图2中，如果刚开始时用户的视野为0°方向，主场景的显示角度也是0°，当用户头部转动了x°，那么可以将主场景元素的显示角度也调整为x°。当然副场景的元素的显示角度也相应的进行校正，以保持整个全景视频图像的一致性。
显示模块404，用于根据校正后的所述主场景元素的显示角度显示所述主场景元素；具体而言，显示模块404将根据校正后的主场景元素的显示角度，重新渲染全景视频，并显示。所显示的全景视频的数据帧格式，可以是MPEG-1、MPEG-2、MPEG-4或者是Mpeg4 AVC；也可以是H.26X系列，包括H.261、H.262、H.263、H.263+、H.263++、H.264。渲染全景视频是通过异步时间扭曲技术实现。
显示模块404还用于当所述主场景元素处于所述用户视野内时，则根据所述主场景元素的当前显示角度显示所述主场景元素。虽然用户的头部发生了转动，但由于转动的角度较小，并不影响用户观看，因此不用对主场景元素的显示角度进行校正，仍然按照当前显示角度显示主场景元素。
本实施例的全景视频播放装置，在主场景元素不在用户视野内时，可自动校正主场景元素到显示角度，无需用户进行手动校正。
图5为本发明实施例全景视频播放装置另一种实施例的示意图。
本发明实施例的全景视频播放装置500，包括角度获取模块501、判断模块502、校正模块503，以及显示模块504。
角度获取模块501，用于获取主场景元素的显示角度及用户头部的角度。由于在虚拟现实系统中，保存有主场景元素和副场景元素的显示角度，因此可从虚拟现实系统中直接获取到主场景元素的显示角度。用户头部的坐标则可以通过陀螺仪等传感器检测用户头部转动的角度来获取，由于传感器已经被广泛应用于手机、头戴式虚拟现实装置测量位移或者角度，本发明在此不再具体叙述其获取角度的过程。
需要说明的是，当用户开始使用虚拟现实系统时，比如刚开始戴上头戴式虚拟现实设备时，就会开始获取主场景元素的显示角度及用户头部的角度；通常情况下，此时主场景元素的显示角度及用户头部的角度均为0°；当用户开始使用虚拟现实系统时，如果发生了用户转动头部的情况，也会获取主场景元素的显示角度及用户头部的角度。
判断模块502，用于根据所述主场景元素的显示角度及所述用户头部的角度，判断所述主场景元素是否处于用户视野内。具体请参阅图2，假设刚开始时主场景元素处在用户头部的正前方，即处于0°方向；n°及-n°则为预定角度，如果用户转动头部的角度大于n°或者小于-n°则表明主场景元素不在用户视野内；换而言之，当用户转动头部的角度的绝对值大于预定角度n°时，则表明主场景元素不在用户视野内，反之则表明主场景元素不在用户视野内。在图2中，由于y°或者-y°的绝对值小于n°，所以如果用户头部转动的角度为y°或者-y°，则主场景元素仍在用户视野内；由于x°或者-x°的绝对值大于n°，如果用户头部转动的角度为x°或者-x°，则主场景元素不在用户视野内。
提示模块503，用于当所述主场景元素不处于所述用户视野内时，提示校正所述主场景元素的显示角度。提示模块503可在虚拟现实系统的显示屏幕上，显示“主场景不在视野范围内，是否需要校正”的对话框，提醒用户是否需要校正主场景元素的显示角度。并在对话框中给出“是”和“否”两个选项，提供给用户进行选择是否校正。当然副场景的元素的显示角度也相应的进行校正，以保持整个全景视频图像的一致性。
交互模块504，用于接收校正指令。交互模块504可接收通过蓝牙手柄，蓝牙键盘，数据手套等发出的校正指令。用户只需要按下蓝牙键盘上的某一固定按键，或者按下蓝牙手柄上某一按钮即可。
校正模块505，用于当所述主场景元素不处于所述用户视野内时，校正所述主场景元素的显示角度；以及用于根据所述校正指令校正所述主场景元素的显示角度。由于用户的头部发生了较大角度的转动，已经影响到用户观看主场景元素，因此为了使用户能看到主场景元素，虚拟现实系统将校正主场景元素的显示角度。比如图2中，如果刚开始时用户的视野为0°方向，主场景的显示角度也是0°，当用户头部转动了x°，那么可以将主场景元素的显示角度也调整为x°。当然副场景的元素的显示角度也相应的进行校正，以保持整个全景视频图像的一致性。
显示模块506，用于根据校正后的所述主场景元素的显示角度显示所述主场景元素。具体而言，显示模块506将根据校正后的主场景元素的显示角度，重新渲染全景视频，并显示。所显示的全景视频的数据帧格式，可以是MPEG-1、MPEG-2、MPEG-4或者是Mpeg4 AVC；也可以是H.26X系列，包括H.261、H.262、H.263、H.263+、H.263++、H.264。渲染全景视频是通过异步时间扭曲技术实现。
显示模块506还用于当所述主场景元素处于所述用户视野内时，则根据所述主场景元素的当前显示角度显示所述主场景元素。虽然用户的头部发生了转动，但由于转动的角度较小，并不影响用户观看，因此不用对主场景元素的显示角度进行校正，仍然按照当前显示角度显示主场景元素。
本实施例的全景视频播放装置，在主场景元素不在用户视野内时，可提示用户是否进行校正，然后由用户自行校正，其校正的方式更为灵活。
通过实施本发明实施例的上述全景视频播放方法及装置，可以在用户头部转动时，通过调整主场景元素的显示角度，让主场景元素保持显示于用户视野内，提高了用户体验。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种全景视频播放方法，其特征在于，包括：
获取主场景元素的显示角度及用户头部的角度；
根据所述主场景元素的显示角度及所述用户头部的角度，判断所述主场景元素是否处于用户视野内；
当所述主场景元素不处于所述用户视野内时，校正所述主场景元素的显示角度；
根据校正后的所述主场景元素的显示角度显示所述主场景元素。
2.根据权利要求1所述的方法，其特征在于，还包括；
当所述主场景元素处于所述用户视野内时，则根据所述主场景元素的当前显示角度显示所述主场景元素。
3.根据权利要求2所述的方法，其特征在于，还包括：当所述主场景元素不处于所述用户视野内时，提示校正所述主场景元素的显示角度的步骤。
4.根据权利要求3所述的方法，其特征在于，还包括：接收校正指令，并根据所述校正指令校正所述主场景元素的显示角度的步骤。
5.根据权利要求2至4任一项所述的方法，其特征在于，通过判断所述用户头部的角度是否大于预定值，判断所述主场景元素是否处于用户视野内。
6.一种全景视频播放装置，其特征在于，包括：
角度获取模块，用于获取主场景元素的显示角度及用户头部的角度；
判断模块，用于根据所述主场景元素的显示角度及所述用户头部的角度，判断所述主场景元素是否处于用户视野内；
校正模块，用于当所述主场景元素不处于所述用户视野内时，校正所述主场景元素的显示角度；
显示模块，用于根据校正后的所述主场景元素的显示角度显示所述主场景元素。
7.根据权利要求6所述的装置，其特征在于，所述显示模块，还用于当所述主场景元素处于所述用户视野内时，则根据所述主场景元素的当前显示角度显示所述主场景元素。
8.根据权利要求7所述的装置，其特征在于，还包括提示模块，用于当所述主场景元素不处于所述用户视野内时，提示校正所述主场景元素的显示角度。
9.根据权利要求8所述的装置，其特征在于，还包括交互模块，用于接收校正指令；所述校正模块还用于根据所述校正指令校正所述主场景元素的显示角度。
10.根据权利要求6至9任一项所述的装置，其特征在于，所述校正模块还用于通过判断所述用户头部的角度是否大于预定值，判断所述主场景元素是否处于用户视野内。
CN201510974746.7A 2015-12-18 2015-12-18 全景视频播放方法及装置 Pending CN105898138A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510974746.7A CN105898138A (zh) 2015-12-18 2015-12-18 全景视频播放方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510974746.7A CN105898138A (zh) 2015-12-18 2015-12-18 全景视频播放方法及装置

Publications (1)

Publication Number Publication Date
CN105898138A true CN105898138A (zh) 2016-08-24

Family

ID=57002007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510974746.7A Pending CN105898138A (zh) 2015-12-18 2015-12-18 全景视频播放方法及装置

Country Status (1)

Country Link
CN (1) CN105898138A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331823A (zh) * 2016-08-31 2017-01-11 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN106454450A (zh) * 2016-10-31 2017-02-22 努比亚技术有限公司 全景视频播放装置及方法
CN106454322A (zh) * 2016-11-07 2017-02-22 金陵科技学院 Vr的图像处理系统及其方法
CN106683034A (zh) * 2016-12-29 2017-05-17 上海拆名晃信息科技有限公司 一种用于虚拟现实的异步时间卷曲计算方法
CN106909221A (zh) * 2017-02-21 2017-06-30 北京小米移动软件有限公司 基于vr系统的图像处理方法及装置
CN106971368A (zh) * 2017-01-18 2017-07-21 上海拆名晃信息科技有限公司 一种用于虚拟现实的同步时间卷曲计算方法
CN107481324A (zh) * 2017-07-05 2017-12-15 微幻科技(北京)有限公司 一种虚拟漫游的方法及装置
WO2018054267A1 (zh) * 2016-09-20 2018-03-29 腾讯科技（深圳）有限公司 基于虚拟现实vr设备的图像展示方法及装置
CN108295469A (zh) * 2017-12-04 2018-07-20 成都思悟革科技有限公司 基于动作捕捉技术的游戏视角转换方法
CN108905202A (zh) * 2018-06-21 2018-11-30 网易（杭州）网络有限公司 控制虚拟现实场景转动方法及装置，存储介质，电子装置
WO2018223839A1 (en) * 2017-06-08 2018-12-13 Huawei Technologies Co., Ltd. A method and system for transmitting virtual reality (vr) content
CN109246477A (zh) * 2018-08-17 2019-01-18 南京泓众电子科技有限公司 一种全景视频插帧方法及装置
CN109729365A (zh) * 2017-10-27 2019-05-07 腾讯科技（深圳）有限公司 一种视频处理方法、装置及智能终端、存储介质
CN109890472A (zh) * 2016-11-14 2019-06-14 华为技术有限公司 一种图像渲染的方法、装置及vr设备
CN110290360A (zh) * 2019-08-01 2019-09-27 浙江开奇科技有限公司 用于全景视频影像的影像拼接方法及终端设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574836A (en) * 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
JP2005250560A (ja) * 2004-03-01 2005-09-15 Mitsubishi Electric Corp 景観表示装置
CN1777295A (zh) * 2005-12-09 2006-05-24 清华紫光股份有限公司 一种视点平移的虚拟空间实景视频图像生成方法及其装置
CN103092349A (zh) * 2013-01-23 2013-05-08 宁凯 基于Kinect体感设备的全景体验方法
CN103472919A (zh) * 2013-09-12 2013-12-25 深圳先进技术研究院 用于图像显示的智能眼镜系统及使用方法
CN103543831A (zh) * 2013-10-25 2014-01-29 梁权富 头戴式全景播放装置
CN104010225A (zh) * 2014-06-20 2014-08-27 合一网络技术(北京)有限公司 显示全景视频的方法和系统
CN104243961A (zh) * 2013-06-18 2014-12-24 财团法人资讯工业策进会 多视角影像的显示系统及方法
CN104602129A (zh) * 2015-01-27 2015-05-06 三星电子（中国）研发中心 互动式多视角视频的播放方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574836A (en) * 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
JP2005250560A (ja) * 2004-03-01 2005-09-15 Mitsubishi Electric Corp 景観表示装置
CN1777295A (zh) * 2005-12-09 2006-05-24 清华紫光股份有限公司 一种视点平移的虚拟空间实景视频图像生成方法及其装置
CN103092349A (zh) * 2013-01-23 2013-05-08 宁凯 基于Kinect体感设备的全景体验方法
CN104243961A (zh) * 2013-06-18 2014-12-24 财团法人资讯工业策进会 多视角影像的显示系统及方法
CN103472919A (zh) * 2013-09-12 2013-12-25 深圳先进技术研究院 用于图像显示的智能眼镜系统及使用方法
CN103543831A (zh) * 2013-10-25 2014-01-29 梁权富 头戴式全景播放装置
CN104010225A (zh) * 2014-06-20 2014-08-27 合一网络技术(北京)有限公司 显示全景视频的方法和系统
CN104602129A (zh) * 2015-01-27 2015-05-06 三星电子（中国）研发中心 互动式多视角视频的播放方法及系统

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331823A (zh) * 2016-08-31 2017-01-11 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN106331823B (zh) * 2016-08-31 2019-08-20 北京奇艺世纪科技有限公司 一种视频播放方法及装置
US10754420B2 (en) 2016-09-20 2020-08-25 Tencent Technology (Shenzhen) Company Limited Method and device for displaying image based on virtual reality (VR) apparatus
WO2018054267A1 (zh) * 2016-09-20 2018-03-29 腾讯科技（深圳）有限公司 基于虚拟现实vr设备的图像展示方法及装置
CN106454450A (zh) * 2016-10-31 2017-02-22 努比亚技术有限公司 全景视频播放装置及方法
CN106454450B (zh) * 2016-10-31 2019-07-12 努比亚技术有限公司 全景视频播放装置及方法
CN106454322A (zh) * 2016-11-07 2017-02-22 金陵科技学院 Vr的图像处理系统及其方法
US11011140B2 (en) 2016-11-14 2021-05-18 Huawei Technologies Co., Ltd. Image rendering method and apparatus, and VR device
CN109890472A (zh) * 2016-11-14 2019-06-14 华为技术有限公司 一种图像渲染的方法、装置及vr设备
CN106683034A (zh) * 2016-12-29 2017-05-17 上海拆名晃信息科技有限公司 一种用于虚拟现实的异步时间卷曲计算方法
CN106971368A (zh) * 2017-01-18 2017-07-21 上海拆名晃信息科技有限公司 一种用于虚拟现实的同步时间卷曲计算方法
CN106909221A (zh) * 2017-02-21 2017-06-30 北京小米移动软件有限公司 基于vr系统的图像处理方法及装置
CN106909221B (zh) * 2017-02-21 2020-06-02 北京小米移动软件有限公司 基于vr系统的图像处理方法及装置
WO2018223839A1 (en) * 2017-06-08 2018-12-13 Huawei Technologies Co., Ltd. A method and system for transmitting virtual reality (vr) content
US10477105B2 (en) 2017-06-08 2019-11-12 Futurewei Technologies, Inc. Method and system for transmitting virtual reality (VR) content
CN107481324A (zh) * 2017-07-05 2017-12-15 微幻科技(北京)有限公司 一种虚拟漫游的方法及装置
CN109729365A (zh) * 2017-10-27 2019-05-07 腾讯科技（深圳）有限公司 一种视频处理方法、装置及智能终端、存储介质
CN109729365B (zh) * 2017-10-27 2021-03-26 腾讯科技（深圳）有限公司 一种视频处理方法、装置及智能终端、存储介质
US11032510B2 (en) 2017-10-27 2021-06-08 Tencent Technology (Shenzhen) Company Limited Video processing method, computer device, and storage medium
CN108295469A (zh) * 2017-12-04 2018-07-20 成都思悟革科技有限公司 基于动作捕捉技术的游戏视角转换方法
CN108905202A (zh) * 2018-06-21 2018-11-30 网易（杭州）网络有限公司 控制虚拟现实场景转动方法及装置，存储介质，电子装置
CN109246477A (zh) * 2018-08-17 2019-01-18 南京泓众电子科技有限公司 一种全景视频插帧方法及装置
CN109246477B (zh) * 2018-08-17 2021-04-27 南京泓众电子科技有限公司 一种全景视频插帧方法及装置
CN110290360A (zh) * 2019-08-01 2019-09-27 浙江开奇科技有限公司 用于全景视频影像的影像拼接方法及终端设备

Similar Documents

Publication Publication Date Title
CN105898138A (zh) 全景视频播放方法及装置
US11632537B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
US20180192022A1 (en) Method and System for Real-time Rendering Displaying Virtual Reality (VR) On Mobile Using Head-Up Display Devices
US9549174B1 (en) Head tracked stereoscopic display system that uses light field type data
TWI531212B (zh) 呈現立體影像之系統及方法
CN105898139A (zh) 全景视频制作方法及装置、全景视频播放方法及装置
CN103260039A (zh) 图像处理设备、图像处理方法以及程序
CN105898338A (zh) 全景视频播放方法及装置
JP2003284093A (ja) 立体画像処理方法および装置
JP7476375B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN105872521A (zh) 2d视频播放方法及装置
KR101198557B1 (ko) 시청자세를 반영하는 3차원 입체영상 생성 시스템 및 방법
JP2001128195A (ja) 立体画像補正装置、立体画像表示装置および立体画像補正処理プログラムを記録した記録媒体
CN103248910B (zh) 三维成像系统及其图像再现方法
CN113382224B (zh) 一种基于全息沙盘的交互手柄展示方法及装置
CN110958463A (zh) 虚拟礼物展示位置的检测、合成方法、装置和设备
US8400493B2 (en) Virtual stereoscopic camera
JP2003284095A (ja) 立体画像処理方法および装置
WO2013133057A1 (ja) 画像処理装置および方法、並びにプログラム
JP6515512B2 (ja) 表示装置、表示装置のキャリブレーション方法、およびキャリブレーションプログラム
CN113382222B (zh) 一种在用户移动过程中基于全息沙盘的展示方法
US9602708B2 (en) Rectified stereoscopic 3D panoramic picture
JP5645448B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2020530218A (ja) 没入型視聴覚コンテンツを投影する方法
JP2003284094A (ja) 立体画像処理方法および装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160824