CN106792094A - Vr设备播放视频的方法和vr设备 - Google Patents

Vr设备播放视频的方法和vr设备 Download PDF

Info

Publication number
CN106792094A
CN106792094A CN201611207644.3A CN201611207644A CN106792094A CN 106792094 A CN106792094 A CN 106792094A CN 201611207644 A CN201611207644 A CN 201611207644A CN 106792094 A CN106792094 A CN 106792094A
Authority
CN
China
Prior art keywords
video
layer
mapping
equipment
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611207644.3A
Other languages
English (en)
Inventor
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201611207644.3A priority Critical patent/CN106792094A/zh
Publication of CN106792094A publication Critical patent/CN106792094A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

本发明公开了一种VR设备播放视频的方法和VR设备，从视频流中按序获取视频图像帧，基于获取的视频图像帧判断视频流的视频类型，并基于视频类型建立映射图层后，按序将每帧视频图像帧渲染到映射图层上，根据视频类型的不同按照不同的方式显示映射图层以实现VR设备的视频播放。其中，针对3D视频图像确定左右视图部分的分界点后，分别将左右两部分视图渲染到左、右眼平面映射图层，以左镜头获取左眼平面映射图层和右镜头获取右眼平面映射图层为用户呈现3D视频；针对全景视频建立球形映射图层，以左右镜头同时获取球形映射图层的视图实现全景视频的播放，无需用户区分视频类型和挑选播放器便实现了多种类型视频的统一播放和无缝切换。

Description

VR设备播放视频的方法和VR设备
技术领域
本发明属于虚拟现实技术领域，具体地说，是涉及一种VR设备播放视频的方法和VR设备。
背景技术
虚拟现实（Virtual Reality，VR）技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。
人们之所以热衷于VR技术在于其沉浸感，而3D视频更能增加用户的真实感，全景视频能够增加用户的可视范围来提高用户视觉体验，因此在VR技术中播放各种类型的视频也越来越引起人们的关注。
现有的VR设备对于普通的二维视频、3D视频和全景视频的播放方式比较繁琐，针对不同视频类型，需要用户自身确认视频文件的类型后，挑选能够播放相应视频文件的播放器来播放，当三种类型的视频的编码格式相同时，用户区分视频类型的难度更高。
若采用主流播放器统一播放二维视频、3D视频和全景视频，传统的3D视频文件在主流播放器中播放会出现重影或者重复图像的问题，即一副图像会显示左右两份，因此要观看此类视频需要专用的设备，例如3D眼镜等，这会增加头盔成本，而且增加头盔结构构造和体积，这样会影响用户观看体验；传统的全景视频在主流播放器中播放呈现的图像是真实图像的一部分，而且还是平面的，失去了全景视频的意义。
发明内容
本申请提供了一种VR设备播放视频的方法和VR设备，在VR设备中能够实现二维视频、3D视频和全景视频的统一播放和无缝切换，无需用户区分视频类型以及挑选播放器，提高用户的使用体验。
为解决上述技术问题，本申请采用以下技术方案予以实现：
提出一种VR设备播放视频的方法，包括：从视频流中按序获取视频图像帧；基于获取的视频图像帧判断所述视频流的视频类型；基于视频类型建立映射图层，并按序将每帧视频图像帧渲染到所述映射图层上；显示所述映射图层以实现VR设备的视频播放。
进一步的，所述基于视频类型建立映射图层，并按序将每帧视频图像帧渲染到所述映射图层上，具体为：若基于获取的视频图像帧判断所述视频流为二维视频，则建立第一平面映射图层，并按序将每帧视频图像帧渲染到所述第一平面映射图层上；若基于获取的视频图像帧判断所述视频流为三维视频，则建立左眼平面映射图层和右眼平面映射图层，并按序针对每帧视频图像帧区分出其左视图部分和右视图部分，将所述左视图部分渲染到所述左眼平面映射图层上，将所述右视图部分渲染到所述右眼平面映射图层上；则显示所述映射图层以实现VR设备的视频播放，具体为：显示所述左眼平面映射图层和所述右眼平面映射图层，并调节VR设备的左镜头获取所述左眼平面映射图层的视图和调节VR设备的右镜头获取所述右眼平面映射图层的视图，以实现VR设备的视频播放；若基于获取的视频图像帧判断所述视频流为全景视频，则建立球形映射图层，并按序将每帧图像视频帧渲染到所述球形映射图层上。
进一步的，所述从视频流中按序获取视频图像帧，具体为：从播放器的播放接口按序获取视频图像帧。
进一步的，所述从播放器的播放接口按序获取视频图像帧，具体包括：获取所述播放器的播放速率，以与所述播放速率呈正比例关系的获取速率，从所述播放接口按序获取视频图像帧；和/或，判断所述播放器的播放是否暂停或停止；若是，控制暂停或停止从所述播放接口获取视频图像帧。
进一步的，在显示所述映射图层以实现VR设备的视频播放之后，所述方法还包括：判断所述VR设备的播放模式是否与所述视频类型相匹配；若否，在接收到切换信号后，切换VR设备的播放模式与所述视频类型相匹配。
提出一种VR设备，包括显示屏；还包括视频图像获取模块、视频类型判断模块、图层建立模块、渲染模块和显示模块；所述视频图像获取模块，用于从视频流中按序获取视频图像帧；所述视频类型判断模块，用于基于获取的视频图像帧判断所述视频流的视频类型；所述图层建立模块，用于基于视频类型建立映射图层；所述渲染模块，用于按序将每帧视频图像帧渲染到所述映射图层上；所述显示模块，用于在所述显示屏上显示所述映射图层以实现所述VR设备的视频播放。
进一步的，所述VR设备还包括镜头调节模块、左镜头和右镜头；所述图层建立模块包括平面映射图层建立单元和球形映射图层建立单元；若所述视频类型判断模块判断所述视频流为二维视频，则所述平面映射图层建立单元用于建立第一平面映射图层；所述渲染模块按序将每帧视频图像帧渲染到所述第一平面映射图层上；若所述视频类型判断模块判断所述视频流为三维视频，则所述平面映射图层建立单元用于建立左眼平面映射图层和右眼平面映射图层；所述渲染模块按序针对每帧视频图像帧区分出其左视图部分和右视图部分，将所述左视图部分渲染到所述左眼平面映射图层上，将所述右视图部分渲染到所述右眼平面映射图层上；所述显示模块用于显示所述左眼平面映射图层和所述右眼平面映射图层；所述镜头调节模块，用于调节所述左镜头获取所述左眼平面映射图层的视图和调节所述右镜头获取所述右眼平面映射图层的视图，以实现VR设备的视频播放；若所述视频类型判断模块判断所述视频流为全景视频，则所述球形映射图层建立单元用于建立球形映射图层；所述渲染模块按序将每帧图像视频帧渲染到所述球形映射图层上。
进一步的，所述VR设备还包括播放视频的播放器；所述视频图像获取模块，用于从所述播放器的播放接口按序获取视频图像帧。
进一步的，所述VR设备还包括视频图像获取速率设定模块，和/或播放器播放状态判断模块； 所述视频图像获取速率设定模块，用于获取所述播放器的播放速率，以与所述播放速率呈正比例的关系设定获取速率，使得所述视频图像获取模块以所述获取速率从所述播放器的播放接口按序获取视频图像帧；所述播放器播放状态判断模块，用于判断所述播放器的播放是否暂停或停止；若是，则所述视频图像获取模块暂停或停止从所述播放器的播放器接口获取视频图像帧。
进一步的，所述VR设备还包括视频播放模式判断模块、视频播放模式切换按键和视频播放模式切换模块；所述视频播放模式判断模块，用于判断所述VR设备的播放模式是否与所述视频类型相匹配；若否，所述视频播放模式切换按键，用于被触发后产生切换信号，使得所述视频播放模式切换模块在接收到所述切换信号后，切换VR设备的播放模式与所述视频类型相匹配。
与现有技术相比，本申请的优点和积极效果是：本申请提出的VR设备播放视频的方法和VR设备中，在播放器播放视频时，从播放器的播放接口按序获取视频图像帧后，从获取的视频图像帧中包含的信息中解析出对应视频流的视频类型是二维视频、三维视频、还是全景视频；继而根据不同的视频类型建立不同的映射图层，将按序获取的每帧视频图像帧渲染到对应的映射图层上，最后将渲染的映射图层显示在显示屏上呈现给用户，使得用户在使用VR设备播放视频时，不需区分视频类型、不需手动选择播放器，VR设备能够自动实现二维视频、3D视频和全景视频的统一播放和无缝切换，提高了用户的体验，不同类型的视频不需要进行另外的转码等处理，有利于提高播放的流畅性和清晰度。实际应用中，即使VR设备当前的视频播放模式选择与实际播放的视频类型并不对应，用户也只需手动调节视频播放模式切换按键，将播放模式切换到与视频类型相对应即可，相比于用户自身辨别视频类型、手动选择相应播放器进行播放，操作难度降低。
本申请中，由于是从播放器的播放接口获取视频图像帧，与VR设备而言，无需关心视频的播放顺序、播放速度或播放状态，能够实现跟随播放器的播放顺序、播放速度或播放状态更改VR设备的播放，例如，播放器顺序播放或者后退时，VR设备从播放器的播放接口获取的即为顺序播放或者后退播放的视频流，视频图像获取模块按序获取的即为顺序播放的视频图像或后退播放的视频图像，则VR设备实现的即为视频的顺序播放或后退播放；同理，播放器快进或慢进时，VR设备实现的即为视频的快进或慢进播放；同理，播放器暂停或停止播放，VR设备实现的也是暂停或停止播放；由此简化了VR设备对视频流的判断和转换等步骤，降低了处理难度，更提高了用户体验，
结合附图阅读本申请实施方式的详细描述后，本申请的其他特点和优点将变得更加清楚。
附图说明
图1 为本申请提出的VR设备播放视频的方法流程图；
图2为本申请提出的VR设备的功能架构图。
具体实施方式
下面结合附图对本申请的具体实施方式作进一步详细地说明。
本申请提出的VR设备播放视频的方法，如图1所示，包括如下步骤：
步骤S11：从视频流中按序获取视频图像帧。
本申请中，播放器播放的视频流按照类型包括但不受限于二维视频、三维视频和全景视频。
其中，3D视频图像包括左视图部分和右视图部分，左视图部分和右视图部分通常各占据一帧图像的左半部和右半部，分别为针对同一目标使用不同角度的两部摄像设备拍摄得到。全景视频是把摄像机环360度拍摄的图像拼接成的一个全景视频，普通播放二维视频的播放器播放全景视频时，只能显示全景视频的一部分，而且还是二维的。
这里的播放接口是指将经播放器解码、播放速度转换、播放顺序转换、播放状态转换后的视频流数据输出至播放的数据接口。
步骤S12：基于获取的视频图像帧判断视频流的视频类型。
从视频图像帧自身携带的信息或者特点解析出对应视频流的视频类型。
步骤S13：基于视频类型建立映射图层，并按序将每帧视频图像帧渲染到映射图层上。
这里的映射图层是指能够绘制文字或图像的画布，能够按序叠放后组合形成视图的最终效果。
这里的渲染泛指计算机图形学中把某种形式的图形变为二维的像素矩阵，例如绘制、呈现等，是一种从模型生成图像的过程、把数据以特定方式显示给用户的过程。
步骤S14：显示映射图层以实现VR设备的视频播放。
本申请实施例中，根据视频类型的特点创建不同的映射图层。若根据视频图像帧判断视频流为二维视频，则建立第一平面映射图层，将视频图像帧直接按序渲染到第一平面映射图层上。由于VR设备是具有左右眼模式的，左眼对应一个左镜头，右眼对应一个右镜头，则二维视频情况下，控制VR设备的左右镜头都获取第一平面映射图层的视图即可，由此在VR设备实现普通二维视频的播放。
若根据视频图像帧判断视频流为三维视频，由于三维视频图像具有左视图部分和右视图部分，则需要针对每帧视频图像帧，首先确定左视图部分和右视图部分的分界点，针对左视图部分建立左眼平面映射图层，针对右视图部分建立右眼平面映射图层，然后将左视图部分渲染到左眼平面映射图层上，将右视图部分渲染到右眼平面映射图层上，在VR设备的显示屏上的相同位置上同时显示左眼平面映射图层和右眼平面映射图层的视图，并调节VR设备的左镜头获取左眼平面映射图层的视图和调节VR设备的右镜头获取右眼平面映射图层的视图，以此实现VR设备的对3D视频播放，呈现给用户的是真实的3D视频。
本申请中，对于一帧3D视频图像，只需确定左视图部分和右视图部分的分界点即可，无需对3D视频图像进行分割。实际应用中，可以采用诸如Unity shader 技术，在播放器播放3D视频时，利用VR设备自身GPU，基于Unity shader技术实现视频的每一帧进行左视图部分和右视图部分的区分，找到分界点即可；shader技术中，顶点着色程序进行几何方面的运算，片段着色程度针对最终的颜色值进行计算，两者结合，实现一帧3D图像的左视图部分和右视图部分的分界点确定。本申请中通过使用现有VR设备的GPU自身的接口和现有的渲染技术实现3D视频图像的区分和渲染，不需要关心每帧3D视频图像左右两部分视图的具体区分和渲染过程，能够保证各个开发平台的兼容性，降低编码难度。
当然，在确定左视图部分和右视图部分的分界点后，可以一边渲染一边显示，也即，将左视图部分渲染到左眼平面映射图层同时显示左眼平面映射图层，将右视图部分渲染到右眼平面映射图层同时显示右眼平面映射图层，能够提高视频的流畅性，避免卡顿。
若根据视频图像帧判断视频流为全景视频，则建立一个球形映射图层，将视频图像帧直接按序渲染到球形映射图层上。由于VR设备是具有左右眼模式的，左眼对应一个左镜头，右眼对应一个右镜头，则全景视频情况下，控制VR设备的左右镜头都获取球形映射图层的视图即可，由此将视频以球形模式展现给用户，在VR设备实现普通全景视频的播放。
上述可见，在播放器播放视频时，从播放器的播放接口按序获取视频图像帧后，从获取的视频图像帧中包含的信息中解析出对应视频流的视频类型是二维视频、三维视频、还是全景视频；继而根据不同的视频类型建立不同的映射图层，将按序获取的每帧视频图像帧渲染到对应的映射图层上，最后将渲染的映射图层显示在显示屏上呈现给用户，使得用户在使用VR设备播放视频时，不需区分视频类型、不需手动选择播放器，VR设备能够自动实现二维视频、3D视频和全景视频的统一播放和无缝切换，提高了用户的体验，不同类型的视频不需要进行另外的转码等处理，有利于提高播放的流畅性和清晰度。
实际应用中，即使VR设备当前的视频播放模式选择与实际播放的视频类型并不对应，用户也只需手动调节视频播放模式切换按键，将播放模式切换到与视频类型相对应即可，相比于用户自身辨别视频类型、手动选择相应播放器进行播放，操作难度降低。具体的，在显示映射图层实现VR设备的视频播放后，判断当前VR设备当前设置的播放模式是否与播放的视频流的视频类型相匹配，若不匹配，则在接收到切换信号后，切换VR设备的播放模式与视频类型相匹配。例如，若当前设置的播放模式为3D视频播放，而实际播放的视频类型为全景视频，则用户在察觉到视频现实不正常后，操控VR设备上设置的视频播放模式切换按键进行播放模式的切换，用户也无需获知具体切换到哪一个播放模式，只需看到正常显示画面即可停止切换。
本申请实施例中，从播放器的播放接口按序获取视频图像帧时，还可以进行以下操作：获取播放器的播放速率，并以与播放速率呈正比例关系的获取速率从播放接口按序获取视频图像帧；实现的是在VR设备中的显示与播放器中的显示同步的技术效果。例如，播放器快进播放或慢进播放时，VR设备也调整从播放器的播放接口获取视频图像帧的速率，使得VR设备实现的也为视频的快进播放或慢进播放。
或者，从播放器的播放接口按序获取视频图像帧时，还可以判断播放器的播放是否暂停或停止；若是，则控制暂停或停止从播放接口获取视频图像帧。由此，VR设备也能实现视频播放的暂停或者停止。
因为是从播放器的播放接口按序获取的视频图像帧，则对于VR设备而言，当播放器顺序播放视频时，VR设备实现的也是顺序播放，而若播放器是按照倒退播放视频，则VR设备按序获取的也是倒退的视频图像帧，其实现的也就是倒序播放。
上述可见，由于是从播放器的播放接口获取视频图像帧，于VR设备而言，无需关心视频的播放顺序、播放速度或播放状态，用户只需调节播放器的播放顺序、播放速度或者播放状态，VR设备也能够实现跟随播放器的播放顺序、播放速度或播放状态更改播放，由此简化了VR设备对视频流的判断和转换等步骤，降低了处理难度，更提高了用户体验，
基于上述提出的VR设备播放视频的方法，本申请还提出一种VR设备，该VR设备基于上述VR设备播放视频的方法实现对视频的播放。如图2所示，该VR设备包括显示屏21、视频图像获取模块22、视频类型判断模块23、图层建立模块24、渲染模块25和显示模块26。
视频图像获取模块22用于从视频流中按序获取视频图像帧；视频类型判断模块23用于基于获取的视频图像帧判断视频流的视频类型；图层建立模块24用于基于视频类型建立映射图层；渲染模块25用于按序将每帧视频图像帧渲染到映射图层上；显示模块26用于在显示屏21上显示映射图层以实现VR设备的视频播放。
该VR设备还包括镜头调节模块27、左镜头28和右镜头29；图层建立模块24包括平面映射图层建立单元241和球形映射图层建立单元242。
若视频类型判断模块23判断视频流为二维视频，则平面映射图层建立单元241用于建立第一平面映射图层；渲染模块25则按序将每帧视频图像帧渲染到第一平面映射图层上；显示模块26在显示屏21上显示该第一平面映射图层的视图，实现了二维视频的播放。
若视频类型判断模块23判断视频流为三维视频，则平面映射图层建立单元241用于建立左眼平面映射图层和右眼平面映射图层；渲染模块25按序针对每帧视频图像帧区分出其左视图部分和右视图部分，将左视图部分渲染到左眼平面映射图层上，将右视图部分渲染到右眼平面映射图层上；显示模块26则在同一位置显示左眼平面映射图层和右眼平面映射图层；镜头调节模块27调节左镜头28获取左眼平面映射图层的视图和调节右镜头29获取右眼平面映射图层的视图，由此，呈现给用户的是三维视频的播放。
若视频类型判断模块23判断视频流为全景视频，则球形映射图层建立单元242用于建立球形映射图层；渲染模块25按序将每帧图像视频帧渲染到球形映射图层上；显示模块26在显示屏21上显示该球形映射图层的视图，实现全景视频的播放。
该VR设备还包括播放视频的播放器30；视频图像获取模块22从播放器30的播放接口按序获取视频图像帧。
该VR设备还包括视频图像获取速率设定模块31，和/或播放器播放状态判断模块32。视频图像获取速率设定模块21用于获取播放器30的播放速率，以与播放速率呈正比例的关系设定获取速率，使得视频图像获取模块22以获取速率从播放器30的播放接口按序获取视频图像帧；播放器播放状态判断模块32用于判断播放器30的播放是否暂停或停止；若是，则视频图像获取模块22暂停或停止从播放器30的播放器接口获取视频图像帧。
该VR设备还包括视频播放模式判断模块33、视频播放模式切换按键34和视频播放模式切换模块35。视频播放模式判断模块33用于判断VR设备的播放模式是否与视频类型相匹配；若否，视频播放模式切换按键34用于被触发后产生切换信号，使得视频播放模式切换模块35在接收到切换信号后，切换VR设备的播放模式与视频类型相匹配。
具体的该VR设备的工作流程以及实现的技术效果已经在上述VR设备播放视频的方法中详述，此处不予赘述。
上述本申请提出的VR设备播放视频的方法和VR设备中，无需用户自己判断视频类型，无需用户选择匹配的播放器，用户只需采用传统播放器在VR设备中播放任何类型的视频，VR设备能够自动判断视频类型，并根据不同视频类型创建不用的映射图层用于渲染视频图像帧，并根据视频类型的不同采用不同的显示方式和镜头获取方式，在VR设备中统一实现了二维、三维、全景等类型的视频播放和无缝切换。
应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (10)

1.VR设备播放视频的方法，其特征在于，包括：
从视频流中按序获取视频图像帧；
基于获取的视频图像帧判断所述视频流的视频类型；
基于视频类型建立映射图层，并按序将每帧视频图像帧渲染到所述映射图层上；
显示所述映射图层以实现VR设备的视频播放。
2.根据权利要求1所述的VR设备播放视频的方法，其特征在于，所述基于视频类型建立映射图层，并按序将每帧视频图像帧渲染到所述映射图层上，具体为：
若基于获取的视频图像帧判断所述视频流为二维视频，则建立第一平面映射图层，并按序将每帧视频图像帧渲染到所述第一平面映射图层上；
若基于获取的视频图像帧判断所述视频流为三维视频，则建立左眼平面映射图层和右眼平面映射图层，并按序针对每帧视频图像帧区分出其左视图部分和右视图部分，将所述左视图部分渲染到所述左眼平面映射图层上，将所述右视图部分渲染到所述右眼平面映射图层上；则显示所述映射图层以实现VR设备的视频播放，具体为：显示所述左眼平面映射图层和所述右眼平面映射图层，并调节VR设备的左镜头获取所述左眼平面映射图层的视图和调节VR设备的右镜头获取所述右眼平面映射图层的视图，以实现VR设备的视频播放；
若基于获取的视频图像帧判断所述视频流为全景视频，则建立球形映射图层，并按序将每帧图像视频帧渲染到所述球形映射图层上。
3.根据权利要求1所述的VR设备播放视频的方法，其特征在于，所述从视频流中按序获取视频图像帧，具体为：
从播放器的播放接口按序获取视频图像帧。
4.根据权利要求3所述的VR设备播放视频的方法，其特征在于，所述从播放器的播放接口按序获取视频图像帧，具体包括：
获取所述播放器的播放速率，以与所述播放速率呈正比例关系的获取速率，从所述播放接口按序获取视频图像帧；和/或，
判断所述播放器的播放是否暂停或停止；若是，控制暂停或停止从所述播放接口获取视频图像帧。
5.根据权利要求1所述的VR设备播放视频的方法，其特征在于，在显示所述映射图层以实现VR设备的视频播放之后，所述方法还包括：
判断所述VR设备的播放模式是否与所述视频类型相匹配；若否，
在接收到切换信号后，切换VR设备的播放模式与所述视频类型相匹配。
6.一种VR设备，包括显示屏；其特征在于，还包括视频图像获取模块、视频类型判断模块、图层建立模块、渲染模块和显示模块；
所述视频图像获取模块，用于从视频流中按序获取视频图像帧；
所述视频类型判断模块，用于基于获取的视频图像帧判断所述视频流的视频类型；
所述图层建立模块，用于基于视频类型建立映射图层；
所述渲染模块，用于按序将每帧视频图像帧渲染到所述映射图层上；
所述显示模块，用于在所述显示屏上显示所述映射图层以实现所述VR设备的视频播放。
7.根据权利要求6所述的VR设备，其特征在于，所述VR设备还包括镜头调节模块、左镜头和右镜头；所述图层建立模块包括平面映射图层建立单元和球形映射图层建立单元；
若所述视频类型判断模块判断所述视频流为二维视频，则所述平面映射图层建立单元用于建立第一平面映射图层；所述渲染模块按序将每帧视频图像帧渲染到所述第一平面映射图层上；
若所述视频类型判断模块判断所述视频流为三维视频，则所述平面映射图层建立单元用于建立左眼平面映射图层和右眼平面映射图层；所述渲染模块按序针对每帧视频图像帧区分出其左视图部分和右视图部分，将所述左视图部分渲染到所述左眼平面映射图层上，将所述右视图部分渲染到所述右眼平面映射图层上；所述显示模块用于显示所述左眼平面映射图层和所述右眼平面映射图层；所述镜头调节模块，用于调节所述左镜头获取所述左眼平面映射图层的视图和调节所述右镜头获取所述右眼平面映射图层的视图，以实现VR设备的视频播放；
若所述视频类型判断模块判断所述视频流为全景视频，则所述球形映射图层建立单元用于建立球形映射图层；所述渲染模块按序将每帧图像视频帧渲染到所述球形映射图层上。
8.根据权利要求6所述的VR设备，其特征在于，所述VR设备还包括播放视频的播放器；
所述视频图像获取模块，用于从所述播放器的播放接口按序获取视频图像帧。
9.根据权利要求8所述的VR设备，其特征在于，所述VR设备还包括视频图像获取速率设定模块，和/或播放器播放状态判断模块；
所述视频图像获取速率设定模块，用于获取所述播放器的播放速率，以与所述播放速率呈正比例的关系设定获取速率，使得所述视频图像获取模块以所述获取速率从所述播放器的播放接口按序获取视频图像帧；
所述播放器播放状态判断模块，用于判断所述播放器的播放是否暂停或停止；若是，则所述视频图像获取模块暂停或停止从所述播放器的播放器接口获取视频图像帧。
10.根据权利要求6所述的VR设备，其特征在于，所述VR设备还包括视频播放模式判断模块、视频播放模式切换按键和视频播放模式切换模块；
所述视频播放模式判断模块，用于判断所述VR设备的播放模式是否与所述视频类型相匹配；若否，
所述视频播放模式切换按键，用于被触发后产生切换信号，使得所述视频播放模式切换模块在接收到所述切换信号后，切换VR设备的播放模式与所述视频类型相匹配。
CN201611207644.3A 2016-12-23 2016-12-23 Vr设备播放视频的方法和vr设备 Pending CN106792094A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611207644.3A CN106792094A (zh) 2016-12-23 2016-12-23 Vr设备播放视频的方法和vr设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611207644.3A CN106792094A (zh) 2016-12-23 2016-12-23 Vr设备播放视频的方法和vr设备

Publications (1)

Publication Number Publication Date
CN106792094A true CN106792094A (zh) 2017-05-31

Family

ID=58918912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611207644.3A Pending CN106792094A (zh) 2016-12-23 2016-12-23 Vr设备播放视频的方法和vr设备

Country Status (1)

Country Link
CN (1) CN106792094A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463653A (zh) * 2017-07-27 2017-12-12 姜汉龙 一种视频的类型的鉴定方法以及设备
CN109743892A (zh) * 2017-07-04 2019-05-10 腾讯科技（深圳）有限公司 虚拟现实内容的显示方法和装置
CN110597577A (zh) * 2019-05-31 2019-12-20 珠海全志科技股份有限公司 一种头戴可视设备及其分屏显示方法和装置
CN111064999A (zh) * 2018-10-17 2020-04-24 奥多比公司 在虚拟现实中将2d屏幕录像视频重定目标到3d教程的接口和技术
CN111953863A (zh) * 2020-08-07 2020-11-17 山东金东数字创意股份有限公司 一种异型led点对点视频抽点映射系统和方法
CN113676753A (zh) * 2021-10-21 2021-11-19 北京拾音科技文化有限公司 Vr场景中展示视频的方法、装置、电子设备和存储介质
CN114302221A (zh) * 2021-03-26 2022-04-08 海信视像科技股份有限公司 一种虚拟现实设备及投屏媒资播放方法
WO2022193931A1 (zh) * 2021-03-16 2022-09-22 海信视像科技股份有限公司 一种虚拟现实设备及媒资播放方法
CN116400878A (zh) * 2023-06-07 2023-07-07 优奈柯恩(北京)科技有限公司 头戴显示设备的显示方法、装置、电子设备以及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335447A1 (en) * 2012-06-15 2013-12-19 Hon Hai Precision Industry Co., Ltd. Electronic device and method for playing real-time images in a virtual reality
CN104244027A (zh) * 2014-09-30 2014-12-24 上海斐讯数据通信技术有限公司 音/视频数据实时传输并共享播放进程的控制方法及系统
CN105391858A (zh) * 2015-11-04 2016-03-09 深圳维爱特科技有限公司 虚拟现实眼镜及其控制方法、装置和系统
CN105657407A (zh) * 2015-12-31 2016-06-08 深圳纳德光学有限公司 头戴显示器及其双目3d视频显示方法和装置
CN105657398A (zh) * 2015-12-31 2016-06-08 北京小鸟看看科技有限公司 一种多媒体资源播放方法和装置
CN105763744A (zh) * 2016-04-22 2016-07-13 广东欧珀移动通信有限公司 一种移动终端的视频播放控制方法、装置及移动终端
CN105898361A (zh) * 2014-07-18 2016-08-24 索尼电脑娱乐美国公司 虚拟高清视频播放器
CN105979239A (zh) * 2016-04-28 2016-09-28 乐视控股（北京）有限公司 虚拟现实终端及其视频的显示方法和装置
CN106095235A (zh) * 2016-06-07 2016-11-09 腾讯科技（深圳）有限公司 基于虚拟现实的控制方法和装置
CN106097245A (zh) * 2016-07-26 2016-11-09 北京小鸟看看科技有限公司 一种全景3d视频图像的处理方法和装置
CN106162203A (zh) * 2016-07-05 2016-11-23 实野文化传媒（上海）有限公司 全景视频播放方法、播放器与头戴式虚拟现实设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335447A1 (en) * 2012-06-15 2013-12-19 Hon Hai Precision Industry Co., Ltd. Electronic device and method for playing real-time images in a virtual reality
CN105898361A (zh) * 2014-07-18 2016-08-24 索尼电脑娱乐美国公司 虚拟高清视频播放器
CN104244027A (zh) * 2014-09-30 2014-12-24 上海斐讯数据通信技术有限公司 音/视频数据实时传输并共享播放进程的控制方法及系统
CN105391858A (zh) * 2015-11-04 2016-03-09 深圳维爱特科技有限公司 虚拟现实眼镜及其控制方法、装置和系统
CN105657407A (zh) * 2015-12-31 2016-06-08 深圳纳德光学有限公司 头戴显示器及其双目3d视频显示方法和装置
CN105657398A (zh) * 2015-12-31 2016-06-08 北京小鸟看看科技有限公司 一种多媒体资源播放方法和装置
CN105763744A (zh) * 2016-04-22 2016-07-13 广东欧珀移动通信有限公司 一种移动终端的视频播放控制方法、装置及移动终端
CN105979239A (zh) * 2016-04-28 2016-09-28 乐视控股（北京）有限公司 虚拟现实终端及其视频的显示方法和装置
CN106095235A (zh) * 2016-06-07 2016-11-09 腾讯科技（深圳）有限公司 基于虚拟现实的控制方法和装置
CN106162203A (zh) * 2016-07-05 2016-11-23 实野文化传媒（上海）有限公司 全景视频播放方法、播放器与头戴式虚拟现实设备
CN106097245A (zh) * 2016-07-26 2016-11-09 北京小鸟看看科技有限公司 一种全景3d视频图像的处理方法和装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109743892A (zh) * 2017-07-04 2019-05-10 腾讯科技（深圳）有限公司 虚拟现实内容的显示方法和装置
CN109743892B (zh) * 2017-07-04 2020-10-13 腾讯科技（深圳）有限公司 虚拟现实内容的显示方法和装置
CN107463653A (zh) * 2017-07-27 2017-12-12 姜汉龙 一种视频的类型的鉴定方法以及设备
CN111064999A (zh) * 2018-10-17 2020-04-24 奥多比公司 在虚拟现实中将2d屏幕录像视频重定目标到3d教程的接口和技术
US11783534B2 (en) 2018-10-17 2023-10-10 Adobe Inc. 3D simulation of a 3D drawing in virtual reality
CN110597577A (zh) * 2019-05-31 2019-12-20 珠海全志科技股份有限公司 一种头戴可视设备及其分屏显示方法和装置
CN111953863A (zh) * 2020-08-07 2020-11-17 山东金东数字创意股份有限公司 一种异型led点对点视频抽点映射系统和方法
WO2022193931A1 (zh) * 2021-03-16 2022-09-22 海信视像科技股份有限公司 一种虚拟现实设备及媒资播放方法
CN114302221A (zh) * 2021-03-26 2022-04-08 海信视像科技股份有限公司 一种虚拟现实设备及投屏媒资播放方法
CN114302221B (zh) * 2021-03-26 2023-09-08 海信视像科技股份有限公司 一种虚拟现实设备及投屏媒资播放方法
CN113676753B (zh) * 2021-10-21 2022-02-15 北京拾音科技文化有限公司 Vr场景中展示视频的方法、装置、电子设备和存储介质
CN113676753A (zh) * 2021-10-21 2021-11-19 北京拾音科技文化有限公司 Vr场景中展示视频的方法、装置、电子设备和存储介质
CN116400878A (zh) * 2023-06-07 2023-07-07 优奈柯恩(北京)科技有限公司 头戴显示设备的显示方法、装置、电子设备以及存储介质
CN116400878B (zh) * 2023-06-07 2023-09-08 优奈柯恩(北京)科技有限公司 头戴显示设备的显示方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
CN106792094A (zh) Vr设备播放视频的方法和vr设备
US11303872B2 (en) Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment
CN106101741B (zh) 在网络视频直播平台上观看全景视频的方法及系统
US8750599B2 (en) Stereoscopic image processing method and apparatus
CA2943856C (en) Stereo viewing
CN106919248A (zh) 应用于虚拟现实的内容传输方法以及设备
WO2010095074A1 (en) Combining 3d image and graphical data
CA2599483A1 (en) Automatic scene modeling for the 3d camera and 3d video
JP2020526076A (ja) ビデオ生成方法および装置
KR102059732B1 (ko) 디지털 비디오 렌더링
JP2019512177A (ja) 装置および関連する方法
CN202171927U (zh) 一种幻影成像系统
JP2005236821A (ja) 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置
WO2019004073A1 (ja) 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
JP7011728B2 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
WO2010139984A1 (en) Device and method of display
CN106791771A (zh) Vr设备播放3d视频的方法和vr设备
CN111149356A (zh) 用于投影沉浸式视听内容的方法
CN219802409U (zh) 一种xr虚拟制片实时合成系统
US11962741B2 (en) Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment
WO2023049293A1 (en) Augmented reality and screen image rendering coordination
GB2529191A (en) Display apparatus and method
CN115665461A (zh) 一种视频录制方法及虚拟现实设备
KR20210119476A (ko) 이미지 특성 픽셀 구조의 생성 및 처리

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication