CN112804514A - 一种vr全景视频展示交互方法、介质及设备 - Google Patents

一种vr全景视频展示交互方法、介质及设备 Download PDF

Info

Publication number
CN112804514A
CN112804514A CN202011633178.1A CN202011633178A CN112804514A CN 112804514 A CN112804514 A CN 112804514A CN 202011633178 A CN202011633178 A CN 202011633178A CN 112804514 A CN112804514 A CN 112804514A
Authority
CN
China
Prior art keywords
parameters
interaction method
panoramic
display
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011633178.1A
Other languages
English (en)
Inventor
侯林
陈卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bestv Network Television Technology Development Co ltd
Original Assignee
Bestv Network Television Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bestv Network Television Technology Development Co ltd filed Critical Bestv Network Television Technology Development Co ltd
Priority to CN202011633178.1A priority Critical patent/CN112804514A/zh
Publication of CN112804514A publication Critical patent/CN112804514A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种VR全景视频展示交互方法、介质及设备，所述展示交互方法包括以下步骤：加载配置信息，所述配置信息包括解码参数、展示参数和变换参数；基于所述解码参数逐帧获得VR全景源视频的图像数据；基于所述展示参数将所述图像数据转换为展示图像；在接收到变换视角指令时，根据所述变换参数在新视角下、基于所述展示参数将下一帧图像数据转换为展示图像。与现有技术相比，本发明具有高可用性等优点。

Description

一种VR全景视频展示交互方法、介质及设备
技术领域
本发明涉及虚拟现实技术领域，尤其是涉及一种VR全景视频展示交互方法、介质及设备。
背景技术
普通播放器直接播放的VR全景视频是拼接合成的不直观的画面。VR专用展示设备(例如VR头显)是将VR全景视频的每一帧播放画面转变为对应于左右眼的两幅画面。佩戴者观看时左右眼会看到某一视角下的两幅画面，利用视差形成立体感和沉浸感。VR头显设备上的感应器会感知佩戴者的视角方向的变化，改变佩戴者看到的画面从而达到交互的效果。
智能电视，是基于Internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体，以满足用户多样化和个性化需求的电视产品。当前智能电视和智能盒子的硬件配置越来越高，不少设备已经可以支持超高清视频的播放，图像处理能力也足够流畅展示和变换VR全景视频。智能电视缺乏感应器，无法做到VR专用展示设备相同的功能。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种高可用性的 VR全景视频展示交互方法、介质及设备。
本发明的目的可以通过以下技术方案来实现：
一种VR全景视频展示交互方法，包括以下步骤：
加载配置信息，所述配置信息包括解码参数、展示参数和变换参数；
基于所述解码参数逐帧获得VR全景源视频的图像数据；
基于所述展示参数将所述图像数据转换为展示图像；
在接收到变换视角指令时，根据所述变换参数在新视角下、基于所述展示参数将下一帧图像数据转换为展示图像。
进一步地，所述解码参数包括解码方式。
进一步地，所述解码方式包括硬件解码方式和/或软件解码方式。
进一步地，所述展示参数包括VR全景源视频合成方式、默认视角方向和光栅化参数。
进一步地，所述展示图像通过以下步骤获得：
根据所述VR全景源视频合成方式将VR全景源视频的图像数据作为纹理贴图还原到3D模型的内表面上；
根据所述默认视角方向和光栅化参数计算获得内球面投影到矩形二维屏幕上的所述展示图像。
进一步地，所述VR全景源视频合成方式包括等距柱状投影方式或等角度立方体方式。
进一步地，所述变换参数包括单位变换角度差。
进一步地，所述变换视角指令由遥控器的上下键和左右键组合形成。
本发明还提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上所述VR全景视频展示交互方法的指令。
本发明还提供一种电子设备，包括：
一个或多个处理器；
存储器；和
被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上所述VR全景视频展示交互方法的指令。
进一步地，所述电子设备包括智能电视或者智能盒子控制的二维显示设备。
与现有技术相比，本发明具有以下有益效果：
1、本发明通过配置信息的设置，其中，配置信息包括解码参数、展示参数和变换参数，使得在智能电视或者智能电视盒子连接的显示设备上可以实现与VR专用展示设备相同的功能。
2、本发明考虑到播放设备和视频源的多样性，本方法在视频数据获取和展示步骤中，通过不同配置参数可选取不同的解码和投影方案，兼容不同的视频源和播放设备，具备高可用性。
3、兼容一般视频播放流程，提供和播放普通视频相同的播放控制操作，暂停、播放、快进、快退、停止。
4、在没有VR专用显示设备的情况下，用户也能够通过遥控命令观看到一帧全景视频画面的不同视角的内容。
5、可选的配置参数，使操作人员可以根据实际的VR全景视频播放源的格式和合成方法，来调整解码方式和全景视频变换参数。
附图说明
图1为本发明的流程示意图；
图2为本发明的VR全景源视频一帧图像数据在各个步骤中的变换方法和转换数据示意图；
图3为3D画面光栅化为2D显示画面示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例提供一种VR全景视频展示交互方法，该方法加载配置信息，所述配置信息包括解码参数、展示参数和变换参数；基于所述解码参数逐帧获得VR全景源视频的图像数据；基于所述展示参数将所述图像数据转换为展示图像；在接收到变换视角指令时，根据所述变换参数在新视角下、基于所述展示参数将下一帧图像数据转换为展示图像。
解码参数包括解码方式等。解码方式包括硬件解码方式和/或软件解码方式。因硬件设备支持的硬解码视频格式有限，在硬件解码不支持的情况下可以配置为软件解码的方式来获取帧数据。
展示参数包括VR全景源视频合成方式、默认视角方向和光栅化参数(例如屏幕大小、屏幕距离、球体半径等)等。其中，VR全景源视频合成方式包括等距柱状投影方式或等角度立方体方式。等距柱状投影方式是将一个球体内表面投影到一个矩形平面上，还原时做逆向操作即可；等角度立方体是将一个球体内表面投影到一个立方体上，然后展开为六个面。
变换参数包括单位变换角度差等。
参考图1和图2所示，上述展示交互方法具体包括如下步骤：
S101、基于所述解码参数获得VR全景源视频的一帧图像数据。
S102、判断当前是否有需要播放的图像数据，若是，则执行步骤S103，若否，则执行步骤S107。
S103、基于展示参数将图像数据转换为展示图像，具体地：
301)根据VR全景源视频合成方式将VR全景源视频的图像数据作为纹理贴图还原到3D模型的内表面上，本实施例中，VR全景源视频合成方式采用等距柱状投影方式。根据视频的合成方式，配置参数在还原时使用不同的逆向算法来生成纹理。
302)根据默认视角方向和光栅化参数计算获得内球面投影到矩形二维屏幕上的展示图像。如图3所示，摄像机在3D空间的中心位置，电视屏幕是一个垂直于球体某条半径的有限大小的二维平面，球心与这个二维平面边上的点相连会形成很多直线，这些直线与球面会形成很多交点，这些交点组成的区域就是摄像机在这一视角下能看到的图像区域。将内球面这个区域内的像素点逐一映射到二维平面上即生成这一视角下的2D展示画面。
S104、判断是否接收到用户发送的变换视角指令，若是，则执行步骤S105，若否，则执行步骤S106。
S105、根据变换参数改变投影参数，调整视角，并在新视角下、基于展示参数将下一帧图像数据转换为展示图像，实现用户交互。
S106、显示展示图像。
S107、播放结束。
在可选的实施方式中，变换视角指令由遥控器的上下键和左右键组合形成。当不发生视角切换操作时，普通视频的暂停、快进、快退、停止操作仍然对应于遥控器的中键、左键、右键、退出键。当处于视角切换状态时，遥控器的上键、下键就对应于如图3中XOZ平面由X轴转向Z轴视角变化和由Z轴转向X轴视角变化，每次变化角度为配置的单位变换角度差。用户按下一次上键的变化效果如图2中变化视角步骤所示，此时会用新的视角方向和光栅化参数来重新光栅化这一视角下的2D展示画面。同理，遥控器的左键、右键就对应于如图3中XOY平面由Y轴转向X轴视角变化和由X轴转向Y轴视角变化。遥控器的上下键和左右键组合使用使得用户在没有VR专用显示设备的情况下也能够通过遥控命令观看到一帧全景视频画面的不同视角的内容。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
实施例2
本实施例提供一种电子设备，包括一个或多个处理器、存储器和被存储在存储器中的一个或多个程序，一个或多个程序包括用于执行如实施例1上VR全景视频展示交互方法的指令。
在可选的实施方式中，电子设备可以是智能电视或者智能盒子控制的二维显示设备。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种VR全景视频展示交互方法，其特征在于，包括以下步骤：
加载配置信息，所述配置信息包括解码参数、展示参数和变换参数；
基于所述解码参数逐帧获得VR全景源视频的图像数据；
基于所述展示参数将所述图像数据转换为展示图像；
在接收到变换视角指令时，根据所述变换参数在新视角下、基于所述展示参数将下一帧图像数据转换为展示图像。
2.根据权利要求1所述的VR全景视频展示交互方法，其特征在于，所述解码参数包括解码方式。
3.根据权利要求1或4所述的VR全景视频展示交互方法，其特征在于，所述展示参数包括VR全景源视频合成方式、默认视角方向和光栅化参数。
4.根据权利要求3所述的VR全景视频展示交互方法，其特征在于，所述展示图像通过以下步骤获得：
根据所述VR全景源视频合成方式将VR全景源视频的图像数据作为纹理贴图还原到3D模型的内表面上；
根据所述默认视角方向和光栅化参数计算获得内球面投影到矩形二维屏幕上的所述展示图像。
5.根据权利要求1或4所述的VR全景视频展示交互方法，其特征在于，所述VR全景源视频合成方式包括等距柱状投影方式或等角度立方体方式。
6.根据权利要求1所述的VR全景视频展示交互方法，其特征在于，所述变换参数包括单位变换角度差。
7.根据权利要求1所述的VR全景视频展示交互方法，其特征在于，所述变换视角指令由遥控器的上下键和左右键组合形成。
8.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-7任一所述VR全景视频展示交互方法的指令。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；和
被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-7任一所述VR全景视频展示交互方法的指令。
10.根据权利要求9所述的电子设备，其特征在于，所述电子设备包括智能电视或者智能盒子控制的二维显示设备。
CN202011633178.1A 2020-12-31 2020-12-31 一种vr全景视频展示交互方法、介质及设备 Pending CN112804514A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011633178.1A CN112804514A (zh) 2020-12-31 2020-12-31 一种vr全景视频展示交互方法、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011633178.1A CN112804514A (zh) 2020-12-31 2020-12-31 一种vr全景视频展示交互方法、介质及设备

Publications (1)

Publication Number Publication Date
CN112804514A true CN112804514A (zh) 2021-05-14

Family

ID=75808574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011633178.1A Pending CN112804514A (zh) 2020-12-31 2020-12-31 一种vr全景视频展示交互方法、介质及设备

Country Status (1)

Country Link
CN (1) CN112804514A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040119A (zh) * 2021-12-27 2022-02-11 未来电视有限公司 全景视频显示方法、装置和计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872353A (zh) * 2015-12-15 2016-08-17 乐视网信息技术（北京）股份有限公司 一种在移动设备上实现播放全景视频的系统和方法
CN108174174A (zh) * 2017-12-29 2018-06-15 暴风集团股份有限公司 Vr视频显示方法、装置及终端
CN108289231A (zh) * 2017-06-20 2018-07-17 深圳市佳创视讯技术股份有限公司 一种融合的全景播放器
CN111741343A (zh) * 2020-06-17 2020-10-02 咪咕视讯科技有限公司 视频处理方法及装置、电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872353A (zh) * 2015-12-15 2016-08-17 乐视网信息技术（北京）股份有限公司 一种在移动设备上实现播放全景视频的系统和方法
CN108289231A (zh) * 2017-06-20 2018-07-17 深圳市佳创视讯技术股份有限公司 一种融合的全景播放器
CN108174174A (zh) * 2017-12-29 2018-06-15 暴风集团股份有限公司 Vr视频显示方法、装置及终端
CN111741343A (zh) * 2020-06-17 2020-10-02 咪咕视讯科技有限公司 视频处理方法及装置、电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040119A (zh) * 2021-12-27 2022-02-11 未来电视有限公司 全景视频显示方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN111164969B (zh) 使用拼接和重新投影相关元数据发送或接收6dof视频的方法和装置
US5963215A (en) Three-dimensional browsing of multiple video sources
US20180192022A1 (en) Method and System for Real-time Rendering Displaying Virtual Reality (VR) On Mobile Using Head-Up Display Devices
US8228327B2 (en) Non-linear depth rendering of stereoscopic animated images
WO2017113681A1 (zh) 一种基于虚拟现实技术的视频图像处理方法及装置
US20180190007A1 (en) Stereoscopic rendering using raymarching and a virtual view broadcaster for such rendering
JP3992045B2 (ja) 映像信号処理装置及び該方法並びに仮想現実感生成装置
US11115644B2 (en) Video generation method and apparatus using mesh and texture data
US20100153847A1 (en) User deformation of movie character images
EP2309765A1 (en) System and method for three-dimensional video capture workflow for dynamic rendering
JP2000353250A (ja) ３次元映画を生成し再生するシステムおよび方法
CN110663068B (zh) 用于渲染全景场景的坐标映射
JP7030010B2 (ja) 立体映像奥行き圧縮装置および立体映像奥行き圧縮プログラム
KR102308604B1 (ko) 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림
US10115227B2 (en) Digital video rendering
CN110710203B (zh) 用于生成和渲染沉浸式视频内容的方法、系统和介质
JP4892405B2 (ja) 画像処理装置および方法
Thatte et al. Depth augmented stereo panorama for cinematic virtual reality with focus cues
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
CN112804514A (zh) 一种vr全景视频展示交互方法、介质及设备
US20210160561A1 (en) Image arrangement determination apparatus, display controlling apparatus, image arrangement determination method, display controlling method, and program
WO2022004234A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN100498840C (zh) 缩放三维模型的方法和缩放单元
CN111149356A (zh) 用于投影沉浸式视听内容的方法
JP2001245322A (ja) 立体画像の入出力方法と装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210514