CN105898254B - 节省带宽的vr全景视频布局方法、装置及展现方法、系统 - Google Patents

节省带宽的vr全景视频布局方法、装置及展现方法、系统 Download PDF

Info

Publication number
CN105898254B
CN105898254B CN201610344144.8A CN201610344144A CN105898254B CN 105898254 B CN105898254 B CN 105898254B CN 201610344144 A CN201610344144 A CN 201610344144A CN 105898254 B CN105898254 B CN 105898254B
Authority
CN
China
Prior art keywords
video
panoramic
videos
panoramic videos
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610344144.8A
Other languages
English (en)
Other versions
CN105898254A (zh
Inventor
刘振兆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pyramid Beijing Virtual Reality Technology Co., Ltd.
Original Assignee
Pyramid Beijing Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pyramid Beijing Virtual Reality Technology Co Ltd filed Critical Pyramid Beijing Virtual Reality Technology Co Ltd
Publication of CN105898254A publication Critical patent/CN105898254A/zh
Application granted granted Critical
Publication of CN105898254B publication Critical patent/CN105898254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种VR全景视频布局方法、装置和系统，其中方法包括：将VR全景球形视频投影到以球形为内切球的棱锥表面；将所述棱锥表面展开成平面图形，得到棱锥投影的视频平面；通过形变使所述视频平面变为规则形状，得到规则的视频平面。VR全景视频布局系统包括：VR全景视频布局处理装置、VR全景视频流媒体服务器、VR全景视频播放器。VR全景视频播放器用于根据用户视角播放来自于所述VR全景视频流媒体服务器的视频数据。本发明提供的VR全景视频布局方法、装置和系统，提供了一种基于棱锥的投影方式，这种投影方式投影出来的视频，表面积比equirectangular投影方式少80%，比现有VR视频技术降低VR全景视频传输80%的带宽，并且能够根据用户视角播放全景视频。

Description

节省带宽的VR全景视频布局方法、装置及展现方法、系统
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种VR（Virtual Reality，即虚拟现实，简称VR）全景视频布局方法、装置及展现方法、系统。
背景技术
目前市场上VR全景视频都是equirectangular 布局方式，其原理是地球映射，将球形的经度和纬度坐标，直接投影到水平和垂直坐标的一格，这个网格的宽度大约是高的两倍。因此从赤道到两极，横向拉伸不断加剧，南北两个极点被拉伸成了扁平的网格，在整个图形的上部和下部边缘。这种投影方式的缺陷是产生的视频文件比较大，传输时占用较大的网络带宽。现有技术的全景视频布局的投影方式存在占用网络带宽较大的缺陷。
发明内容
针对背景技术中所出现的问题，本发明提供了一种VR全景视频布局方法，包括：将VR全景球形视频投影到以球形为内切球的棱锥表面；将所述棱锥表面展开成平面图形，得到棱锥投影初始的的视频平面；通过形变使所述视频平面变为规则形状，得到规则的视频平面。
可选的是，所述棱锥为四棱锥。
在上述任一方案中可选的是，所述棱锥底部的区域对应用户正面视角方向的视频区域。
在上述任一方案中可选的是，把VR全景空间分成多个视窗，每个视窗对应于用户正面的视角方向，也就是棱锥底部区域。
在上述任一方案中可选的是，VR全景空间中高清渲染用户正面视角视窗的视频 ，剩余的球形区域，低清晰度渲染。
在上述任一方案中可选的是，把VR全景空间分成6个视窗，每个视窗对应于用户正面的视角方向。
在上述任一方案中可选的是，还包括存储所述VR全景视频的视频文件。
在上述任一方案中可选的是，所述VR全景视频的视频文件包括：多个视角的视频文件，每个视角对应一个VR全景视频文件。
在上述任一方案中可选的是，每一个视角的VR全景视频文件都包括完整的VR全景内容，用户正面视角的视频是高清晰度的 ，其它视角的视频是低清晰度的。
在上述任一方案中可选的是，还包括通过编写ffmpeg插件实现VR全景视频布局。
本发明还提供了一种VR全景视频布局装置，包括视频布局处理模块，所述视频布局处理模块包括：投影单元，用于将VR全景球形视频投影到以球形为内切球的棱锥表面；展开单元，用于将所述棱锥表面展开成平面图形，得到棱锥投影的初始的视频平面；形变单元，用于通过形变使所述视频平面变为规则形状，得到规则的视频平面。
可选的是，所述棱锥为四棱锥。
在上述任一方案中可选的是，所述棱锥底部的区域对应用户正面视角方向的视频区域。
在上述任一方案中可选的是，还包括视窗切分单元，用于把VR全景空间分成多个视窗，每个视窗对应于用户正面的视角方向，也就是棱锥底部区域；基于每个视角经所述视频布局处理模块处理得到所述规则的视频平面。
在上述任一方案中可选的是，VR全景空间中高清渲染用户正面视角视窗的视频 ，剩余的球形区域，低清晰度渲染。
在上述任一方案中可选的是，所述视窗切分单元，用于把VR全景空间分成6个视窗，每个视窗对应于用户正面的视角方向。
在上述任一方案中可选的是，还包括通过通过编写ffmpeg插件实现VR全景视频布局。
在上述任一方案中可选的是，还包括第一存储器，用于存储所述VR全景视频的视频文件。
在上述任一方案中可选的是，所述VR全景视频的视频文件包括由所述视窗切分单元切分的并由所述视频布局处理模块处理过的多个视角的VR全景视频的视频文件，每个视角对应一个VR全景视频文件。
在上述任一方案中可选的是，每一个视角的视频文件都包括完整的VR全景内容，用户正面视角的视频是高清晰度的 ，其它视角的视频是低清晰度的。
在上述任一方案中可选的是，还包括通过编写ffmpeg插件实现VR全景视频布局。
本发明还提供了一种VR全景视频展现方法，包括：使用VR全景视频处理装置将VR全景球形视频按照上述VR全景视频布局方法进行处理；通过VR全景视频流媒体服务器接收如权利要求6所述的VR全景视频的视频文件；根据用户视角由VR全景视频播放器播放VR全景视频数据。
可选的是，用所述VR全景视频流媒体服务器存储所述VR全景视频布局处理装置输出的所述VR全景视频的视频文件。
在上述任一方案中可选的是，还包括通过所述VR全景视频播放器将所述VR全景视频数据渲染到球形表面。
在上述任一方案中可选的是，还包括通过所述VR全景视频播放器获取用户视角信息，并将用户视角信息传送给所述VR全景视频流媒体服务器。
在上述任一方案中可选的是，还包括根据所述用户视角信息，所述VR全景视频流媒体服务器将所述VR全景视频数据传送给所述VR全景视频播放器，所述VR全景视频数据为与所述用户视角信息对应的所述视频文件的数据。
在上述任一方案中可选的是，还包括通过所述VR全景视频播放器获取VR设备传感器信息，所述VR设备传感器信息用于获取用户视角信息。
在上述任一方案中可选的是，还包括通过http、rtmp和rtsp协议其中至少一种来实现视频传输。
本发明还提供了一种VR全景视频展现系统，包括：VR全景视频处理装置，包括上述任一项所述的装置；VR全景视频流媒体服务器，用于接收所述VR全景视频处理装置输出的所述VR全景视频的视频文件；VR全景视频播放器，用于根据用户视角播放来自于所述VR全景视频流媒体服务器的VR全景视频数据。
可选的是，所述VR全景视频流媒体服务器还包括第二存储器，用于存储所述VR全景视频布局处理装置输出的所述VR全景视频的视频文件。
在上述任一方案中可选的是，所述VR全景视频播放器配置为：将所述VR全景视频数据渲染到球形表面。
在上述任一方案中可选的是，所述VR全景视频播放器还配置为：获取用户视角信息；将用户视角信息传送给所述VR全景视频流媒体服务器。
在上述任一方案中可选的是，所述VR全景视频流媒体服务器还配置为：根据所述用户视角信息将所述视频数据传送给所述VR全景视频播放器，所述视频数据为与所述用户视角信息对应的所述视频文件的数据。
在上述任一方案中可选的是，所述VR全景视频播放器还配置为获取VR设备传感器信息，所述VR设备传感器信息用于获取用户视角信息。
在上述任一方案中可选的是，通过http、rtmp和rtsp协议其中至少一种来实现视频传输。
本发明提供的VR全景视频布局方法、装置和系统，提供了一种基于棱锥的投影方式，这种投影方式投影出来的视频，表面积比equirectangular 投影方式少80%，这样编码出来的视频要比原来小80%，比现有VR视频技术降低VR全景视频传输80%的带宽，并且能够根据用户视角播放全景视频。
附图说明
图1是本发明应用的VR全景视频布局方法的步骤流程图。
图2是人眼观看全景视频示意图。
图3是将球面投影到四棱锥表面的投影示意图。
图4是把四棱锥表面展开成视频平面的展开示意图。
图5是把四棱锥展开形变而成规则的视频平面。
图6是四棱锥渲染到球形表面示意图。
图7是把球形空间切分为6个视窗的切分示意图。
图8是本发明应用的VR全景视频布局装置的结构示意图。
图9是本发明应用的VR全景视频布局系统的结构示意图。
图10是本发明应用的VR全景视频展现方法的步骤流程图。
图11是本发明应用的VR全景视频展现方法的优选实施例的步骤流程图。
具体实施方式
下面将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
本发明提供了一种VR全景视频布局方法。图1是本发明应用的VR全景视频布局方法的步骤流程图。如图1所示，本发明VR全景视频布局方法包括：步骤S101将VR全景球形视频投影到以球形为切球的棱锥表面；步骤S102将所述棱锥表面展开成平面图形，得到棱锥投影的初始的视频平面；步骤S103通过形变使所述视频平面变为规则形状，得到规则的视频平面。步骤S101、步骤S102、步骤S103顺序执行。
根据本发明VR全景视频布局方法的一种优选的实施方式，所述棱锥为四棱锥。本发明提出了一种基于四棱锥Pyramid的布局方式，即把全景内容看做一个四棱锥的内切球，然后把内切球投影到四棱锥表面。人眼在观看全景视频时，可以想象成在一个球型里面，看球的内表面，如图2所示。把球形放入一个四棱锥里面，然后沿眼睛视角方向把球形表面，投影到四棱锥表面，即把全景内容看做一个四棱锥的内切球，然后把内切球投影到四棱锥表面，如图3所示。把四棱锥表面展开，得到了一个平面图形，这个就是四棱锥投影的视频平面，如图4所示。然后通过形变使所述视频平面变为规则形状，得到规则的视频平面。如图5所示。
这种投影方式投影出来的视频，表面积比equirectangular 投影方式少80%，这样编码出来的视频要比equirectangular 投影方式小80%。比现有VR视频技术降低VR全景视频传输80%的带宽。
视频播放的时候，四棱锥底部比较大的区域对应用户眼前正面视角方向的球面视频区域，四个三角形对应剩余的球面区域，如图6所示。基于用户视角渲染VR全景视频，用户眼前的视频高清渲染，其他方位的低清晰度渲染。这样用户眼前的视频清晰度是没有损失的，其他各个面的视频清晰度会有较大损失，用户在看视频头转向其他方向的时候会看到模糊的视频。通过前述的方法，可以得到某一个视角的视频，变换四棱锥底部的在球形内部的位置，可以得到其他视角的视频。根据本发明VR全景视频布局方法的一种实施方式，把全景空间分成多个视窗，每个视窗对应于用户正面的视角方向。再根据本发明VR全景视频布局方法的一种优选的实施方式，把全景空间分成6个视窗，如图7所示，也就是一共6个视角。根据用户的视角实时传输相对应的视窗视频，从而保证了用户眼前的视频一直是清晰的。
根据本发明VR全景视频布局方法的一种实施方式，在上述步骤103之后，执行步骤S104，包括存储所述VR全景视频的视频文件，所述VR全景视频的视频文件包括每个视角的VR全景视频的视频文件。
本发明另一方面提供了一种VR全景视频布局装置。图8是本发明应用的VR全景视频布局装置的结构示意图。如图8所示，本发明VR全景视频布局装置包括视频布局处理模块100，所述视频布局处理模块100包括：投影单元101，用于VR全景球形视频投影到以球形为内切球的棱锥表面；展开单元102，用于将所述棱锥表面展开成平面图形，得到棱锥投影的初始的视频平面；形变单元103，用于通过形变使所述视频平面变为规则形状，得到规则的视频平面。
根据本发明VR全景视频布局装置的一种优选的实施方式，所述棱锥为四棱锥。
上述棱锥底部的区域对应用户正面视角方向的视频区域。根据本发明VR全景视频布局装置的一种实施方式，所述VR全景视频布局装置还包括视窗切分单元105，用于把全景空间分成多个视窗，每个视窗对应于用户正面的视角方向，基于每个视角经所述视频布局处理模块处理得到所述规则的视频平面。再根据本发明VR全景视频布局装置的一种优选的实施方式，所述视窗切分单元105，用于把全景空间分成6个视窗，每个视窗对应于用户正面的视角方向，基于每个视角经所述视频布局处理模块处理得到所述规则的视频平面。
根据本发明VR全景视频布局装置的一种实施方式，通过编写ffmpeg插件实现VR全景视频布局，通过编码把视频文件转换成四棱锥Pyramid格式的视频文件。
根据本发明VR全景视频布局装置的一种实施方式，所述VR全景视频布局装置还包括第一存储器104，用于存储全景视频的视频文件，所述VR全景视频的视频文件包括由所述切分单元切分的并由所述视频布局处理模块处理过的每个视角的VR全景视频的视频文件。
本发明的又一方面提供了一种VR全景视频展现系统。图9是本发明应用的VR全景视频布局系统的结构示意图。如图9所示，本发明VR全景视频布局系统包括：VR全景视频处理装置200，包括上述任一项所述的VR全景视频布局装置；VR全景视频流媒体服务器300，用于接收所述VR全景视频处理装置200输出的所述VR全景视频的视频文件；VR全景视频播放器400，用于根据用户视角播放来自于所述VR全景视频流媒体服务器300的视频数据。
根据本发明VR全景视频展现系统的一种实施方式，所述VR全景视频流媒体服务器300还包括第二存储器301，用于存储所述VR全景视频布局处理装置输出的所述全景视频的视频文件。
根据本发明VR全景视频展现系统的一种实施方式，所述VR全景视频播放器还配置为：将所述VR全景视频数据渲染到球形表面；并且获取用户视角信息；将用户视角信息传送给所述VR全景视频流媒体服务器。所述VR全景视频播放器还安装有传感器401，比如陀螺仪传感器，用于获取用户视角信息。本发明优选的实施方式是基于四棱锥的投影方式。播放器的主要功能是把四棱锥VR全景视频数据渲染到球形表面和获取用户视角信息。视频渲染是基于OpenGL开发的。所述VR全景视频流媒体服务器还配置为：根据所述用户视角信息将所述视频数据传送给所述VR全景视频播放器，所述视频数据为与所述用户视角信息对应的所述视频文件的数据。四棱锥底部的区域对应用户正面视角方向的视频区域，另外4个三角形面对应剩下的球面区域，如图6所示。基于用户视角渲染VR全景视频，用户眼前的视频高清渲染，其他方位的低清晰度渲染，这样保证了用户眼前的视频是最清晰的，但是用户侧面和后面的区域是低清晰度的。
根据本发明VR全景视频展现系统的一种实施方式，所述VR全景视频布局处理装置，通过编写ffmpeg插件实现VR全景视频布局，通过编码把视频文件转换成四棱锥Pyramid格式的视频文件。
根据本发明VR全景视频展现系统的一种实施方式，在VR全景视频布局装置200、VR全景视频流媒体服务器300和VR全景视频播放器400之间，通过http、rtmp和rtsp协议其中至少一种来实现视频传输。
本发明的再一方面还提供了一种VR全景视频展现方法，如图10所示，该方法包括：步骤S210，使用VR全景视频处理装置将VR全景球形视频按照上述VR全景视频布局方法进行处理；步骤S220，通过VR全景视频流媒体服务器接收经VR全景视频处理装置处理后的VR全景视频的视频文件；步骤S230，根据用户视角VR全景视频播放器播放VR全景视频数据。
根据本发明VR全景视频展现方法的一种实施方式，用所述VR全景视频流媒体服务器存储所述VR全景视频布局处理装置输出的所述VR全景视频的视频文件。
根据本发明VR全景视频展现方法的一种实施方式，还包括通过所述VR全景视频播放器将所述VR全景视频数据渲染到球形表面。
再参照图11所示，根据本发明VR全景视频展现方法的一种实施方式，还包括步骤S226，通过所述VR全景视频播放器获取用户视角信息，并将用户视角信息传送给所述VR全景视频流媒体服务器。
再参照图11所示，根据本发明VR全景视频展现方法的一种实施方式，还包括步骤S228，根据所述用户视角信息所述VR全景视频流媒体服务器将所述视频数据传送给所述VR全景视频播放器，所述视频数据为与所述用户视角信息对应的所述视频文件的数据。
根据本发明VR全景视频展现方法的一种实施方式，还包括所述VR全景视频布局处理装置，通过编写ffmpeg插件实现VR全景视频布局。
根据本发明VR全景视频展现方法的一种实施方式，还包括通过所述VR全景视频播放器获取VR设备传感器信息，所述VR设备传感器信息用于获取用户视角信息。
根据本发明VR全景视频展现方法的一种实施方式，还包括通过http、rtmp和rtsp协议其中至少一种来实现视频传输。
根据本发明的一个实施例， VR全景视频布局装置将球形全景视频处理成规则的视频平面，经过VR全景视频布局装置处理后每一个视频源文件中包括6个视角的视频文件。然后输出给VR全景视频流媒体服务器。VR全景视频播放器通过硬件设备上面的陀螺仪获取用户的视角信息，并传出用户的视角信息给VR全景视频流媒体服务器，VR全景视频流媒体服务器返回用户当前视角对应的视频数据。当VR全景视频播放器检测到用户视角信息改变的时候，会实时发送户视角信息给VR全景视频流媒体服务器，VR全景视频流媒体服务器根据获得的用户视角信息来决定返回对应视角的视频。
本发明提供了VR全景视频布局方法、装置和展现方法、系统，特别是提供了一种把球形投影到棱锥的方式布局的投影方式。基于用户视角渲染VR全景视频，用户眼前的视频高清渲染，其他方位的低清晰度渲染。这种投影方式投影出来的视频，表面积比equirectangular 投影方式少80%，这样编码出来的视频要比原来小80%，比现有VR视频技术降低VR全景视频传输80%的带宽，并且能够根据用户视角从视频服务器获取视频数据，播放全景视频。
为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于装置和系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法部分说明即可。
可能以许多方式来实现本发明的方法、装置和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (32)

1.一种VR全景视频布局方法，包括：
将VR全景球形视频投影到以球形为内切球的棱锥表面；
将所述棱锥表面展开成平面图形，得到棱锥投影初始的视频平面，所述棱锥底部的区域对应用户正面视角方向的视频区域，四个三角形对应剩余的球面位置；
通过形变使所述视频平面变为规则形状，得到规则的视频平面；
得到的所述视频，表面积比equirectangular投影方式少80％。
2.根据权利要求1所述的方法，其特征在于，所述棱锥为四棱锥。
3.根据权利要求2所述的方法，其特征在于，把VR全景空间分成多个视窗，每个视窗对应于用户正面的视角方向，也就是棱锥底部区域。
4.根据权利要求3所述的方法，其特征在于，VR全景空间中高清渲染用户正面视角视窗的视频，剩余的球形区域，低清晰度渲染。
5.根据权利要求3或4所述的方法，其特征在于，把VR全景空间分成6个视窗，每个视窗对应于用户正面的视角方向。
6.根据权利要求5所述的方法，其特征在于，还包括存储所述VR全景视频的视频文件。
7.根据权利要求6所述的方法，其特征在于，所述VR全景视频的视频文件包括：多个视角的视频文件，每个视角对应一个VR全景视频文件。
8.根据权利要求7所述的方法，其特征在于，每一个视角的VR全景视频文件都包括完整的VR全景内容，用户正面视角的视频是高清晰度的，其它视角的视频是低清晰度的。
9.根据权利要求8所述的方法，其特征在于，还包括通过编写ffmpeg插件实现VR全景视频布局。
10.一种VR全景视频布局装置，包括视频布局处理模块，所述视频布局处理模块包括：
投影单元，用于将VR全景球形视频投影到以球形为内切球的棱锥表面；
展开单元，用于将所述棱锥表面展开成平面图形，得到棱锥投影的初始的视频平面，所述棱锥底部的区域对应用户正面视角方向的视频区域，四个三角形对应剩余的球面位置；
形变单元，用于通过形变使所述视频平面变为规则形状，得到规则的视频平面；
得到的所述视频，表面积比equirectangular投影方式少80％。
11.根据权利要求10所述的装置，其特征在于，所述棱锥为四棱锥。
12.根据权利要求11所述的装置，其特征在于，还包括视窗切分单元，用于把VR全景空间分成多个视窗，每个视窗对应于用户正面的视角方向，也就是棱锥底部区域；基于每个视角经所述视频布局处理模块处理得到所述规则的视频平面。
13.根据权利要求12所述的装置，其特征在于，VR全景空间中高清渲染用户正面视角视窗的视频，剩余的球形区域，低清晰度渲染。
14.根据权利要求12或13所述的装置，其特征在于，所述视窗切分单元，用于把VR全景空间分成6个视窗，每个视窗对应于用户正面的视角方向。
15.根据权利要求14所述的装置，其特征在于，还包括第一存储器，用于存储所述VR全景视频的视频文件。
16.根据权利要求15所述的装置，其特征在于，所述VR全景视频的视频文件包括由所述视窗切分单元切分的并由所述视频布局处理模块处理过的多个视角的VR全景视频的视频文件，每个视角对应一个VR全景视频文件。
17.根据权利要求16所述的装置，其特征在于，每一个视角的视频文件都包括完整的VR全景内容，用户正面视角的视频是高清晰度的，其它视角的视频是低清晰度的。
18.根据权利要求17所述的装置，其特征在于，还包括通过编写ffmpeg插件实现VR全景视频布局。
19.一种VR全景视频展现方法，包括：
使用VR全景视频处理装置将VR全景球形视频按照权利要求1-9任一项所述的方法进行处理；
通过VR全景视频流媒体服务器接收如权利要求8所述的VR全景视频的视频文件；
所述VR全景视频播放器获取并传出用户的视角信息给所述VR全景视频流媒体服务器，所述VR全景视频流媒体服务器根据获得的用户视角信息来决定返回对应视角的视频；
每一个所述视角的VR全景视频都包括完整的VR全景内容；
根据用户视角由VR全景视频播放器播放VR全景视频数据，所述VR全景视频数据包括正面的清晰视频和其他面的模糊视频。
20.根据权利要求19所述的方法，其特征在于，还包括用所述VR全景视频流媒体服务器存储所述VR全景视频布局处理装置输出的所述VR全景视频的视频文件。
21.根据权利要求19所述的方法，其特征在于，还包括通过所述VR全景视频播放器将所述VR全景视频数据渲染到球形表面。
22.根据权利要求19所述的方法，其特征在于，还包括通过所述VR全景视频播放器获取用户视角信息，并将用户视角信息传送给所述VR全景视频流媒体服务器。
23.根据权利要求22所述的方法，其特征在于，还包括根据所述用户视角信息，所述VR全景视频流媒体服务器将所述VR全景视频数据传送给所述VR全景视频播放器，所述VR全景视频数据为与所述用户视角信息对应的所述视频文件的数据。
24.根据权利要求22所述的方法，其特征在于，还包括通过所述VR全景视频播放器获取VR设备传感器信息，所述VR设备传感器信息用于获取用户视角信息。
25.根据权利要求19所述的方法，其特征在于，还包括通过http、rtmp和rtsp协议其中至少一种来实现视频传输。
26.一种VR全景视频展现系统，包括：
VR全景视频处理装置，包括如权利要求10-18中任一项所述的装置；
VR全景视频流媒体服务器，用于接收所述VR全景视频处理装置输出的所述VR全景视频的视频文件，所述VR全景视频流媒体服务器根据获得的用户视角信息来决定返回对应视角的视频；每一个所述视角的VR全景视频都包括完整的VR全景内容；
VR全景视频播放器，用于获取并传出用户的视角信息给所述VR全景视频流媒体服务器，并根据用户视角播放来自于所述VR全景视频流媒体服务器的VR全景视频数据，所述VR全景视频数据包括正面的清晰视频和其他面的模糊视频。
27.根据权利要求26所述的系统，其特征在于，所述VR全景视频流媒体服务器还包括第二存储器，用于存储所述VR全景视频布局处理装置输出的所述VR全景视频的视频文件。
28.根据权利要求26所述的系统，其特征在于，所述VR全景视频播放器配置为：将所述VR全景视频数据渲染到球形表面。
29.根据权利要求26所述的系统，其特征在于，所述VR全景视频播放器还配置为：
获取用户视角信息；
将用户视角信息传送给所述VR全景视频流媒体服务器。
30.根据权利要求29所述的系统，其特征在于，所述VR全景视频流媒体服务器还配置为：
根据所述用户视角信息将所述VR全景视频数据传送给所述VR全景视频播放器，所述VR全景视频数据为与所述用户视角信息对应的所述视频文件的数据。
31.根据权利要求29所述的系统，其特征在于，所述VR全景视频播放器还配置为获取VR设备传感器信息，所述VR设备传感器信息用于获取用户视角信息。
32.根据权利要求26所述的系统，其特征在于，通过http、rtmp和rtsp协议其中至少一种来实现视频传输。
CN201610344144.8A 2016-05-17 2016-05-23 节省带宽的vr全景视频布局方法、装置及展现方法、系统 Active CN105898254B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610326011 2016-05-17
CN2016103260118 2016-05-17

Publications (2)

Publication Number Publication Date
CN105898254A CN105898254A (zh) 2016-08-24
CN105898254B true CN105898254B (zh) 2018-10-23

Family

ID=56716784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610344144.8A Active CN105898254B (zh) 2016-05-17 2016-05-23 节省带宽的vr全景视频布局方法、装置及展现方法、系统

Country Status (1)

Country Link
CN (1) CN105898254B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106358033B (zh) * 2016-08-25 2018-06-19 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
WO2018038520A1 (ko) 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
CN109691095B (zh) * 2016-10-07 2021-10-15 联发科技股份有限公司 生成基于投影的帧的方法以及装置
EP3472756A4 (en) 2016-10-07 2020-03-04 MediaTek Inc. VIDEO CODING METHOD AND DEVICE WITH SYNTAX ELEMENT SIGNALING OF THE PROJECTION LAYOUT USED AND RELATED VIDEO DECODING METHOD AND DEVICE
WO2018068213A1 (zh) 2016-10-10 2018-04-19 华为技术有限公司 一种视频数据的处理方法及装置
CN107920252B (zh) * 2016-10-11 2021-11-12 阿里巴巴集团控股有限公司 一种全景视频数据处理方法、装置及系统
US10652284B2 (en) * 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
CN106991640B (zh) * 2016-10-31 2020-06-16 深圳市圆周率软件科技有限责任公司 一种全景图像展开方法及系统
CN106791886B (zh) * 2016-11-16 2020-03-17 深圳市梦网百科信息技术有限公司 一种基于视觉特性的全景视频分发方法和系统
CN106534892A (zh) * 2016-11-23 2017-03-22 上海沙塔信息科技有限公司 基于可视角度再编码的虚拟现实直播系统和方法
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
GB2571638B (en) * 2016-12-14 2022-04-20 Mediatek Inc Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport
CN108235113B (zh) * 2016-12-14 2022-01-04 上海交通大学 一种全景视频渲染和呈现属性指示方法及系统
US10573076B2 (en) 2016-12-14 2020-02-25 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout
CN106791888A (zh) * 2016-12-20 2017-05-31 三星电子（中国）研发中心 基于用户视角的全景图片的传输方法和装置
WO2018120474A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 一种信息的处理方法及装置
US10313664B2 (en) * 2017-01-11 2019-06-04 Qualcomm Incorporated Adjusting field of view of truncated square pyramid projection for 360-degree video
CN108513119A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11532128B2 (en) * 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
CN106803994B (zh) * 2017-03-29 2019-07-26 暴风集团股份有限公司 识别四棱锥全景视频的方法及系统
CN110506291B (zh) * 2017-04-05 2021-05-14 联发科技股份有限公司 一种视频处理方法和装置
US20180307352A1 (en) * 2017-04-25 2018-10-25 Gopro, Inc. Systems and methods for generating custom views of videos
CN109218274A (zh) * 2017-07-07 2019-01-15 华为技术有限公司 一种媒体信息的处理方法及装置
WO2019034131A1 (en) * 2017-08-18 2019-02-21 Mediatek Inc. METHOD AND APPARATUS FOR REDUCING ARTIFACTS IN A PROJECTION-BASED FRAME
CN109429062B (zh) * 2017-08-22 2023-04-11 阿里巴巴集团控股有限公司 金字塔模型的处理方法和装置、图像编码方法和装置
US10827159B2 (en) 2017-08-23 2020-11-03 Mediatek Inc. Method and apparatus of signalling syntax for immersive video coding
EP3656128A4 (en) * 2017-08-23 2020-09-16 Mediatek Inc. SYNTAX SIGNALING PROCESS AND APPARATUS FOR IMMERSIVE VIDEO ENCODING
CN107622474B (zh) * 2017-09-26 2021-03-30 北京大学深圳研究生院 基于主视点的全景视频映射方法
CN116912129A (zh) * 2017-09-27 2023-10-20 联发科技股份有限公司 用于处理包括封装在360度虚拟现实投影布局中的至少一个投影面的基于投影的帧的方法
CN107911685B (zh) * 2017-10-23 2019-08-30 银河威尔科技（北京）有限公司 一种3Dvr直播封装的方法和装置
CN107864370A (zh) * 2017-11-14 2018-03-30 暴风集团股份有限公司 一种球面全景图处理方法、装置、服务器及系统
CN108074281B (zh) * 2017-12-27 2021-10-15 北京奇艺世纪科技有限公司 棱锥全景图模型生成方法及装置、存储介质及电子设备
CN108777809B (zh) * 2018-04-11 2020-08-21 中国科学院信息工程研究所 一种全景视频分片移动网络缓存方法及系统、全景视频下载方法
CN110798707B (zh) * 2018-08-02 2023-06-16 华为技术有限公司 传输媒体数据的方法、客户端和服务器
CN114268835B (zh) * 2021-11-23 2022-11-01 北京航空航天大学 一种低传输流量的vr全景视频时空切片方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236402B1 (en) * 1998-06-30 2001-05-22 Lucent Technologies, Inc. Display techniques for three-dimensional virtual reality
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
CN101055494B (zh) * 2006-04-13 2011-03-16 上海虚拟谷数码科技有限公司 基于空间索引立方体全景视频的虚拟场景漫游方法及其系统
CN101667295B (zh) * 2009-09-09 2012-10-03 北京航空航天大学 一种将线搜索扩展于全景视频运动估计的方法
CN102096938A (zh) * 2011-01-27 2011-06-15 中国科学院遥感应用研究所 一种可量测全景图像的构建方法
CN105245838A (zh) * 2015-09-29 2016-01-13 成都虚拟世界科技有限公司 一种全景视频播放方法及播放器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
流媒体VR视频中，根据你的视角而加载相应的画面、模糊不相关的画面，具体是如何实现的？ -知乎-胡痴儿的回答;胡痴儿;《知乎网》;20160224;https://www.zhihu.com/question/40452784 *

Also Published As

Publication number Publication date
CN105898254A (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN105898254B (zh) 节省带宽的vr全景视频布局方法、装置及展现方法、系统
CN111656762B (zh) 编码表示三维对象的点云的方法和装置
US10467775B1 (en) Identifying pixel locations using a transformation function
JP7017866B2 (ja) 従来型描画機器及び没入型描画機器用の没入型ビデオのフォーマット化の方法、装置及びストリーム
KR102013403B1 (ko) 구면 영상 스트리밍
US10560628B2 (en) Elimination of distortion in 360-degree video playback
KR102261559B1 (ko) 정보 처리 방법 및 장치
CN111034201A (zh) 编码和解码体积视频的方法、设备和流
CN109792563A (zh) 基于感兴趣区域处理球面视频数据
CN108366272A (zh) Vr视频渲染方法及装置
CN110073662A (zh) 全景视频的建议视口指示
CN108616557A (zh) 一种全景视频传输方法、装置、终端、服务器及系统
CN106780317B (zh) 全景投影方法及装置
WO2018214698A1 (zh) 一种视频信息的呈现方法和装置
CN105163158A (zh) 一种图像处理方法和装置
CN109362242A (zh) 一种视频数据的处理方法及装置
WO2018126702A1 (zh) 一种应用于虚拟现实技术的流媒体的传输方法和客户端
US10313763B2 (en) Method and apparatus for requesting and receiving selected segment streams based on projection information
CN110956583A (zh) 球面图像处理方法、装置及服务器
CN108307197A (zh) 虚拟现实视频数据的传输方法、播放方法及装置和系统
US10410376B1 (en) Virtual reality media content decoding of portions of image frames
CN113038117B (zh) 一种基于多视角的全景播放方法与装置
CN107438203A (zh) 用于建立清单的方法和网络设备
CN108022204B (zh) 一种柱面全景视频转换为球面全景视频的方法
JP7447266B2 (ja) ボリュメトリック画像データに関するビューの符号化及び復号

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161207

Address after: 100041 room A-2634, room, building 3, No. 30, Xing Xing street, Beijing, Shijingshan District

Applicant after: Pyramid Beijing Virtual Reality Technology Co., Ltd.

Address before: 100027 Beijing, Haidian District sorghum Bridge ramp street, No. 44, building No. 13, floor 13A302-1, No. 89

Applicant before: Billion technology (Beijing) Co. Ltd. Tang

GR01 Patent grant
GR01 Patent grant