CN110710203A - 用于生成和渲染沉浸式视频内容的方法、系统和介质 - Google Patents

用于生成和渲染沉浸式视频内容的方法、系统和介质 Download PDF

Info

Publication number
CN110710203A
CN110710203A CN201880037196.8A CN201880037196A CN110710203A CN 110710203 A CN110710203 A CN 110710203A CN 201880037196 A CN201880037196 A CN 201880037196A CN 110710203 A CN110710203 A CN 110710203A
Authority
CN
China
Prior art keywords
video content
cameras
mesh
camera
user device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880037196.8A
Other languages
English (en)
Other versions
CN110710203B (zh
Inventor
塞缪尔·克瓦伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110710203A publication Critical patent/CN110710203A/zh
Application granted granted Critical
Publication of CN110710203B publication Critical patent/CN110710203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了用于生成和渲染沉浸式视频内容的方法、系统和介质。在一些实施例中，该方法包括：接收指示多个照相机中的照相机的位置的信息；基于所述多个照相机中的照相机的位置生成待在其上投影视频内容的网格，其中该网格由面式柱体的一部分组成，并且其中该面式柱体具有多个面，所述多个面中的每一个面对应于来自所述多个照相机中的照相机的投影；接收与所述多个照相机对应的视频内容；以及响应于从用户设备接收到对视频内容的请求，将视频内容和所生成的网格发送到用户设备。

Description

用于生成和渲染沉浸式视频内容的方法、系统和介质
相关申请的交叉引用
本申请要求于2017年12月13日提交的美国专利申请第15/840,361号的优先权，该申请通过引用被整体并入本文。
技术领域
所公开的主题涉及用于生成和渲染沉浸式视频内容的方法、系统和介质。
背景技术
许多用户喜欢观看沉浸式视频内容(诸如虚拟现实内容、三维内容、180度内容或360度内容)，该沉浸式视频内容能够为观看者提供沉浸式体验。此外，这些用户可能喜欢观看沉浸式格式的计算机生成的内容，诸如游戏视频或动画。
经常通过将视频内容应用于网格(诸如鱼眼网格或三维等矩形网格)来渲染沉浸式视频内容，这使得视频内容被渲染成如同其填充了球体的一部分一样而不是看起来是平坦的。然而，使用鱼眼投影或三维等矩形投影来渲染计算机生成的内容可能消耗许多资源，特别是在实时渲染图形时。
因此，期望的是提供用于生成和渲染沉浸式视频内容的新的方法、系统和介质。
发明内容
提供了用于生成和渲染沉浸式视频内容的方法、系统和介质。
根据所公开主题的一些实施例，提供了一种用于生成沉浸式视频内容的方法，该方法包括：接收指示多个照相机中的照相机的位置的信息；基于所述多个照相机中的照相机的位置生成视频内容将被投影到的网格，其中该网格由面式柱体的一部分组成，并且其中该面式柱体具有多个面，所述多个面中的每一个面对应于来自所述多个照相机中的照相机的投影；接收与所述多个照相机对应的视频内容；以及响应于从用户设备接收到对视频内容的请求，将视频内容和所生成的网格发送到用户设备。
在一些实施例中，生成网格包括以并排的取向拼接所述多个面。
在一些实施例中，该方法进一步包括在将视频文件传输到用户设备之前，将所生成的网格插入到包括视频内容的视频文件中。
在一些实施例中，视频内容包括深度图。
在一些实施例中，该方法进一步包括将所生成的网格转换成用于投影视频内容的第二类型的网格。在一些实施例中，第二种类型的网格是鱼眼投影。
在一些实施例中，该方法进一步包括：接收与所渲染的视频内容项目相关联的结果图像信息；以及基于指示所述多个照相机中的照相机的位置的信息，使指示被呈现以移位所述多个相机中的一个或多个照相机。
根据所公开主题的一些实施例，提供了一种用于生成沉浸式视频内容的系统，该系统包括存储器和硬件处理器，当执行存储在存储器中的计算机可执行指令时，该硬件处理器被配置为：接收指示多个照相机中的照相机的位置的信息；基于所述多个照相机中的照相机的位置生成视频内容将被投影到的网格，其中该网格由面式柱体的一部分组成，并且其中该面式柱体具有多个面，所述多个面中的每一个面对应于来自所述多个照相机中的照相机的投影；接收与所述多个照相机对应的视频内容；以及响应于从用户设备接收到对视频内容的请求，将视频内容和所生成的网格发送到用户设备。
在一些实施例中，硬件处理器被配置成以并排的取向拼接所述多个面，以生成网格。
在一些实施例中，硬件处理器还被配置成：在将视频文件传输到用户设备之前，将所生成的网格插入到包括视频内容的视频文件中。
在一些实施例中，视频内容包括深度图。
在一些实施例中，硬件处理器进一步被配置成将所生成的网格转换成用于投影视频内容的第二类型的网格。
在一些实施例中，第二种类型的网格是鱼眼投影。
在一些实施例中，硬件处理器进一步被配置成：接收与所渲染的视频内容项目相关联的结果图像信息；以及基于指示所述多个照相机中的照相机的位置的信息，使指示被呈现以移位所述多个相机中的一个或多个照相机。
根据所公开主题的一些实施例，提供了一种包含计算机可执行指令的非暂时性计算机可读介质，当由处理器执行所述指令时，所述指令使处理器执行用于生成沉浸式视频内容的方法，该方法包括：接收指示多个照相机中的照相机的位置的信息；基于所述多个照相机中的照相机的位置生成视频内容将被投影到的网格，其中该网格由面式柱体的一部分组成，并且其中该面式柱体具有多个面，所述多个面中的每一个面对应于来自所述多个照相机中的照相机的投影；接收与所述多个照相机对应的视频内容；以及响应于从用户设备接收到对视频内容的请求，将视频内容和所生成的网格发送到用户设备。
在一些实施例中，生成网格包括以并排的取向拼接多个面。
在一些实施例中，该方法进一步包括在将视频文件传输到用户设备之前，将所生成的网格插入到包括视频内容的视频文件中。
在一些实施例中，视频内容包括深度图。
在一些实施例中，该方法进一步包括将所生成的网格转换成用于投影视频内容的第二类型的网格。
在一些实施例中，第二种类型的网格是鱼眼投影。
在一些实施例中，该方法进一步包括：接收与所渲染的视频内容项目相关联的结果图像信息；以及基于指示所述多个照相机中的照相机的位置的信息，使指示被呈现以移位所述多个相机中的一个或多个照相机。
根据所公开主题的一些实施例，提供了一种用于生成沉浸式视频内容的系统，该系统包括：用于接收指示多个照相机中的照相机的位置的信息的装置；用于基于所述多个照相机中的照相机的位置生成待在其上投影视频内容的网格的装置，其中该网格由面式柱体的一部分组成，并且其中该面式柱体具有多个面，所述多个面中的每一个面对应于来自所述多个照相机中的照相机的投影；用于接收与所述多个照相机对应的视频内容的装置；以及用于响应于从用户设备接收到对视频内容的请求而将视频内容和所生成的网格发送到用户设备的装置。
附图说明
当结合以下附图考虑时，参考所公开的主题的以下详细描述，可以更全面地理解所公开的主题的各种目的、特征和优点，在附图中相同的附图标记表示相同的元件。
图1A和图1B示出了根据所公开的主题的一些实施例的用于渲染沉浸式视频内容的示意图的示例。
图2示出了根据所公开的主题的一些实施例的适于实施本文中所描述的用于渲染沉浸式视频内容的机构的说明性系统的示意图。
图3示出了根据所公开的主题的一些实施例的可以在图2的服务器和/或用户设备中使用的硬件的详细示例。
图4示出了根据所公开的主题的一些实施例的用于处理待被渲染为沉浸式内容的视频流的过程的示例。
图5示出了根据所公开的主题的一些实施例的用于渲染沉浸式视频内容的过程的示例。
具体实施方式
根据各种实施例，提供了用于生成和渲染沉浸式视频内容的机构(其可以包括方法、系统和介质)。
在一些实施例中，本文中所描述的机构可以接收或生成视频内容，并且可以生成可以用于在用户设备上将视频内容渲染为沉浸式内容的网格。例如，本文中所描述的机构可以生成可以用于将视频内容渲染为180度视频内容的网格，这可以允许视频内容的观看者在观看视频内容时感觉沉浸在视频内容中。作为另一示例，在一些实施例中，本文中所描述的机构可以生成可以用于将视频内容渲染为具有任何合适的空间幅度的三维视频内容的网格。
在一些实施例中，本文中所描述的机构可以基于与生成或记录视频内容的一个或多个照相机相关联的任何合适的信息来生成网格。例如，在一些实施例中，这些机构可以生成包括一组面板的网格，其中每一个面板对应于来自对应的照相机群组的视场。在一些这样的实施例中，面板可以以并排的定位方式来放置(例如拼接在一起)，以生成面式柱体的一部分，其表示照相机群组中的照相机的累积视场，如下面结合图1A、图1B和图4所述。注意，在一些实施例中，本文中所描述的照相机可以是用于生成计算机生成的(CG)内容的照相机，所述计算机生成的(CG)内容诸如游戏视频、动画、图形和/或任何其他合适类型的CG内容。在一些实施例中，视频内容可以是实时渲染或近似实时渲染的CG内容。
在一些实施例中，视频内容和所生成的网格可以被传输到用户设备，以由用户设备进行渲染。例如，在一些实施例中，所生成的网格可以被插入到包括视频内容的视频文件中，并且该视频文件可以被传输到用户设备，如下面结合图5所述。附加地或可替代地，在一些实施例中，所生成的网格可以用作在创建视频内容的鱼眼投影和/或视频内容的三维等矩形投影之前的中间步骤。
在一些实施例中，本文中所描述的机构可以具有减少渲染沉浸式内容所需时间的效果。特别地，这些机构可以用于在用户设备上快速且有效地渲染CG内容，诸如动画视频和/或视觉效果。因此，本文中所描述的实施例能够实现对用户设备上的处理器资源的有效利用。附加地，在渲染应用不支持特定类型的三维投影(诸如鱼眼投影或三维等矩形投影)的情况下，本文中所描述的机构可以用于渲染沉浸式内容。
转向图1A，根据所公开的主题的一些实施例，示出了用于记录和/或生成待被渲染为沉浸式视频内容的视频内容的示意图的说明性示例100。在一些实施例中，沉浸式视频内容可以是三维视频内容、180度视频内容或360度视频内容，其通过允许观看者操纵视频内容和/或任何其他合适类型的视频内容的视点来允许观看者在观看视频内容的同时感觉沉浸在视频内容中。在一些实施例中，视频内容可以由计算机生成(CG)的照相机生成，该计算机生成的照相机使用任何合适的技术或技术的组合来生成CG视频内容。
如图1A中所示，可以使用任何合适数量的照相机(例如，两个、三个和/或任何其他合适数量的照相机)的群组104来生成视频内容102(例如，包括由五个水平正方形或立方体表示的内容的视频内容)。在一些实施例中，每一个照相机可以与截头锥体(诸如截头锥体106、108和/或110)相关联，所述截头锥体可以表示对应的照相机的视场。在一些这样的实施例中，截头锥体106至110中的每一个可以被表示为源自对应的照相机的中心的棱锥体。注意，尽管在图1A中未示出，但是在一些实施例中，照相机可以记录或生成待被立体呈现的视频内容。例如，在一些实施例中，第一照相机可以位于第一位置处(例如-30毫米和/或任何其他合适的位置处)，并且第二照相机可以位于偏离第一位置的第二位置处(例如+30毫米和/或任何其他合适的位置处)。继续该示例，照相机可以被定位(例如并排地定位)成使得所组合的截头锥体可以捕获视频内容，从而产生单个输出。
应当注意，在一些实施例中，与每一个照相机相关联的位置信息可以用于校准与每一个照相机相关联的位置和/或取向。例如，这可以协调第一照相机在-30毫米的第一位置处的放置和第二照相机在+30毫米的第二位置处的放置，从而为观察者的每只眼睛创建结果图像信息。在更特别的示例中，两个照相机平台(其中每一个照相机平台具有至少两个照相机)可以以如下方式配置以生成单个输出：
左相机平台(LeftCameraRig):位置x(pos.x)＝-0.032m
左相机平台(LeftCameraRig):旋转y(rotation.y)＝-30°，视场(fov)＝60°，填充视口的0％至25％
右相机平台(RightCamera):旋转y(rotation.y)＝-30°，视场(fov)＝60°，填充视口的25％至50％
右相机平台(RightCamera):位置x(pos.x)＝+0.032m
左相机平台(LeftCameraRig):旋转y(rotation.y)＝-30°，视场(fov)＝60°，填充视口的50％至75％
右相机平台(RightCamera):旋转y(rotation.y)＝-30°，视场(fov)＝60°，填充视口的75％至100％
在一些实施例中，响应于接收和分析与每一个照相机相关联的位置信息，可以呈现用以将一个或多个照相机重新定位或以其他方式移位特定距离的指令。例如，游戏引擎可以利用多个照相机进行渲染。响应于接收到来自放置在特定位置处的多个照相机的输出，游戏引擎可以接收与所渲染的视频内容项目相关联的结果图像信息，并且可以基于指示照相机的位置的信息来使指示被呈现以移位一个或多个照相机。在更特别的示例中，基于结果图像信息，游戏引擎可以呈现左照相机平台中的左照相机的位置应该从-0.032m移动到-0.030m的通知。
转向图1B，根据所公开的主题的一些实施例，示出了使用基于照相机位置的网格来投影视频内容的示意图的说明性示例150。如图所示，由每一个照相机创建的图像可以用于创建面板(例如，面板156、158和/或160)，其中每一个面板跨越与图1A的群组104中的相关照相机的视场对应的视场。例如，在群组104中的每一个照相机具有50度的水平视场并且被定向成分开50度的情况下，面板156至160可以各自具有50度的视场。在一些实施例中，面板156至160可以被并排定位成例如面式柱体的侧面。因此，面板156至160中的每一个可以对应于面式柱体的面。在一些这样的实施例中，可以被并排定位的面板156至160可以创建面式柱体的一部分，其具有通常等于照相机群组104中的每一个照相机的视场之和的总视场。例如，在群组104中的每一个照相机具有50度的水平视场并且在群组104中有三个照相机的情况下，面板156至160可以表示面式柱体的跨越150度的部分。继续该示例，图1B示出了三个面板150度网格可以用于投影来自各自具有50度的水平视场的三个照相机的平面投影内容。也就是说，创建如下网格，该网格包括每一个照相机的与照相机的投影面板对应的面板。在如图1A和图1B中所示的三个照相机的情况下，所创建的网格可以是具有三个面的局部柱体。在一些实施例中，面板156至160可以各自表示具有任何合适旋转的三维空间中的平面。
尽管本文中所描述的实施例通常涉及特定度数(例如180度)的总视场，但这仅仅是说明性的。应当注意，在一些实施例中，总视场可以是任意值(例如，140度、124度、250度等)。还应该注意，竖直视场和水平视场可以是不同的值。
还应该注意到，尽管本文中所描述的实施例通常涉及可以被布置成表示面式柱体的网格，但是这仅仅是说明性的。在一些实施例中，可以为每一个照相机创建三维空间中的面板，其中该面板对应于照相机的截头锥体，并且这些面板可以用于任何合适的形状。例如，该形状可以由不接触或不组合的面板创建，使得面板不形成连续的形状。在更特别的示例中，可以将四个照相机配置成面向前，并且朝向左上方向、右上方向、左下方向和右下方向成角度，其中照相机的截头锥体可以在中心位置处重叠。继续该示例，为这些照相机中的每一个照相机创建的对应的面板可以具有在三维空间中重叠的边缘而不具有接触的边缘。
转向图2，示出了可以根据所公开的主题的一些实施例使用的用于渲染沉浸式视频内容的硬件的说明性示例200。如图所示，硬件200可以包括内容服务器202、通信网络204和/或一个或多个用户设备206，诸如用户设备208和210。
内容服务器202可以是用于存储和/或向用户设备206提供媒体内容的任何合适的服务器。例如，在一些实施例中，内容服务器202可以存储媒体内容，诸如视频、电视节目、电影、直播流媒体内容、音频内容、动画、视频游戏内容、图形和/或任何其他合适的媒体内容。在一些实施例中，内容服务器202可以例如经由通信网络204向用户设备206发送媒体内容。在一些实施例中，内容服务器202可以存储与待被客户端设备(例如，用户设备206)用来将视频内容渲染为沉浸式内容的任何合适信息相关联的视频内容(例如，直播视频内容、计算机生成的视频内容和/或任何其他合适类型的视频内容)，如图4中所示和下文接合图4所描述。
在一些实施例中，通信网络204可以是一个或多个有线和/或无线网络的任何合适的组合。例如，通信网络204可以包括互联网、内联网、广域网(WAN)、局域网(LAN)、无线网、数字用户线路(DSL)网、帧中继网、异步传输模式(ATM)网、虚拟专用网(VPN)和/或任何其他合适的通信网络中的任何一个或多个。用户设备206可以通过一个或多个通信链路(例如，通信链路212)连接到通信网络204，该通信网络204可以通过一个或多个通信链路(例如，通信链路214)链接到内容服务器202。通信链路可以是适合于在用户设备206和内容服务器202之间进行数据通信的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其他合适的通信链路或者这些链路的任何合适的组合。
用户设备206可以包括适合于请求视频内容、将所请求的视频内容渲染为沉浸式视频内容(例如渲染为虚拟现实内容、渲染为三维内容、渲染为360度视频内容、渲染为180度视频内容和/或以任何其他合适的方式来渲染)和/或适合于执行任何其他合适的功能的任何一个或多个用户设备。例如，在一些实施例中，用户设备206可以包括移动设备，诸如移动电话、平板计算机、可穿戴计算机、膝上型计算机、虚拟现实头戴设备、交通工具(例如，汽车、船、飞机或任何其他合适的交通工具)信息或娱乐系统和/或任何其他合适的移动设备和/或任何合适的非移动设备(例如，台式计算机、游戏控制台和/或任何其他合适的非移动设备)。作为另一个示例，在一些实施例中，用户设备206可以包括媒体回放设备，诸如电视、投影仪设备、游戏控制台、台式计算机和/或任何其他合适的非移动设备。
尽管内容服务器202被示出为一个设备，但是在一些实施例中，可以使用任何合适数量的设备来执行由内容服务器202执行的功能。例如，在一些实施例中，可以使用多个设备来实现由内容服务器202执行的功能。
尽管在图2中示出了两个用户设备208和210以避免使图过于复杂化，但是在一些实施例中可以使用任何合适数量的用户设备和/或任何合适类型的用户设备。
在一些实施例中，可以使用任何合适的硬件来实现内容服务器202和用户设备206。例如，在一些实施例中，可以使用任何合适的通用计算机或专用计算机来实现设备202和206。例如，可以使用专用计算机来实现移动电话。任何这样的通用计算机或专用计算机可以包括任何合适的硬件。例如，如图3的示例硬件300所示，这样的硬件可以包括硬件处理器302、存储器和/或存储装置304、输入设备控制器306、输入设备308、显示/音频驱动器310、显示和音频输出电路312、通信接口314、天线316和总线318。
在一些实施例中，硬件处理器302可以包括任何合适的硬件处理器，诸如微处理器、微控制器、数字信号处理器、专用逻辑和/或用于控制通用计算机或专用计算机的功能的任何其他合适的电路。在一些实施例中，硬件处理器302可以由存储在服务器(例如，内容服务器202)的存储器和/或存储装置304中的服务器程序所控制。例如，在一些实施例中，服务器程序可以使硬件处理器302向用户设备206发送媒体内容项目、发送用于将视频流渲染成沉浸式视频内容的指令和/或执行任何其他合适的动作。在一些实施例中，硬件处理器302可以由存储在用户设备206的存储器和/或存储装置304中的计算机程序所控制。例如，计算机程序可以使硬件处理器302将视频流渲染成沉浸式视频内容和/或执行任何其他合适的动作。
在一些实施例中，存储器和/或存储装置304可以是用于存储程序、数据、媒体内容和/或任何其他合适信息的任何合适的存储器和/或存储装置。例如，存储器和/或存储装置304可以包括随机存取存储器、只读存储器、闪速存储器、硬盘存储装置、光学介质和/或任何其他合适的存储器。
在一些实施例中，输入设备控制器306可以是用于控制一个或多个输入设备308并从其接收输入的任何合适的电路。例如，输入设备控制器306可以是用于接收来自触摸屏、键盘、鼠标、一个或多个按钮、语音识别电路、麦克风、照相机、光学传感器、加速度计、温度传感器、近场传感器和/或任何其他类型的输入设备的输入的电路。
在一些实施例中，显示/音频驱动器310可以是用于控制和驱动到一个或多个显示/音频输出设备312的输出的任何合适的电路。例如，显示/音频驱动器310可以是用于驱动触摸屏、平板显示器、阴极射线管显示器、投影仪、一个或多个扬声器和/或任何其他合适的显示和/或呈现设备的电路。
通信接口314可以是用于与一个或多个通信网络(诸如图2中所示的网络204)接合的任何合适的电路。例如，接口314可以包括网络接口卡电路、无线通信电路和/或任何其他合适类型的通信网络电路。
在一些实施例中，天线316可以是用于与通信网络(例如，通信网络204)无线通信的任何合适的一个或多个天线。在一些实施例中，可以省略天线316。
在一些实施例中，总线318可以是用于在两个或多个组件302、304、306、310和314之间通信的任何合适的机构。
根据一些实施例，硬件300中可以包括任何其他合适的组件。
转向图4，示出了根据所公开的主题的一些实施例的用于生成沉浸式视频内容的过程的说明性示例400。在一些实施例中，过程400的框可以由任何合适的设备来执行，诸如存储视频内容并将所存储的视频内容发送给用户设备的内容服务器(例如，图2中所示和下文结合图2所述的内容服务器202)。
过程400可以通过在402生成视频内容可以投影在其上的网格而开始。在内容服务器202上生成网格可以避免在计算资源可能受限的用户设备上产生计算资源(例如，处理和/或存储器资源)。在一些实施例中，可以基于用于生成视频内容的照相机的数量和/或基于用于生成视频内容的照相机的位置来生成网格。例如，在一些实施例中，网格中所包括的面板的数量可以基于用于记录或生成视频内容的照相机的数量，如图1A和图1B中所示和上文结合图1A和图1B所述。作为另一个示例，在一些实施例中，由网格表示的视场可以基于用于记录或生成视频内容的照相机的视场。作为更特别的示例，在N个照相机各自具有X度水平视场的情况下，由网格表示的水平视场可以是N×X。作为具体示例，在视频内容由各自具有50度的视场的3个照相机所记录或生成的情况下，网格可以包括各自表示50度视场的三个面板。继续该示例，在一些实施例中，网格可以包括被布置成表示面式柱体的150度的三个面板。在一些实施例中，网格的面板可以以任何合适的方式布置或定位，诸如以并排的取向来放置。在一些实施例中，面板可以具有任何合适的旋转取向，该旋转取向可以基于用于生成视频内容的照相机的取向。
注意，尽管所生成的网格在本文中通常被描述为表示面式柱体的一部分，但是在一些实施例中，所生成的网格可以具有任何合适的形状。例如，在一些实施例中，一个或多个面板可以以从上到下的取向布置，从而调节竖直的视场。作为另一个示例，在一些实施例中，面板可以被布置成在每一个相邻面板之间产生特定量的重叠。
在404，过程400可以接收视频内容或任何合适的视频信息。例如，在一些实施例中，过程400可以接收来自生成CG内容的照相机的群组(例如，两个、三个和/或任何其他合适数量的照相机)的视频内容，如上文结合框402所述。在一些实施例中，用于生成视频内容的照相机可以是任何合适类型的照相机。例如，在一些实施例中，照相机可以是使用任何合适的计算机图形技术生成用于视频游戏、动画的视频内容和/或任何其他合适类型的CG视频内容的CG照相机。注意，在一些实施例中，视频内容可以是不同类型视频内容的组合。例如，在一些实施例中，过程400可以接收所记录的视频内容中的一部分和CG视频内容中的一部分，诸如待叠加在所记录的视频内容上的覆盖物、图形、文本和/或任何其他合适类型的CG内容。作为更特别的示例，在一些实施例中，CG视频中的一部分可以包括视觉效果、标题、分数和/或待覆盖在其他视频内容上的任何其他合适的内容。
在一些实施例中，过程400可以以任何合适的分辨率(例如，对于立体内容来说是每只眼睛3840×2160、1920×2160和/或任何其他合适的分辨率)接收视频内容。在一些实施例中，所接收的视频内容可以包括任何合适的深度信息。例如，在一些实施例中，所接收的CG视频内容可以包括表示视频内容的每一个像素的距离的深度图。作为更特别的示例，在一些实施例中，深度图可以包括视频内容的像素的不同值，其中每一个值表示像素的内容的距离。特别地，对于视频内容的每一个像素，深度图包括表示由像素捕获的场景对象与用于捕获场景对象的视频内容的照相机之间的距离的值。在一些实施例中，深度图可以用于立体地渲染视频内容。
注意，在一些实施例中，在视频内容是由特定应用(例如，与游戏或游戏控制台相关联的应用和/或任何其他合适类型的应用)渲染的内容的情况下，过程400可以使用任何合适的技术或技术组合来记录所渲染的内容。例如，在一些实施例中，过程400可以使用与应用相关联的应用编程接口(API)来记录视频内容。
在一些实施例中，过程400可以以任何合适的方式处理或操纵所接收的视频内容。例如，在一些实施例中，过程400可以复制所接收的视频内容，以生成待立体渲染的视频内容。作为更特别的示例，在一些实施例中，过程400可以复制所接收的视频内容，以生成视频内容的偏移了任何合适距离(例如，30毫米、60毫米和/或任何其他合适的偏移)的两个版本，其中第一版本将被递送到观看者的左眼，并且第二版本将被递送到观看者的右眼。
在406，过程400可以存储与所生成的网格相关的视频内容。例如，在一些实施例中，过程400可以将视频内容和所生成的网格存储在内容服务器(诸如内容服务器202)上，以将其在任何合适的时间递送给用户设备(例如，响应于来自用户设备的请求而递送，如下文结合图5所述)。在一些实施例中，过程400可以以任何合适的方式存储与所生成的网格相关的视频内容。例如，在一些实施例中，可以将表示网格的任何合适的数据(例如，网格的面板的位置、网格的面板的尺寸、网格的面板的取向和/或任何其他合适的数据)插入到与视频内容相关联的视频文件中。
注意，在一些实施例中，在框402处生成的网格可以被过程400用作生成不同网格的中间步骤，以使用球形投影(诸如鱼眼投影、裁剪过的等矩形投影和/或任何其他合适类型的投影)来渲染视频内容。例如，在框402处生成的网格可以被转换成裁剪过的等矩形网格。
转向图5，示出了根据所公开的主题的一些实施例的用于渲染沉浸式视频内容的过程的说明性示例500。在一些实施例中，过程500的框可以由任何合适的设备(诸如虚拟现实头戴设备、游戏控制台、移动电话、平板计算机、电视和/或任何其他合适类型的用户设备)来执行。
在502，过程500可以通过请求用于在用户设备上呈现的视频流而开始。在一些实施例中，视频流可以是任何合适类型的视频流，诸如待从内容服务器流送到用户设备的视频和/或任何其他合适类型的视频流。在一些实施例中，可以在用户设备上以任何合适的方式请求视频流。例如，在一些实施例中，可以响应于用户设备的用户从指示可用视频内容的页面中选择视频流和/或以任何其他合适的方式来请求视频流。可以将对视频流的请求从用户设备发送到内容服务器(例如，图2中所示和上文结合图2所述的内容服务器202)。
在504，过程500可以响应于在502处发送的请求而接收视频流以及用于渲染视频流的对应的网格。例如，在一些实施例中，可以从存储视频内容和/或生成网格的内容服务器(例如，图2中所示和上文结合图2所述的内容服务器202)来接收视频流和对应的网格，如上文结合图4所述。在一些实施例中，可以以任何合适的方式接收视频流和对应的网格。例如，在一些实施例中，网格可以被插入到包括视频流的文件中，并且过程500可以使用任何合适的技术或技术组合从文件中提取网格。应当注意，可以使用任何合适的方法将对应的网格注入到视频流中。
在506，过程500可以使用任何合适的技术或技术组合在用户设备上将视频流渲染成沉浸式内容。例如，在一些实施例中，过程500可以将视频流应用或投影到网格上，以将视频流渲染成沉浸式内容。作为更特别的示例，在一些实施例中，过程500可以使用任何合适的技术(例如，UV映射和/或任何其他合适的技术)来将内容作为纹理从视频流映射到网格。作为另一个示例，在一些实施例中，过程500可以通过向用户设备的观看者的左眼呈现视频流的第一部分并向用户设备的观看者的右眼呈现视频流的第二部分来将视频流渲染成立体内容。在一些这样的实施例中，可以在于用户设备上进行渲染之前将视频流的第一部分和视频流的第二部分分别应用或投影到网格上。
在一些实施例中，过程500可以将视频流渲染成可以由视频流的观看者操纵或与视频流的观看者交互的沉浸式内容。例如，在一些实施例中，过程500可以以能够允许观看者改变视频流的视点的方式来渲染视频流。作为更特别的示例，在一些实施例中，在观看者正使用虚拟现实头戴设备或其他可佩戴计算机的情况下，过程500可以响应于确定观看者已经改变了观看者头部的取向而改变所呈现的视频流视点。作为另一个更特别的示例，在一些实施例中，过程500可以响应于确定观看者已经在用户设备上输入手势以操纵视点(诸如通过选择和拖动其上呈现有视频流的用户界面)而改变所呈现的视频流视点。
在一些实施例中，图4和图5的过程的上述框中的至少一些框可以以任何顺序或序列(不限于图中所示和结合图所描述的顺序和序列)来运行或执行。而且，图4和图5的以上框中的一些框可以在适当的情况下大致同时或并行地运行或执行，以减少延迟和处理时间。附加地或可替代地，可以省略图4和图5的过程的上述框中的一些框。
在一些实施例中，可以使用任何合适的计算机可读介质来存储用于执行本文中的功能和/或过程的指令。例如，在一些实施例中，计算机可读介质可以是暂时性的或非暂时性的。例如，非暂时性计算机可读介质可以包括以下介质：诸如非暂时性形式的磁性介质(诸如硬盘、软盘和/或任何其他合适的磁性介质)、非暂时性形式的光学介质(诸如激光光盘、数字视频光盘、蓝光光盘和/或任何其他合适的光学介质)、非暂时性形式的半导体介质(诸如闪速存储器、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和/或任何其他合适的半导体介质)、在传输期间不是转瞬即逝的或者不缺乏任何持久性表相的任何适当的介质和/或任何适当的有形介质。作为另一个示例，暂时性计算机可读介质可以包括网络上的信号，包括线路、导体、光纤、电路中的信号，包括在传输期间转瞬即逝的或缺乏任何持久性表相的任何合适的介质和/或任何合适的非有形介质。
在本文中所描述的系统收集关于用户的个人信息或利用个人信息的情况下，可以向用户提供控制程序或特征是否收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户偏好或用户当前位置的信息)的机会。此外，在存储或使用某些数据之前，可以以一种或多种方式对其进行处理，从而移除个人信息。例如，可以处理用户的身份，使得不能针对用户确定个人可验证身份的信息，或者可以在获得位置信息的情况下对用户的地理位置进行泛化处理(诸如达到城市级、ZIP码级或州级)，使得不能确定用户的特定位置。由此，用户能够控制如何收集有关用户的信息和计算设备如何使用该信息。
因此，提供了用于渲染沉浸式视频内容的方法、系统和介质。
尽管在前述说明性实施例中已经描述和说明了本发明，但是应当理解，本公开仅通过示例的方式进行，并且在不脱离本发明的精神和范围的情况下，可以对本发明的实施方式的细节进行许多改变，本发明的精神和范围仅由所附权利要求所限定。所公开的实施例的特征可以以各种方式组合和重新排列。

Claims (21)

1.一种用于生成沉浸式视频内容的方法，包括：
接收指示多个照相机中的照相机的位置的信息；
基于所述多个照相机中的照相机的位置生成视频内容将被投影到的网格，其中所述网格由面式柱体的一部分组成，并且其中所述面式柱体具有多个面，所述多个面中的每一个面对应于来自所述多个照相机中的照相机的投影；
接收与所述多个照相机对应的视频内容；以及
响应于从用户设备接收到对所述视频内容的请求，将所述视频内容和所生成的网格发送到所述用户设备。
2.根据权利要求1所述的方法，其中，生成所述网格包括以并排的取向拼接所述多个面。
3.根据权利要求1或2所述的方法，进一步包括在将视频文件传输到所述用户设备之前，将所生成的网格插入到包括所述视频内容的所述视频文件中。
4.根据前述权利要求中的任一项所述的方法，其中，所述视频内容包括深度图。
5.根据前述权利要求中的任一项所述的方法，进一步包括将所生成的网格转换成用于投影视频内容的第二类型的网格。
6.根据权利要求5所述的方法，其中，所述第二类型的网格是鱼眼投影。
7.根据前述权利要求中的任一项所述的方法，进一步包括：
接收与所渲染的视频内容项目相关联的结果图像信息；以及
基于指示所述多个照相机中的照相机的位置的信息，使指示被呈现以移位所述多个相机中的一个或多个照相机。
8.一种用于生成沉浸式视频内容的系统，所述系统包括：
存储器；和
硬件处理器，所述硬件处理器在执行存储在所述存储器中的计算机可执行指令时被配置为：
接收指示多个照相机中的照相机的位置的信息；
基于所述多个照相机中的照相机的位置生成视频内容将被投影到的网格，其中所述网格由面式柱体的一部分组成，并且其中所述面式柱体具有多个面，所述多个面中的每一个面对应于来自所述多个照相机中的照相机的投影；
接收与所述多个照相机对应的视频内容；以及
响应于从用户设备接收到对所述视频内容的请求，将所述视频内容和所生成的网格发送到所述用户设备。
9.根据权利要求8所述的系统，其中，所述硬件处理器被配置成以并排的取向拼接所述多个面以生成所述网格。
10.根据权利要求8或9所述的系统，其中，所述硬件处理器进一步被配置成：在将视频文件传输到所述用户设备之前，将所生成的网格插入到包括所述视频内容的所述视频文件中。
11.根据权利要求8至10中的任一项所述的系统，其中，所述视频内容包括深度图。
12.根据权利要求8至11中的任一项所述的系统，其中，所述硬件处理器进一步被配置成将所生成的网格转换成用于投影视频内容的第二类型的网格。
13.根据权利要求12所述的系统，其中，所述第二类型的网格是鱼眼投影。
14.根据权利要求8至13中的任一项所述的系统，其中，所述硬件处理器进一步被配置成：
接收与所渲染的视频内容项目相关联的结果图像信息；以及
基于指示所述多个照相机中的照相机的位置的信息，使指示被呈现以移位所述多个相机中的一个或多个照相机。
15.一种包含计算机可执行指令的非暂时性计算机可读介质，所述指令在由处理器执行时使所述处理器执行用于生成沉浸式视频内容的方法，所述方法包括：
接收指示多个照相机中的照相机的位置的信息；
基于所述多个照相机中的照相机的位置生成视频内容将被投影到的网格，其中所述网格由面式柱体的一部分组成，并且其中所述面式柱体具有多个面，所述多个面中的每一个面对应于来自所述多个照相机中的照相机的投影；
接收与所述多个照相机对应的视频内容；以及
响应于从用户设备接收到对所述视频内容的请求，将所述视频内容和所生成的网格发送到所述用户设备。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，生成所述网格包括以并排的取向拼接所述多个面。
17.根据权利要求15或16所述的非暂时性计算机可读介质，其中，所述方法进一步包括：在将视频文件传输到所述用户设备之前，将所生成的网格插入到包括所述视频内容的所述视频文件中。
18.根据权利要求15至17中的任一项所述的非暂时性计算机可读介质，其中，所述视频内容包括深度图。
19.根据权利要求15至18中的任一项所述的非暂时性计算机可读介质，其中，所述方法进一步包括将所生成的网格转换成用于投影视频内容的第二类型的网格。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述第二类型的网格是鱼眼投影。
21.根据权利要求15至20中的任一项所述的非暂时性计算机可读介质，其中，所述方法进一步包括：
接收与所渲染的视频内容项目相关联的结果图像信息；以及
基于指示所述多个照相机中的照相机的位置的信息，使指示被呈现以移位所述多个相机中的一个或多个照相机。
CN201880037196.8A 2017-12-13 2018-09-14 用于生成和渲染沉浸式视频内容的方法、系统和介质 Active CN110710203B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/840,361 US11012676B2 (en) 2017-12-13 2017-12-13 Methods, systems, and media for generating and rendering immersive video content
US15/840,361 2017-12-13
PCT/US2018/051072 WO2019118028A1 (en) 2017-12-13 2018-09-14 Methods, systems, and media for generating and rendering immersive video content

Publications (2)

Publication Number Publication Date
CN110710203A true CN110710203A (zh) 2020-01-17
CN110710203B CN110710203B (zh) 2021-08-06

Family

ID=63998733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880037196.8A Active CN110710203B (zh) 2017-12-13 2018-09-14 用于生成和渲染沉浸式视频内容的方法、系统和介质

Country Status (6)

Country Link
US (3) US11012676B2 (zh)
EP (1) EP3616402A1 (zh)
JP (1) JP6997219B2 (zh)
KR (1) KR102257132B1 (zh)
CN (1) CN110710203B (zh)
WO (1) WO2019118028A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11012676B2 (en) * 2017-12-13 2021-05-18 Google Llc Methods, systems, and media for generating and rendering immersive video content
WO2021021235A1 (en) * 2019-07-28 2021-02-04 Google Llc Methods, systems, and media for rendering immersive video content with foveated meshes
KR102419409B1 (ko) * 2020-12-30 2022-07-11 한국광기술원 왜곡 없이 정합 이미지를 출력하는 이미지 출력장치 및 방법
DE102021209627A1 (de) 2021-09-01 2023-03-02 Robert Bosch Gesellschaft mit beschränkter Haftung System und Verfahren zum Ausführen von funktional gleichen Applikationen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938844A (zh) * 2011-10-13 2013-02-20 微软公司 利用立体成像生成自由视点视频
US20130204977A1 (en) * 2012-01-25 2013-08-08 Tourwrist, Inc. Systems and Methods for Panoramic Video Streaming of Virtual Tours
US20150042701A1 (en) * 2013-08-06 2015-02-12 Otoichi NAKATA Image projection device
US20160360180A1 (en) * 2015-02-17 2016-12-08 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5484200A (en) * 1999-06-18 2001-01-09 Intel Corporation Systems and methods for enhanced visual presentation using interactive video streams
US6677982B1 (en) * 2000-10-11 2004-01-13 Eastman Kodak Company Method for three dimensional spatial panorama formation
JP3921205B2 (ja) 2004-01-13 2007-05-30 株式会社イフ 立体映像表示装置
TWI303782B (en) 2006-03-10 2008-12-01 Sony Taiwan Ltd An optimized video stitching mehtod for asic implementation
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US9407904B2 (en) * 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
JP6267961B2 (ja) 2012-08-10 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 映像提供方法および送信装置
US20150062287A1 (en) * 2013-08-27 2015-03-05 Google Inc. Integrating video with panorama
US9406145B2 (en) 2014-01-31 2016-08-02 Applied Concepts, Inc. Mobile radar and visual tracking coordinate transformation
US10178325B2 (en) * 2015-01-19 2019-01-08 Oy Vulcan Vision Corporation Method and system for managing video of camera setup having multiple cameras
CN116962659A (zh) * 2015-02-17 2023-10-27 纳维曼德资本有限责任公司 图像捕获和内容流送以及提供图像内容、编码视频的方法
US9369689B1 (en) * 2015-02-24 2016-06-14 HypeVR Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video
JP2018514968A (ja) * 2015-03-01 2018-06-07 ネクストブイアール・インコーポレイテッド ３ｄ画像レンダリングにおいて環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置
US10567464B2 (en) * 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US9573062B1 (en) 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
US20180192033A1 (en) * 2016-12-30 2018-07-05 Google Inc. Multi-view scene flow stitching
US10521468B2 (en) * 2017-06-13 2019-12-31 Adobe Inc. Animated seek preview for panoramic videos
US11012676B2 (en) * 2017-12-13 2021-05-18 Google Llc Methods, systems, and media for generating and rendering immersive video content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938844A (zh) * 2011-10-13 2013-02-20 微软公司 利用立体成像生成自由视点视频
US20130204977A1 (en) * 2012-01-25 2013-08-08 Tourwrist, Inc. Systems and Methods for Panoramic Video Streaming of Virtual Tours
US20150042701A1 (en) * 2013-08-06 2015-02-12 Otoichi NAKATA Image projection device
US20160360180A1 (en) * 2015-02-17 2016-12-08 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content

Also Published As

Publication number Publication date
CN110710203B (zh) 2021-08-06
JP2020527873A (ja) 2020-09-10
EP3616402A1 (en) 2020-03-04
WO2019118028A1 (en) 2019-06-20
US20190182468A1 (en) 2019-06-13
US11012676B2 (en) 2021-05-18
KR20200005591A (ko) 2020-01-15
JP6997219B2 (ja) 2022-01-17
US20210274145A1 (en) 2021-09-02
KR102257132B1 (ko) 2021-05-27
US20230209031A1 (en) 2023-06-29
US11589027B2 (en) 2023-02-21

Similar Documents

Publication Publication Date Title
CN107852573B (zh) 混合现实社交交互
CN107590771B (zh) 具有用于在建模3d空间中投影观看的选项的2d视频
US10636220B2 (en) Methods and systems for generating a merged reality scene based on a real-world object and a virtual object
JP7498209B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
CN110710203B (zh) 用于生成和渲染沉浸式视频内容的方法、系统和介质
US11099392B2 (en) Stabilized and tracked enhanced reality images
CN114175630B (zh) 利用注视点网格渲染沉浸式视频内容的方法、系统和介质
CN108027936B (zh) 用于在视频内容内呈现交互式元素的方法、系统和介质
JP7353782B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20190259198A1 (en) Systems and methods for generating visual representations of a virtual object for display by user devices
JP2014021570A (ja) 動画像生成装置
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
US10803652B2 (en) Image generating apparatus, image generating method, and program for displaying fixation point objects in a virtual space
JPWO2019004073A1 (ja) 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
US9942540B2 (en) Method and a device for creating images
CN110709839A (zh) 用于呈现媒体内容预览的方法、系统和介质
US11816785B2 (en) Image processing device and image processing method
US20210400255A1 (en) Image processing apparatus, image processing method, and program
CN118689363A (zh) 显示3d图像的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant