CN110383346B - 使用虚拟视图广播器云生成要流式传输到vr/ar平台的内容 - Google Patents

使用虚拟视图广播器云生成要流式传输到vr/ar平台的内容 Download PDF

Info

Publication number
CN110383346B
CN110383346B CN201880015676.4A CN201880015676A CN110383346B CN 110383346 B CN110383346 B CN 110383346B CN 201880015676 A CN201880015676 A CN 201880015676A CN 110383346 B CN110383346 B CN 110383346B
Authority
CN
China
Prior art keywords
virtual
virtual view
broadcaster
view
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880015676.4A
Other languages
English (en)
Other versions
CN110383346A (zh
Inventor
黄仁勋
R·莱巴雷迪安
C·维沃利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN110383346A publication Critical patent/CN110383346A/zh
Application granted granted Critical
Publication of CN110383346B publication Critical patent/CN110383346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

本公开提供了虚拟视图广播器、虚拟视图广播系统和视频游戏广播器。在一个实施例中，虚拟视图广播器包括：(1)基于云的渲染器，配置成从位于计算机应用程序中的虚拟相机生成虚拟视图图像；以及(2)图像处理器，配置成采用虚拟视图渲染图像生成用于虚拟相机的虚拟视图流，其中所述虚拟视图图像来自所述虚拟相机处的不同观看方向。

Description

使用虚拟视图广播器云生成要流式传输到VR/AR平台的内容
相关申请的交叉引用
本申请要求2017年1月4日提交的、序列号为62/442,366、题为“使用云服务器云生成要流式传输至VR/AR平台的内容以及使用光线步进和深度信息对立体360度全景进行渲染(CLOUD GENERATION OF CONTENT TO BE STREAMED TO VR/AR PLATFORMS USING COULDSERVERS AND RENDERING OF STEREOSCOPIC 360-DEGREE PANORAMAS USING RAY MARCHINGAND DEPTH INFORMATION)”的美国临时申请的权益，其与本申请共同转让且其全部内容通过引用并入本文。
技术领域
本申请总地涉及基于云的渲染，更具体地，涉及基于云的渲染和流式传输到多个客户端平台。
背景技术
通过对来自给定视点的光与三维(3D)场景的交互进行数学建模来创建许多计算机图形图像。该过程(称为“渲染”)从给定视点生成场景的二维(2D)图像，这类似于拍摄真实世界场景的照片。
随着对计算机图形，特别是对于实时计算机图形的需求的增加，具有适于加速渲染过程的图形处理子系统的计算机系统已经变得普遍。在这些计算机系统中，渲染过程在计算机的通用中央处理单元(CPU)和图形处理子系统之间划分，在架构上以图形处理单元(GPU)为中心。通常，CPU执行高级操作，例如确定给定场景中对象的位置、运动和碰撞。从这些高级操作中，CPU生成一组渲染命令和定义所需一个或更多个渲染图像的数据。例如，渲染命令和数据可以定义场景的场景几何结构、光照、阴影、纹理、运动和/或相机参数。图形处理子系统从该组渲染命令和数据创建一个或更多个渲染图像。
利用由这些计算机系统提供的加速渲染，诸如视频游戏的各种计算机应用程序使用基于云的渲染。通过该技术，用户可以在其计算设备上享受虚拟图形体验。这种基于云的平台还允许用户在锦标赛或体育赛事中通过通信网络与其他人进行远程竞赛。除了那些积极参与视频游戏或其他计算机应用程序的人之外，在视频游戏锦标赛或其他电子竞技活动中观看但未参与或积极参与的被动观众可以在他们的计算设备上通过其中一名选手的视角观看正在进行的游戏。
附图的简要描述
现在结合附图参考以下描述，其中：
图1示出了根据本公开原理构造的虚拟视图广播系统的实施例的框图；
图2示出了根据本公开的原理构造的虚拟视图广播系统的实施例的框图，其示出了用于向虚拟观看者的客户端计算设备提供虚拟视图流的操作流程；
图3示出了根据本公开原理执行的提供虚拟视图流的方法300的实施例的流程图；和
图4示出了视频游戏环境中的虚拟视图广播系统400的实施例的图示。
发明内容
在一个方面，本公开提供了一种虚拟视图广播器。在一个实施例中，虚拟视图广播器包括：(1)基于云的渲染器，配置成由位于计算机应用程序中的虚拟相机生成虚拟视图图像；以及(2)图像处理器，配置成生成采用虚拟视图渲染图像生成用于虚拟相机的虚拟视图流，其中虚拟视图图像来自虚拟相机处的不同观看方向。
在另一方面，本公开提供了一种用于基于云的视频游戏的虚拟视图广播系统。在一个实施例中，虚拟视图广播系统包括：(1)网络服务器，其由位于计算机应用程序内的虚拟相机生成多个基于计算机的虚拟视图图像；(2)拼接单元，其拼接基于计算机的虚拟视图图像以形成360度视图图像集，以及(3)编码器，其将上述360度视图图像集编码为视频流，以发送到计算设备以供观看。
在又一方面，公开内容提供了一种用于具有多个活动玩家的基于云的视频游戏的视频游戏广播器。在一个实施例中，视频游戏广播器包括：(1)渲染引擎，配置成由播放视频游戏的活动玩家生成一组虚拟视图图像；以及(2)图像处理器，配置成拼接每组虚拟视图图像以形成对应于每个活动玩家的360度虚拟视图并将拼接的360度虚拟视图编码成不同的视频流，其中基于选择输入选择不同视频流中的至少一个以发送到计算设备以供观看。
具体实施方式
尽管被动观看者可以在他们自己的计算设备上观看正在进行的游戏，但是它们仅限于各种活动玩家或参与者的视点。因此，本文公开了一种虚拟视图广播器，其具有渲染器或渲染引擎，其从位于计算机应用程序(例如视频游戏程序)内的虚拟相机的视点(有时称为视口)生成虚拟视图图像。因此，代替仅来自活动玩家的视点，渲染器提供与活动玩家的虚拟视图图像不同的虚拟视图图像。本文公开的渲染器是基于云的渲染器，其可以提供虚拟视图图像，该虚拟视图图像用于为位于计算机应用程序中的每个虚拟相机生成360度的虚拟视图。因此，渲染器可以从不是虚拟现实应用程序的计算机应用程序中创建虚拟现实体验。
如上所述，渲染器从位于计算机应用程序内的虚拟相机创建虚拟视图图像。如果考虑诸如足球之类的体育赛事，则通常存在多个同时操作的相机，并且可以采用多个相机中的任何一个作为指示提供视频内容的动作。代替来自现实生活的视频内容，本文公开的虚拟相机位于计算机应用程序中，并且渲染器由这些虚拟相机生成虚拟视图图像。渲染器可以在虚拟相机处生成各种观看方向的虚拟视图图像。在一些实施例中，渲染器在与虚拟观看者正在观看的方向相对应的观看方向上生成虚拟视图图像。可以位于计算机应用程序内的虚拟相机的数量可以变化，并且可以基于可用的计算功率来确定。在一些实施例中，活动虚拟相机的数量N基于渲染器的计算能力。活动虚拟相机的数量可以等于计算机应用程序中的可用虚拟相机的数量，或者可以更少，这取决于例如渲染器的计算能力或虚拟视图广播器的用户的偏好。
如上所述，所公开的渲染器可以为每个虚拟相机提供360度的虚拟视图。在一个实施例中，渲染器通过渲染在相机位置处形成立方体(即立方体贴图)的六个虚拟视图图像来为虚拟相机提供360度虚拟视图。然后，立方体贴图用于计算机应用程序的场景的纹理化。立方体贴图纹理化是一种纹理贴图形式，它使用3D方向向量来索引到纹理，该纹理是排列成立方体面的六个方形2D纹理。由于将立方体贴图渲染为2D纹理比将常规视图渲染为2D纹理更复杂，因此GPU通常与CPU一起使用。例如，可以采用Nvidia GridTM技术来提供本文公开的渲染器和渲染方案以支持立方体贴图渲染。Nvidia GridTM由位于加利福尼亚州圣克拉拉(Santa Clara)的Nvidia公司提供，它提供了一种图形虚拟化平台，可以让虚拟桌面和计算机应用程序使用Nvidia GPU技术的能力。
在渲染各种虚拟视图图像之后，执行后处理，其包括将虚拟视图图像拼接在一起以从虚拟相机提供图像流。然后，编码器将图像流编码为虚拟视图流以供观看。虚拟视图流是可以提供虚拟相机的360度虚拟视图的视频，在此称为球形虚拟视频。可以以单声道或立体声实时提供虚拟视图流以用于虚拟现实体验。虚拟视图流可以经由诸如因特网的通信网络从虚拟视图广播器发送到虚拟观看者的计算设备。
在一个实施例中，渲染器在一个或更多个服务器上实现，所述一个或更多个服务器接收与位于应用程序中的各个虚拟相机中的至少一个相对应的应用程序数据，针对至少一个虚拟相机生成虚拟视图图像，然后将虚拟相机的虚拟视图图像拼接在一起以创建图像流。然后将图像流编码成虚拟视图流并实时(或基本上实时地)流式传输到虚拟观看者的计算设备。实时是虚拟观看者感知的响应度水平足够立即或使处理器能够保持输入的处理。在一些实施例中，可以在几毫秒内处理输入数据，使得它几乎可以立即作为反馈使用。云服务器或平台(例如Nvidia GridTM系统)可用于生成虚拟视图流。
渲染器可以从虚拟观看者的计算设备接收应用程序数据。应用程序数据包括足以使渲染器生成虚拟视图图像的场景数据。应用程序数据可包括方向信息。例如，计算设备可以向渲染器发送方向信息，并且渲染器可以使用方向信息来生成与方向信息对应的虚拟相机的虚拟视图图像。在这些实施例中，发送到计算设备的所得到的虚拟视图流对应于方向信息。因此，虚拟视图流不是球形虚拟视频。
虚拟观看者，例如视频游戏的被动观看者，可以选择位于计算机应用程序本身内的不同相机位置，或者指定的相机选择器，例如广播者或视频游戏锦标赛的评论员，可以选择不同的相机位置。另外，管理器或实时编辑器可以选择在电视直播中经常看到的最佳相机位置。在一些实施例中，虚拟观看者可能能够通过选择不同的相机位置在各个虚拟相机之间反弹。
无论谁选择虚拟相机或如何选择不同的虚拟相机，由虚拟观看者观看的来自特定虚拟相机的虚拟视图由与虚拟观看者相关联的方向信息确定。可以基于操纵杆的移动、键盘的方向键、虚拟现实头盔的移动(诸如头戴式显示器(HMD))或类似的用户界面从虚拟观看者的计算设备生成方向信息。
除了静态虚拟相机之外，还可以使用移动虚拟相机，例如在当前的第一人称风格的射击游戏中看到的。使用移动虚拟相机，虚拟观看者可以在计算机应用程序内移动虚拟相机，但不能与计算机应用程序交互。考虑将视频游戏作为计算机应用的示例，虚拟相机可以位于玩家的正后方以提供“头顶或肩膀上方”视角的第三人称视图，其允许虚拟现实(VR)观众在肩膀正上方跟随玩家。因此，虚拟相机的位置不必是静态的，而是可以是流动的，因此为虚拟观看者提供了另一个好处。
所公开的虚拟视图广播器可以用于广泛的应用程序中。尽管VR游戏是该广播工具的一个计算机应用程序，但是虚拟视图广播器可以应用于其他应用程序，例如电子竞技应用程序以及计算机辅助设计(CAD)应用程序。例如，可以在CAD应用程序中采用多个虚拟相机，例如建筑物布局，其允许多个观看者基于所选择的虚拟相机和观看者的观看方向来查看建筑物布局的不同虚拟视图。
现在转向附图，图1示出了根据本公开原理构造的虚拟视图广播系统100的实施例的框图。虚拟视图广播系统100包括虚拟视图广播器110，计算设备120、130、140、150、160，通信网络170和相机选择器180。计算设备120、130、140、150、160被统称为计算设备120-160，并且经由通信网络170通信地耦合到虚拟视图广播器110。通信网络170可以是允许连接的计算设备彼此通信的常规网络，例如因特网。
虚拟视图广播器110配置成基于应用程序数据从位于应用程序中的一个或更多个虚拟相机生成虚拟视图流。应用程序数据或至少一些应用程序数据可以来自虚拟观看者(或其计算设备120-160)。在一个实施例中，可以向游戏发行者或其他应用程序开发者提供指定的代码，以便将它们合并在他们的游戏或应用程序中以在其中安装虚拟相机。指定的代码可以与虚拟视图广播器110的渲染器相对应，以在选择特定的虚拟相机时提供虚拟视图。
虚拟视图广播器110可以在服务器上或在云计算平台的多个服务器上实现。虚拟视图广播器110可以包括CPU和多个GPU。在一个实施例中，虚拟视图广播器110包括渲染器、图像处理器和视频发射器(图1中未示出)。渲染器从位于应用程序中的各个虚拟相机生成虚拟视图图像。在一个实施例中，虚拟视图图像对应于虚拟相机位置的立方体贴图的六个侧面。渲染器可以生成其他虚拟视图图像，可以组合这些虚拟视图图像以提供虚拟相机的360度的虚拟视图。在一些实施例中，虚拟视图图像可以用于虚拟相机处的等矩形(equirectangular)视图而不是立方体贴图。虚拟视图图像对应于从例如虚拟观看者的计算设备120-160处接收的应用程序数据。应用程序数据可包括场景数据。在一些实施例中，应用程序数据可以包括指示虚拟观看者正在看向、选择、指向等的观看方向的方向信息。
图像处理器接收由渲染器生成的虚拟视图图像，将它们拼接在一起形成图像流，并将它们编码成虚拟视图流以进行传输。图像处理器还可以提供附加功能，例如重新格式化和图像处理。然后将经编码的虚拟视图流提供给视频发送器并发送到计算设备120-160。视频发送器可以是接收经编码的帧并将它们作为视频流发送的常规设备。如上所述，视频发送器可以是虚拟视图广播器110的一部分。在其他实施例中，视频发射器可以常规地耦合到虚拟视图广播器110并用于发送虚拟视图流。在一些实施例中，视频发送器是视频代理服务器。
提供给不同计算设备120-160的虚拟视图流可以来自相同的虚拟相机，并且可以是相同的视频流。然后，虚拟观看者可以基于通过它们各自的计算设备120-160提供的方向信息来确定它们的实际视图。在一些实施例中，可以将来自不同虚拟相机的虚拟视图流同时提供给不同的计算设备120-160。然后，虚拟观看者仍然可以基于通过它们各自的计算设备120-160提供的方向信息来确定它们的实际视图。另外，提供给不同计算设备120-160的虚拟视图流可以基于在虚拟视图广播器110处从每个计算设备120-160接收的方向信息而不同。例如，虚拟视图广播器110(即，其渲染器)可以基于来自计算设备120的方向信息生成虚拟视图图像，并且将虚拟视图流发送到计算设备120，其对应于来自计算设备120的方向信息。虚拟视图广播器110还可以基于来自计算设备130的方向信息生成虚拟视图图像，并且将虚拟视图流发送到计算设备130，其对应于来自计算设备130的方向信息。这样，发送到计算设备120和计算设备130两者的虚拟视图流也可以是不同的，即使这些流是从同一虚拟相机生成的。
如上所述，提供给不同计算设备120-160的虚拟视图流可以来自不同的虚拟相机。所使用的虚拟相机可以由耦合到虚拟视图广播器110的相机选择器180确定。虚拟视图广播器110可以从相机选择器180接收选择输入以确定要使用的虚拟相机。在一些实施例中，可以针对不同的虚拟相机接收多个选择输入，并且虚拟视图广播器100可以同时生成所选择的多个虚拟相机的虚拟视图。虚拟视图广播器110还可以处理计算机应用程序的所有活动虚拟相机或指定数量的活动虚拟相机的虚拟视图。在一些实施例中，虚拟观看者然后可以选择他们想要从虚拟视图广播器110接收哪个虚拟视图流。相机选择器180可以是指定的人或其计算设备，其用于向虚拟视图广播器100提供选择输入。计算设备可以是计算设备120-160之一。
计算设备120-160可以是VR头盔、智能手机、台式计算机、膝上型计算机、计算平板、平板电脑等。计算设备120-160可以是与虚拟视图广播器110通信并提供足够应用程序数据以用于渲染和拼接的瘦客户端。计算设备120-160中的每一个或至少一些可以是不同类型的设备。例如，计算设备120-140可以是VR头盔，计算设备150可以是膝上型计算机，计算设备160可以是Nvidia SHIELD平板电脑。
图2示出了根据本公开的原理构造的虚拟视图广播系统200的实施例的框图，其示出了用于向虚拟观看者的客户端计算设备提供虚拟视图流的操作流程。虚拟视图广播系统200包括虚拟视图广播器210，视频发送器220和客户端计算设备230。在一些实施例中，图1的虚拟视图广播器110配置为并用作虚拟视图广播器210。
虚拟视图广播器210配置成基于应用程序数据由位于计算机应用程序中的一个或更多个虚拟相机生成客户端计算设备230的虚拟视图流。在一个实施例中，虚拟视图广播器210是基于云的设备，诸如云服务器(或多个服务器)，其在云中生成内容以流式传输到客户端计算设备230。可以在一个或更多个网络(例如，云)服务器上实现虚拟视图广播器210，以在实时(或半实时)内容引擎中渲染内容并创建虚拟视图图像，其可以拼接在一起形成360度视频以便实时或半实时地流式传输到虚拟观看者。虚拟视图广播器210包括渲染器211和图像处理器218。在一些实施例中，虚拟视图广播器210还包括视频发送器220。
渲染器211为需要实时生成的多个表示的应用程序或技术生成渲染数据集，例如用于VR或AR显示。例如，数据集可包括6-21个图像。数据集可以对应于不同虚拟相机的多个视图(例如，立方体视图)。这样，渲染器211可以为给定的虚拟相机绘制六个虚拟视图图像。使用游戏应用程序作为示例，渲染器211可以通过调用游戏引擎的渲染功能六次来生成六个虚拟视图图像。
渲染器211包括耦合到多个图形处理单元(GPU)213、215、217的中央处理单元(CPU)212。在不同的渲染器实施例中，CPU或GPU的数量可以变化。GPU可以配置为渲染整个单独的全景视图，或者每个GPU可以渲染同一视图的一帧。在一些实施例中，虚拟视图广播器210可以包括多个渲染器或具有多个CPU的单个渲染器，每个CPU与多个GPU配对。在图2中，GPU的数量可以对应于为数据集生成的虚拟视图图像的数量。因此，对于具有六个虚拟视图图像的立方体贴图，图2中的N为6。在一些实施例中，GPU的数量对应于计算机应用程序中的活动虚拟相机的数量。
渲染器211包括存储器214，存储器214包括指导渲染器211的操作的一系列操作指令。该系列操作指令对应于指导本文公开的渲染过程的算法。存储器214可以耦合到CPU212和GPU 213、215、217并与其协作，以渲染虚拟视图图像。渲染器211还可以包括与耦合到CPU 212、存储器214或GPU 213、215、217的其他组件(例如应用程序引擎)或与其进行交互，用于生成虚拟视图图像。应用程序引擎可以是软件引擎，其包括与用于生成场景的算法相对应的操作指令，诸如提供来自视频游戏的场景的游戏引擎。
CPU 212配置成与GPU 213、215、217协作，以生成虚拟相机的数据集。CPU 212可以将场景信息发送到GPU 213、215、217以进行附加处理，以生成针对特定虚拟视点的图像或帧。例如，CPU 212可以使用来自客户端计算设备230的应用程序数据来确定诸如顶点位置、三角形连接、纹理、材料属性、光源等的场景信息，并将该信息传递给GPU 213、215、217，以绘制虚拟视图图像的像素。在一些实施例中，客户端计算设备230可以经由通信网络170发送将间接影响顶点位置的动作或移动信息。因此，来自客户端计算设备230的应用数据可以仅包括一些场景数据。
在渲染之后，渲染器211将所生成的虚拟视图图像发送到图像处理器218。图像处理器218配置成将虚拟视图图像拼接在一起以形成虚拟相机的360度虚拟视图。图像处理器218还对虚拟视频图像执行压缩，编码为视频流，重新格式化和图像处理。图像处理器218可以包括编码成标准协议视频流的编码器，例如H.264、HVEC等。然后，图像处理器218将经编码的360度虚拟视图流发送到视频发送器220以进行流式传输。
视频发送器220接收经编码的视频流并将虚拟视图流发送到客户端计算设备230。视频发送器220可以为视频代理服务器。客户端计算设备230可以是图1的计算设备120-160之一。
客户端计算设备230使用从视频发送器220接收的虚拟视频流来显示来自虚拟相机的虚拟视图，并将应用程序数据发送到虚拟视图广播器210以用于内容的实时生成和处理。应用程序数据可以包括用于确定虚拟相机处的视图的方向信息。客户端计算设备230还可以提供用于选择特定虚拟相机的选择输入。
图3示出了根据本公开的原理执行的提供虚拟视图流的方法300的实施例的流程图。方法300描绘了虚拟视图广播器的操作流程，例如本文公开的虚拟视图广播器110或210。在方法300中，以立体声提供虚拟视图流。在其他实施例中，可以以单声道提供虚拟视图流。该方法开始于步骤305。
在步骤310中，接收对用于渲染的虚拟相机的选择。虚拟相机位于计算机应用程序中，例如游戏应用程序。在一些实施例中，可以选择应用程序内的多个虚拟相机用于渲染。所选择的一个或更多个虚拟相机可以由诸如本文所公开的虚拟视图广播器接收。该应用程序可具有1到N个虚拟相机。虚拟观看者或另一指定人可以选择要使用的一个或更多个虚拟相机。当选择多个虚拟相机时，虚拟视图广播器可以同时执行渲染和流式传输。
在步骤320中，基于所选择的虚拟相机执行虚拟视图图像的渲染。如上所述，N个虚拟相机可用于生成多个虚拟视图图像渲染。虚拟视图图像的数量可以变化，例如6、8、16或32个，如图3所示。在一些实施例中，所生成的虚拟视图图像的数量足以提供3D全景虚拟视图流。在一个实施例中，以每秒90帧的速度渲染至少6个视图。对于如图3中所示的左视图和右视图，每秒可以渲染至少12帧。在一个实施例中，流式传输360度渲染视频，每秒可以渲染30帧。渲染可足以为具有VR头盔的虚拟观看者提供虚拟现实体验。在一些实施例中，渲染器可以使用来自应用程序数据的方向信息来渲染特定的虚拟视图图像。
在渲染之后，在步骤330中执行将虚拟视图图像的帧拼接在一起。拼接器或拼接单元可用于将经渲染的虚拟视图图像拼接在一起。可以使用常规的拼接器。拼接器可以从渲染器接收虚拟视图图像。拼接器可以是图像处理器的一部分，例如图2的图像处理器218。方法300可以实时渲染和拼接。在一些实施例中，方法300可以使用0-30秒的缓冲区来创建虚拟视图。
在图3中，所示的虚拟视图图像用于单个虚拟相机的左眼和右眼。多个虚拟视图图像可以为立体的虚拟相机提供360度观看。例如，可以存在与立方体贴图相对应的六个虚拟视图，可以将立方体贴图拼接在一起以进行360度观看。
L0和R0分别是来自虚拟相机处左眼和右眼的不同视点的第一虚拟视图图像。全方位立体(ODS)投影可用于生成左视点和右视点。L1-L3和R1-R3表示左眼和右眼的附加虚拟视图图像。拼接器将左眼和右眼的虚拟视图图像拼接在一起以提供图像流。在一个实施例中，拼接器使用虚拟视图图像来创建等矩形全景图。
在步骤340中，将拼接的虚拟视图编码为360度虚拟视图流。在图3中，针对左眼编码虚拟视图流，针对右眼编码另一虚拟视图流。编码器可以从拼接器接收图像流并执行编码。可以将拼接的虚拟视图图像编码成标准协议视频流，例如H.264、HVEC等。拼接的虚拟视图可以是拼接的全景图。在一些实施例中，每个经编码的虚拟视图流对应于相同的虚拟相机。
在步骤350中，发送经编码的虚拟视图流以供n个独立的虚拟观看者观看。如图所示，可以在左视图和右视图中提供虚拟视图流。虚拟观看者可以通过他们的观看方向从接收的虚拟视频流中确定他们要观看的实际虚拟视图。这可以来自方向信息。在一些实施例中，虚拟观看者还可以通过选择输入选择要观看的虚拟视图流。这可以被提供给虚拟视频广播器并且影响在计算设备处接收或可以采用的虚拟视图流，以选择所接收的多个虚拟视图流中的一个。虚拟观看者使用的计算设备的类型可以变化。在步骤360中，方法300结束。
图4示出了视频游戏环境中的虚拟视图广播系统400的实施例的示意图，该视频游戏环境提供基于云的视频游戏广播系统。在该实施例中，活动玩家405正在玩视频游戏，并且评论员410选择用于被动虚拟观看者420的虚拟相机，以体验虚拟现实观看活动玩家405玩视频游戏。包括实时渲染引擎435的虚拟视图广播器430用于渲染虚拟视图。例如，可以采用图1或图2的虚拟视图广播器。虚拟视图广播器430，在图4中示出为基于云的服务器，接收来自评论员410的选择输入以确定用于生成虚拟视图流440的虚拟相机，以经由视频发送器439提供给虚拟观看者420。可以经由通信接口437接收选择输入，该通信接口437配置成发送和接收信号或数据。通信接口437和视频发送器可以是常规组件。在图4中，提供给虚拟观看者420的虚拟视图流是360度视频流。
包括渲染引擎435的虚拟视图广播器430可以在一个或更多个网络(例如，云)服务器上实现，以实时地(或半实时地)渲染内容并创建可以拼接在一起形成360度视频以用于实时或半实时地流式传输到虚拟观看者420的虚拟视图图像。
在一个示例中，虚拟视图广播器430是具有一个或更多个CPU和多个GPU的云服务器，其与实时游戏引擎一起耦合到适当的存储器，其中虚拟视图广播器430生成渲染成为通常一次具有6、8、16或32个虚拟视图图像的渲染目标的整个世界。在32个视图中，生成每个常规帧的32个虚拟视图图像。
虚拟视图广播器430可以将这些虚拟视图图像中的每一个拼接在一起以提供计算机生成的帧的全景图。360度虚拟观看过程在虚拟观看者420周围创建视图(例如，在上方、下方、向右和向左)，这些视图被拼接在一起以形成整体巨大的全景视图。虚拟视图广播器430可能需要大量的服务器处理能力，因为这些虚拟视图被多次创建(例如，每秒60、90或120次)以向虚拟观看者420提供流畅的交互式视频。
还可以采用单独的各个服务器来生成这些多个虚拟视图图像。编码器用于从虚拟视图图像创建视频，所述虚拟视图图像经由视频发送器439向外流式传输到虚拟观看者420。图像处理器438可以执行拼接和编码。图像处理器438可以是例如图像处理器218。可以将创建的视频流(例如，经由因特网)发送到虚拟观看者420以在其计算设备上观看。用于观看的至少一个客户端计算设备可以是VR HMD(头戴式显示器)耳机。在图4中，每个虚拟观看者具有VR HMD。利用视频流，虚拟观看者420可以体验360度虚拟现实。
虚拟观看者420(如观看体育赛事的观众)可以观看活动玩家405玩视频游戏。在一些实施例中，渲染引擎435基于从活动玩家405接收的应用程序数据生成虚拟视图。因此，虚拟观看者420可以接收与玩家相同的视图。在一些实施例中，评论员410可以选择虚拟相机以用于虚拟视图流440。因此，评论员410可以选择活动玩家405中的一个来进行流式传输。除了活动玩家405的视图之外，评论员410或虚拟观看者420可以选择其他视图。例如，虚拟观看者420可以选择虚拟相机以获得与观看玩家或玩家的视图不同的视图。在单个游戏中，可以通过选择输入选择多个虚拟相机。这样，虚拟视图广播器430可以创建虚拟视图图像并在游戏期间将其拼接在一起以形成来自不同虚拟相机的虚拟视图流。
采用VR HMD，每个虚拟观看者420可以通过定向或转动他们的头部从他们接收的虚拟视图流440确定他们的虚拟视图。该定位可以在观看虚拟视图流的球体的中心。在一些实施例中，基于可以基于依据计算设备的类型的其他方向信息来生成虚拟视图。
在一些实施例中，虚拟观看者420可以经由移动虚拟相机在视频游戏内移动以创建他们自己的VR体验。在一些实施例中，虚拟观看者420在视频游戏内的移动可以类似于移动靠近或远离电视屏幕。如上所述，视频导演的评论员410也可以移动相机位置。
因此，上述系统、装置和方法或其至少一部分可以体现在各种处理器中或由其执行，例如数字数据处理器或计算机，其中计算机被编程或存储软件指令序列的可执行程序，以用于执行方法的一个或更多个步骤。本文公开的这种程序的软件指令可以代表算法以及以机器可执行的形式编码在非暂时性数字数据存储介质上，例如磁盘或光盘、随机存取存储器(RAM)、磁硬盘、闪存和/或只读存储器(ROM)，以使各种类型的数字数据处理器或计算机能够执行本文所述的一种或更多种方法的一个、多个或所有步骤或本文所述装置的组件的一个、多个或所有。
本文公开的某些实施例还可以涉及具有非暂时性计算机可读介质的计算机存储产品，其上具有用于执行体现设备、系统或执行这里阐述的方法的步骤的各种计算机实现的操作的程序代码。这里使用的非暂时性介质是指除了暂时的传播信号之外的所有计算机可读介质。非暂时性计算机可读介质的示例包括但不限于：诸如硬盘、软盘和磁带之类的磁介质；诸如CD-ROM盘的光介质；诸如光磁软盘的磁光介质；和专门配置用于存储和执行程序代码的硬件设备，例如ROM和RAM设备。程序代码的示例包括诸如由编译器产生的机器代码和包含可由计算机使用编译器器执行的更高级代码的文件。
本申请所涉及领域的技术人员将理解，可以对所描述的实施例进行其他和进一步的添加、删除、替换和修改。
本公开提供了一种广播系统，包括网络服务器，该网络服务器生成对应于例如用于同时活动和观众参与者的一组360度观看环境的多个基于计算机的观看图像，拼接单元，该拼接单元合并基于计算机的图像以形成用于同时活动和观众参与者的一组360度观看环境，以及将360度观看环境编码成视频流以便传输到同时活动和观众参与者的观看设备的编码器。360度观看环境可以对应于为观看设备提供视口的相机方向。视口总数决定了所需的每个基于计算机的图像的倍数。在一些实施例中，多个基于计算机的图像的生成对应于从每秒60变化到240帧的观看设备帧速率。多个基于计算机的图像的生成可以包括用于360度观看环境的虚拟现实渲染。多个基于计算机的图像的生成可以包括为360度观看环境选择存储的图像。在一些实施例中，多个基于计算机的图像中的每一个的生成速率等于每个视口所需的帧速率的总和。可以基于观众参与者生成视口。
广播系统还可用于生成光场。在这样的实施例中，基于云的渲染器绘制从给定视图位置生成光场所需的N个虚拟视图图像的阵列。视图位置对应于位置(虚拟相机)和客户端(虚拟观看者或其计算设备)。然后，图像处理器可以基于从计算设备接收的输入根据需要压缩虚拟视图图像。然后，计算设备可以接收透射光场并基于方向信息和视点进行显示。

Claims (19)

1.一种虚拟视图广播器，包括：
基于云的渲染器，配置成从位于计算机应用程序中的虚拟相机生成虚拟视图图像，其中所述基于云的渲染器包括多个图形处理单元(GPU)；和
图像处理器，配置成使用所述虚拟视图渲染图像生成用于所述虚拟相机的虚拟视图流，其中所述虚拟视图图像来自所述虚拟相机处的不同观看方向，以及所述基于云的渲染器中的每个GPU用于生成所述不同观看方向之一的虚拟视图图像。
2.如权利要求1所述的虚拟视图广播器，其中，所述图像处理器包括拼接器，所述拼接器配置成拼接来自每个所述不同观看方向的所述虚拟视图图像，以生成用于所述虚拟相机的图像流。
3.如权利要求2所述的虚拟视图广播器，其中，所述图像处理器包括编码器，所述编码器配置成对所述图像流进行编码以生成用于所述虚拟相机的所述虚拟视图流。
4.如权利要求1所述的虚拟视图广播器，其中，所述虚拟视图流是球形虚拟视频。
5.如权利要求4所述的虚拟视图广播器，其中，所述球形虚拟视频是立体视频。
6.如权利要求1所述的虚拟视图广播器，其中，所述计算机应用程序包括多个虚拟相机，并且基于选择输入从所述多个虚拟相机中选择所述虚拟相机。
7.如权利要求6所述的虚拟视图广播器，其中，所述虚拟视图广播器从虚拟视图广播器接收所述选择输入。
8.如权利要求1所述的虚拟视图广播器，其中，所述基于云的渲染器使用应用程序数据来生成所述虚拟视图图像。
9.如权利要求8所述的虚拟视图广播器，其中，所述计算机应用程序是基于云的视频游戏，并且所述应用程序数据来自所述基于云的视频游戏的活动玩家。
10.如权利要求8所述的虚拟视图广播器，其中，所述应用程序数据来自运行所述计算机应用程序的客户端计算设备。
11.如权利要求1所述的虚拟视图广播器，还包括视频发送器，配置成将所述虚拟视图流发送到虚拟观看者的计算设备。
12.如权利要求11所述的虚拟视图广播器，其中，所述视频发送器配置成将所述虚拟视图流发送到多个计算设备。
13.如权利要求1所述的虚拟视图广播器，其中，所述虚拟视图广播器从位于所述计算机应用程序中的多个虚拟相机生成多个虚拟视图流。
14.如权利要求1所述的虚拟视图广播器，其中，所述虚拟相机是移动虚拟相机。
15.如权利要求1所述的虚拟视图广播器，其中，所述计算机应用程序是基于云的视频游戏。
16.一种用于基于云的视频游戏的虚拟视图广播系统，包括：
网络服务器，其从位于计算机应用程序内的虚拟相机生成多个基于计算机的虚拟视图图像，其中所述网络服务器包括多个图形处理单元(GPU)；
拼接单元，其拼接所述基于计算机的虚拟视图图像以形成用于所述虚拟相机的360度视图图像集，其中每个GPU用于生成与所述虚拟相机的不同相机方向相对应的基于计算机的虚拟视图图像；和
编码器，其将所述360度视图图像集编码为视频流，以便发送到计算设备以供观看。
17.如权利要求16所述的虚拟视图广播系统，其中，每个所述基于计算机的虚拟视图图像对应于所述虚拟相机的不同相机方向之一。
18.如权利要求16所述的虚拟视图广播系统，其中，所述计算机应用程序是基于云的视频游戏，以及所述计算设备是虚拟观看者的计算设备。
19.一种视频游戏广播器，用于具有多个活动玩家的基于云的视频游戏，包括：
渲染引擎，其配置成从玩视频游戏的活动玩家的不同观看方向生成一组虚拟视图图像，其中所述渲染引擎包括多个图形处理单元(GPU)，以及每个GPU用于生成所述不同观看方向之一的虚拟视图图像；和
图像处理器，其配置成拼接各组中的每组虚拟视图图像，以形成与每个所述活动玩家相对应的360度虚拟视图，以及将所拼接的360度虚拟视图编码成不同的视频流，其中基于选择输入选择至少一个所述不同的视频流以发送到计算设备用于观看。
CN201880015676.4A 2017-01-04 2018-01-04 使用虚拟视图广播器云生成要流式传输到vr/ar平台的内容 Active CN110383346B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762442366P 2017-01-04 2017-01-04
US62/442,366 2017-01-04
PCT/US2018/012399 WO2018129197A1 (en) 2017-01-04 2018-01-04 Cloud generation of content to be streamed to vr/ar platforms using a virtual view broadcaster

Publications (2)

Publication Number Publication Date
CN110383346A CN110383346A (zh) 2019-10-25
CN110383346B true CN110383346B (zh) 2023-02-03

Family

ID=62711976

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880005941.0A Pending CN110178370A (zh) 2017-01-04 2018-01-04 使用用于立体渲染的光线步进和虚拟视图广播器进行这种渲染
CN201880015676.4A Active CN110383346B (zh) 2017-01-04 2018-01-04 使用虚拟视图广播器云生成要流式传输到vr/ar平台的内容

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880005941.0A Pending CN110178370A (zh) 2017-01-04 2018-01-04 使用用于立体渲染的光线步进和虚拟视图广播器进行这种渲染

Country Status (4)

Country Link
US (3) US10839591B2 (zh)
CN (2) CN110178370A (zh)
DE (1) DE112018000311T5 (zh)
WO (2) WO2018129186A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
EP3259654B1 (en) 2015-02-20 2021-12-29 Ultrahaptics Ip Ltd Algorithm improvements in a haptic system
EP3537265B1 (en) 2015-02-20 2021-09-29 Ultrahaptics Ip Ltd Perceptions in a haptic system
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US10943578B2 (en) 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
EP3557866A4 (en) * 2016-12-16 2019-12-04 Samsung Electronics Co., Ltd. METHOD FOR TRANSMITTING DATA RELATED TO A THREE-DIMENSIONAL IMAGE
CN110178370A (zh) 2017-01-04 2019-08-27 辉达公司 使用用于立体渲染的光线步进和虚拟视图广播器进行这种渲染
US11386607B1 (en) * 2017-04-16 2022-07-12 Meta Platforms, Inc. Systems and methods for capturing content
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
EP3729417A1 (en) 2017-12-22 2020-10-28 Ultrahaptics Ip Ltd Tracking in haptic systems
EP3729418A1 (en) 2017-12-22 2020-10-28 Ultrahaptics Ip Ltd Minimizing unwanted responses in haptic systems
GB2570298A (en) * 2018-01-17 2019-07-24 Nokia Technologies Oy Providing virtual content based on user context
US10607567B1 (en) 2018-03-16 2020-03-31 Amazon Technologies, Inc. Color variant environment mapping for augmented reality
US10777010B1 (en) * 2018-03-16 2020-09-15 Amazon Technologies, Inc. Dynamic environment mapping for augmented reality
US10559121B1 (en) 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
CN108171783A (zh) * 2018-03-20 2018-06-15 联想(北京)有限公司 图像渲染方法、系统以及电子设备
CA3098642C (en) 2018-05-02 2022-04-19 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
US10733786B2 (en) * 2018-07-20 2020-08-04 Facebook, Inc. Rendering 360 depth content
US10628990B2 (en) * 2018-08-29 2020-04-21 Intel Corporation Real-time system and method for rendering stereoscopic panoramic images
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
WO2020049322A1 (en) * 2018-09-09 2020-03-12 Ultrahaptics Ip Limited Event triggering in phased-array systems
KR102138977B1 (ko) * 2018-10-10 2020-07-28 민코넷주식회사 클라우드 컴퓨터를 이용한 게임 플레이 동영상 제공 시스템
US11378997B2 (en) 2018-10-12 2022-07-05 Ultrahaptics Ip Ltd Variable phase and frequency pulse-width modulation technique
US11550395B2 (en) 2019-01-04 2023-01-10 Ultrahaptics Ip Ltd Mid-air haptic textures
JP7343285B2 (ja) * 2019-03-20 2023-09-12 株式会社コーエーテクモゲームス コンピュータシステム、配信用端末及び配信サーバー
US11358057B2 (en) * 2019-03-22 2022-06-14 Disney Enterprises, Inc. Systems and methods for allowing interactive broadcast streamed video from dynamic content
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
US11164385B2 (en) * 2019-08-17 2021-11-02 Samsung Electronics Co., Ltd. Apparatuses and methods for establishing virtual reality (VR) call between caller VR device and callee VR device
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
WO2021074604A1 (en) 2019-10-13 2021-04-22 Ultraleap Limited Dynamic capping with virtual microphones
EP3829166A1 (en) 2019-11-29 2021-06-02 InterDigital CE Patent Holdings A method and apparatus for decoding a 3d video
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
KR102655908B1 (ko) * 2020-07-07 2024-04-11 인하대학교 산학협력단 적층 가능한 라이트필드 기반 가상공간 구축 방법 및 장치
US11886639B2 (en) 2020-09-17 2024-01-30 Ultraleap Limited Ultrahapticons
CN116888956A (zh) * 2021-02-28 2023-10-13 镭亚股份有限公司 流式传输压缩的多视图视频的系统和方法
US20230088014A1 (en) * 2021-04-21 2023-03-23 NewSight Reality, Inc. Optical module having active array of elements capable of synchronizing with see-through display
CN112973121B (zh) * 2021-04-30 2021-07-20 成都完美时空网络技术有限公司 反射效果生成方法及装置、存储介质、计算机设备
CN113470161B (zh) * 2021-06-30 2022-06-07 完美世界(北京)软件科技发展有限公司 虚拟环境中容积云的光照确定方法、相关设备及存储介质
GB2604193B (en) * 2021-08-06 2023-03-08 Imagination Tech Ltd Texture address generation
CN115639976B (zh) * 2022-10-28 2024-01-30 深圳市数聚能源科技有限公司 一种虚拟现实内容多模式多角度同步展示方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105939481A (zh) * 2016-05-12 2016-09-14 深圳市望尘科技有限公司 一种交互式三维虚拟现实视频节目录播和直播方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995742A (en) * 1997-07-25 1999-11-30 Physical Optics Corporation Method of rapid prototyping for multifaceted and/or folded path lighting systems
US7009615B1 (en) 2001-11-30 2006-03-07 Nvidia Corporation Floating point buffer system and method for use during programmable fragment processing in a graphics pipeline
US6876362B1 (en) 2002-07-10 2005-04-05 Nvidia Corporation Omnidirectional shadow texture mapping
US7256779B2 (en) 2003-05-08 2007-08-14 Nintendo Co., Ltd. Video game play using panoramically-composited depth-mapped cube mapping
GB0400371D0 (en) * 2004-01-09 2004-02-11 Koninkl Philips Electronics Nv Volumetric display
US20080143720A1 (en) * 2006-12-13 2008-06-19 Autodesk, Inc. Method for rendering global illumination on a graphics processing unit
US8319825B1 (en) * 2008-06-16 2012-11-27 Julian Urbach Re-utilization of render assets for video compression
JP5168580B2 (ja) * 2008-12-01 2013-03-21 富士通株式会社 運転模擬装置、広角カメラ映像模擬装置および画像変形合成装置
US9282321B2 (en) * 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
CN102834849B (zh) * 2011-03-31 2016-08-31 松下知识产权经营株式会社 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
US8928729B2 (en) 2011-09-09 2015-01-06 Disney Enterprises, Inc. Systems and methods for converting video
CN103959340A (zh) * 2011-12-07 2014-07-30 英特尔公司 用于自动立体三维显示器的图形呈现技术
CN102590923B (zh) * 2012-03-01 2015-04-22 清华大学深圳研究生院 透镜、全息图投影制作系统及方法
US9403090B2 (en) * 2012-04-26 2016-08-02 Riot Games, Inc. Video game system with spectator mode hud
US10803655B2 (en) * 2012-06-08 2020-10-13 Advanced Micro Devices, Inc. Forward rendering pipeline with light culling
US20140038708A1 (en) * 2012-07-31 2014-02-06 Cbs Interactive Inc. Virtual viewpoint management system
US20140274369A1 (en) * 2013-03-12 2014-09-18 Sony Computer Entertainment America Llc Scheme for assisting in catching an object in a computer simulation
DE102014105146B4 (de) * 2013-04-22 2021-11-04 Nvidia Corporation System, Verfahren und Computerprogrammprodukt zum Durchführen einer Pfad-Raum-Filterung
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
GB2527503A (en) * 2014-06-17 2015-12-30 Next Logic Pty Ltd Generating a sequence of stereoscopic images for a head-mounted display
US9661312B2 (en) * 2015-01-22 2017-05-23 Microsoft Technology Licensing, Llc Synthesizing second eye viewport using interleaving
US9852537B2 (en) * 2015-05-01 2017-12-26 Otoy Inc. Rendering via ray-depth field intersection
US9877016B2 (en) * 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
JP2018524134A (ja) 2015-06-14 2018-08-30 株式会社ソニー・インタラクティブエンタテインメント Ｖｒ観戦のための拡大された視野再レンダリング
US20170104927A1 (en) * 2015-10-07 2017-04-13 Little Star Media, Inc. Systems, methods and software programs for 360 degree video distribution platforms
US11228754B2 (en) 2016-05-06 2022-01-18 Qualcomm Incorporated Hybrid graphics and pixel domain architecture for 360 degree video
US10805592B2 (en) 2016-06-30 2020-10-13 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
US10460501B2 (en) 2016-07-04 2019-10-29 Liquid Cinema Inc., Canada System and method for processing digital video
US10346950B2 (en) * 2016-10-05 2019-07-09 Hidden Path Entertainment, Inc. System and method of capturing and rendering a stereoscopic panorama using a depth buffer
US10204395B2 (en) * 2016-10-19 2019-02-12 Microsoft Technology Licensing, Llc Stereoscopic virtual reality through caching and image based rendering
CN110178370A (zh) * 2017-01-04 2019-08-27 辉达公司 使用用于立体渲染的光线步进和虚拟视图广播器进行这种渲染

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105939481A (zh) * 2016-05-12 2016-09-14 深圳市望尘科技有限公司 一种交互式三维虚拟现实视频节目录播和直播方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虚拟演播室场景的光感表现;轩献;《影视制作》;20100115(第01期);全文 *

Also Published As

Publication number Publication date
CN110178370A (zh) 2019-08-27
US20200105047A1 (en) 2020-04-02
US10839591B2 (en) 2020-11-17
DE112018000311T5 (de) 2019-09-19
CN110383346A (zh) 2019-10-25
WO2018129186A1 (en) 2018-07-12
WO2018129197A1 (en) 2018-07-12
US20180192081A1 (en) 2018-07-05
US20180190007A1 (en) 2018-07-05
US10497168B2 (en) 2019-12-03

Similar Documents

Publication Publication Date Title
CN110383346B (zh) 使用虚拟视图广播器云生成要流式传输到vr/ar平台的内容
US10740951B2 (en) Foveal adaptation of particles and simulation models in a foveated rendering system
EP3265864B1 (en) Tracking system for head mounted display
US11115644B2 (en) Video generation method and apparatus using mesh and texture data
US9998664B1 (en) Methods and systems for non-concentric spherical projection for multi-resolution view
EP3634593B1 (en) Optimized deferred lighting and foveal adaptation of particles and simulation models in a foveated rendering system
US10218793B2 (en) System and method for rendering views of a virtual space
US11107183B2 (en) Adaptive mesh skinning in a foveated rendering system
JP2016513826A (ja) 情報処理装置、描画装置、方法及びプログラム
JP2022525412A (ja) 仮想キャラクタの現実間のクロスオーバ
CN110663067B (zh) 用于生成现实世界场景的定制视图的虚拟化投影以包括在虚拟现实媒体内容中的方法和系统
KR101340598B1 (ko) 3차원 평면 타일배열 텍스처 매핑을 이용한 동영상기반 다시점 및 파노라마 가상현실 뷰어 제작 방법
CN114616035A (zh) 混合流式传输
US20230206511A1 (en) Methods, systems, and media for generating an immersive light field video with a layered mesh representation
EP3616402A1 (en) Methods, systems, and media for generating and rendering immersive video content
US20200241300A1 (en) Stabilized and tracked enhanced reality images
JP2022521701A (ja) 画像信号を生成する装置および方法
US20230224550A1 (en) Server apparatus, terminal apparatus, information processing system, and information processing method
CN113614776A (zh) 表示场景的图像信号

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant