CN105050671A - 等待时间敏感的游戏特征的客户端渲染 - Google Patents
等待时间敏感的游戏特征的客户端渲染 Download PDFInfo
- Publication number
- CN105050671A CN105050671A CN201380066879.3A CN201380066879A CN105050671A CN 105050671 A CN105050671 A CN 105050671A CN 201380066879 A CN201380066879 A CN 201380066879A CN 105050671 A CN105050671 A CN 105050671A
- Authority
- CN
- China
- Prior art keywords
- game
- client
- played
- server
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000001953 sensory effect Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000015556 catabolic process Effects 0.000 claims description 2
- 238000006731 degradation reaction Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 3
- 230000000977 initiatory effect Effects 0.000 claims 2
- 238000007781 pre-processing Methods 0.000 abstract description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000035807 sensation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/534—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明的实施例在客户端与游戏服务器之间分割游戏处理和渲染。渲染的视频游戏图像从游戏服务器被接收并且与由所述游戏客户端所生成的渲染的图像组合以形成被呈现给用户的单个视频游戏图像。可以使用丰富感觉输入（诸如三维图像数据和音频数据）来控制玩游戏。所述三维图像数据描述存在于游戏空间中的对象的形状、大小以及方位。所述丰富感觉输入被传送到游戏服务器，潜在地利用一些预处理，并且还至少部分地在客所述户端上被在本地消费。在一个实施例中，等待时间敏感的特征是在所述客户端上处理并且在所述客户端上渲染的仅有特征。
Description
背景技术
视频游戏可以使用生成丰富数据流的控制器。例如，深度相机可以被用来为视频游戏生成控制信号。深度相机生成由相机查看的空间的三维图像。其它丰富数据流包括视频和音频数据。可以也许与其它输入数据相结合地检测并且解释三维图像内的玩家移动，以操纵视频游戏。
发明内容
本发明内容被提供来以简化的形式引入在下面在具体实施方式中被进一步描述的构思的选择。本发明内容不旨在识别所要求保护的主题的关键特征或必要特征，它也不旨在被孤立地用来帮助确定所要求保护的主题的范围。
本发明的实施例在客户端与游戏服务器之间分割游戏处理和渲染。渲染的视频游戏图像从游戏服务器被接收并且与由游戏客户端所生成的渲染的图像组合以形成被呈现给用户的单个视频游戏图像。可以使用丰富感觉输入、传达语音的这样的音频数据以及由深度相机或能够生成三维图像数据的其它设备所生成的三维图像数据来控制玩游戏。三维图像数据描述存在于游戏空间中的对象的形状、大小以及方位。游戏空间是玩家存在并且由输入设备查看的区域。
丰富感觉输入由客户端设备接收并且然后传送到游戏服务器，潜在地利用一些预处理，并且还至少部分地在客户端上被在本地消费。在一个实施例中，等待时间敏感的特征是在客户端上处理并且在客户端上渲染的仅有特征。例如，响应于在三维图像数据中捕获的用户动作而移动的化身（avatar）可以被渲染在客户端上，同时视频游戏图像的其余部分被渲染在服务器上。除化身之外，还可以将等待时间敏感的游戏特征（诸如响应于用户的移动而移动的真实或虚拟游戏对象的操纵）渲染在客户端上。例如，如果化身正握住棒球棒，则由该化身握住的棒球棒还可以由客户端渲染。在多个玩家位于控制输入设备的视图中的情况下，可以对直接链接到多个玩家的多个化身或游戏特征进行客户端渲染。在其它玩家经由网络连接并且不在同一地理位置或游戏空间中的远程多游戏玩家设定中，那么其它玩家的化身被渲染在服务器上。
附图说明
在下面参考附图详细地描述本发明的实施例，其中：
图1是适合于实现本发明的实施例的示例性计算环境的框图；
图2是依照本发明的实施例的在线游戏环境的图；
图3是依照本发明的实施例的远程游戏计算环境的图；
图4是依照本发明的实施例的使用丰富数据流生成的游戏界面的图；
图5是图示了依照本发明的实施例的图示了组成三个渲染的图像的图；
图6是图示了依照本发明的实施例的通过分割渲染过程的数据流的图；
图7是示出了依照本发明的实施例的使用数据丰富输入设备通过远程连接使得能实现玩游戏的方法的流程图；
图8是示出了依照本发明的实施例的使用数据丰富输入设备通过远程连接使得能实现玩游戏的方法的流程图；以及
图9是示出了依照本发明的实施例的使用数据丰富输入设备通过远程连接使得能实现玩游戏的方法的流程图。
具体实施方式
本发明的实施例的主题在本文中被具体地描述以满足法定要求。然而，描述本身不旨在限制本专利的范围。相反，发明人已结合其它目前或将来的技术设想到所要求保护的主题还可能被以其它方式具体化，以包括不同的步骤或与本文档中所描述的步骤类似的步骤的组合。而且，尽管术语“步骤”和/或“块”可以在本文中被用来意指所采用的方法的不同元素，但是除非并且除了当显式地描述了各个步骤的顺序时，否则术语不应该被解释为暗示本文中所公开的各种步骤之中或之间的任何特定顺序。
本发明的实施例在客户端与游戏服务器之间分割游戏处理和渲染。渲染的视频游戏图像从游戏服务器被接收并且与由游戏客户端所生成的渲染的图像组合以形成被呈现给用户的单个视频游戏图像。可以使用丰富感觉输入、传达语音的这样的音频数据以及由深度相机或能够生成三维图像数据的其它设备所生成的三维图像数据来控制玩游戏。三维图像数据描述存在于游戏空间中的对象的形状、大小以及方位。游戏空间是玩家存在并且由输入设备查看的区域。
丰富感觉输入由客户端设备接收并且然后传送到游戏服务器，潜在地利用一些预处理，并且还至少部分地在客户端上被在本地消费。在一个实施例中，等待时间敏感的特征是在客户端上处理并且在客户端上渲染的仅有特征。例如，响应于在三维图像数据中捕获的用户动作而移动的化身可以被渲染在客户端上，同时视频游戏图像的其余部分被渲染在服务器上。除化身之外，还可以将等待时间敏感的游戏特征（诸如响应于用户的移动而移动的真实或虚拟游戏对象的操纵）渲染在客户端上。例如，如果化身正握住棒球棒，则由该化身握住的棒球棒还可以由客户端渲染。在多个玩家位于控制输入设备的视图中情况下，可以对直接链接到多个玩家的多个化身或游戏特征进行客户端渲染。在其它玩家经由网络连接并且不在同一地理位置或游戏空间中的远程多游戏玩家设定中，那么其它玩家的化身被渲染在服务器上。
本发明的实施例在客户端与游戏服务器之间分割游戏处理和渲染。渲染的视频游戏图像从游戏服务器被接收并且与由游戏客户端所生成的渲染的图像组合以形成被呈现给用户的单个视频游戏图像。可以使用丰富感觉输入、传达语音的这样的音频数据以及由深度相机或能够生成三维图像数据的其它设备所生成的三维图像数据来控制玩游戏。三维图像数据描述存在于游戏空间中的对象的形状、大小以及方位。游戏空间是玩家存在并且由输入设备查看的区域。
丰富感觉输入由客户端设备接收并且然后传送到游戏服务器，潜在地利用一些预处理，并且还至少部分地在客户端上被在本地消费。在一个实施例中，等待时间敏感的特征是在客户端上处理并且在客户端上渲染的仅有特征。例如，响应于在三维图像数据中捕获的用户动作而移动的化身可以被渲染在客户端上，同时视频游戏图像的其余部分被渲染在服务器上。除化身之外，还可以将等待时间敏感的游戏特征（诸如响应于用户的移动而移动的真实或虚拟游戏对象的操纵）渲染在客户端上。例如，如果化身正握住棒球棒，则由该化身握住的棒球棒还可以由客户端渲染。在多个玩家位于控制输入设备的视图中情况下，可以客户端渲染直接链接到多个玩家的多个化身或游戏特征。在其它玩家经由网络连接并且不在同一地理位置或游戏空间中的远程多游戏玩家设定中，那么其它玩家的化身被渲染在服务器上。
已经简要地描述了本发明的实施例的概要，在下面描述适合于在实现本发明的实施例时使用的示例性操作环境。
示例性操作环境
一般而言参考附图，并且特别地最初参考图1，用于实现本发明实施例的示例性操作环境被示出并且一般地标明为计算设备100。计算设备100只是适合的计算环境的一个示例，并且关于本发明的使用范围或功能性不旨在建议任何限制。计算设备100也不应该被解释为具有与所图示的组件中的任何一个或组合有关的任何依赖或要求。
可以在计算机代码或机器可用指令的一般上下文中描述本发明，所述计算机代码或机器可用指令包括正由计算机或其它机器（诸如个人数据助理或其它手持设备）执行的诸如程序组件这样的计算机可执行指令。一般地，包括例行程序、程序、对象、组件、数据结构等的程序组件指代执行特定任务或者实现特定抽象数据类型的代码。本发明的实施例可以用各种系统配置加以实践，所述系统配置包括手持设备、消费电子装置、通用计算机、专用计算设备等。还可以在任务由通过通信网络被链接的远程处理设备执行的分布式计算环境中实践本发明的实施例。
继续参考图1，计算设备110包括直接地或间接地耦接以下设备的总线110：存储器112、一个或多个处理器114、一个或多个呈现组件116、输入/输出（I/O）端口118、I/O组件120以及说明性电源122。总线110表示什么可以为一个或多个总线（诸如地址总线、数据总线或其组合）。尽管为了清楚起见图1的各种块用线加以示出，但是实际上，刻划各种组件不是如此清楚的，并且打个比方，线更准确地说将是灰色且模糊的。例如，一个人可以将诸如显示设备这样的呈现组件认为是I/O组件120。并且，处理器具有存储器。发明人由此认识到这是技术的本质，并重申图1的图仅仅说明能够连同本发明的一个或多个实施例使用的示例性计算设备。未在如“工作站”、“服务器”、“膝上型电脑”、“手持设备”等这样的类别之间进行区别，因为全部在图1的范围内被设想到并且是对“计算机”或“计算设备”的参考。
计算设备100典型地包括各种计算机可读媒体。计算机可读媒体可以是能够被计算设备100访问的任何可用媒体，并且包括易失性和非易失性媒体、可移除和不可移除媒体两者。作为示例而非限制，计算机可读媒体可以包括计算机存储媒体和通信媒体。计算机存储媒体包括用任何方法或技术加以实现以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据这样的信息的易失性和非易失性媒体、可移动和不可移动媒体两者。
计算机存储媒体包括RAM、ROM、EEPROM、闪速存储器或其它存储器技术、CD-ROM、数字通用盘（DVD）或其它光盘存储装置、磁盒、磁带、磁盘存储装置或其它磁存储设备。计算机存储媒体不包括传播的数据信号。
通信媒体典型地在诸如载波或其它传输机制的已调制数据信号中具体化计算机可读指令、数据结构、程序模块或其它数据并且包括任何信息递送媒体。术语“已调制数据信号”意指这样的信号，所述信号使其特性中的一个或多个以这样的方式被设置或改变以便将信息编码在所述信号中。作为示例而非限制，通信媒体包括诸如有线网络或直接有线连接这样的有线媒体，以及诸如声学、RF、红外线这样的无线媒体和其它无线媒体。上述中的任一个的组合也应该被包括在计算机可读媒体的范围内。
存储器112包括形式为易失性和/或非易失性存储器的计算机存储媒体。存储器112可以是可移动的、非可移动的或其组合。示例性存储器包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备100包括一个或多个处理器114，所述处理器114从诸如总线110、存储器112或I/O组件120这样的各种实体读取数据。（一个或多个）呈现组件116将数据指示呈现给用户或其它设备。示例性呈现组件116包括显示设备、扬声器、打印组件、振动组件等。I/O端口118允许计算设备100被逻辑上耦接到包括I/O组件120的其它设备，其中的一些可以被内置。说明性I/O组件120包括麦克风、游戏杆、游戏板、卫星碟形天线、扫描器、打印机、无线设备等。
示例性在线游戏环境
现转向图2，示出了依照本发明的实施例的在线游戏环境200。在线游戏环境200包括通过网络220连接到游戏服务230的各种游戏客户端。示例性游戏客户端包括游戏控制台210、平板212以及个人计算机214。其它游戏客户端（诸如智能电话和电视）的使用也是可能的。游戏控制台210可以具有通信地耦接到它的一个或多个游戏控制器。在一个实施例中，平板212可以作为用于游戏控制台210或个人计算机214的输入设备。在另一实施例中，平板212是独立游戏客户端。网络220可以是广域网，诸如因特网。
与游戏控制台210相关联的控制器包括游戏板231、平板232、头戴式耳机236以及深度相机234。游戏控制台可以与生成丰富数据流和基本数据流两者的控制设备相关联。各个的控制器能够生成不同种类的数据流，并且单个控制器能够生成丰富数据流和基本数据流两者。
游戏板231也许能够生成基本控制信号，诸如通过按钮选择和游戏杆移动所生成的那些。诸如由游戏板231内的加速度计和陀螺仪所生成的移动数据这样的移动数据可以是丰富感觉数据的示例。在一些实施方式中，移动数据未被认为是丰富感觉数据。
将输入流分类为丰富的或基本的取决于通过上传完全控制流对游戏引起的等待时间。诸如可用带宽和客户端能力这样的因素可以影响分类。在一个实施例中，在到游戏服务器的通信期间添加超过80ms的往返等待时间的数据流被分类为丰富的。往返等待时间指代用户提供输入（诸如按下按钮）与在显示器上看见输入的结果（例如，化身移动）之间的总延迟。除非在本公开内容中另外规定，否则术语等待时间指代往返等待时间。因此，术语等待时间和往返等待时间被可交换地使用。80ms的等待时间是除由客户端和服务器上的基线处理所添加的等待时间之外。不同的游戏可以建立不同的等待时间标准。进一步地，不同的游戏特征可以具有不同的等待时间容限。
本发明的实施例可以在特定情况下做出什么构成特定游戏的丰富数据流的上下文确定。每个游戏可以具有往返等待时间-灵敏度等级。往返等待时间灵敏等级可以是根据从测试组收集的用户反馈或通过另一方法来确定的，并且与游戏相关联。等待时间灵敏度等级对于不同的游戏特征来说可以不同或对于整个游戏来说相同。例如，可以给予化身移动与背景移动不同的灵敏度等级。
可以通过针对目前游戏识别等待时间灵敏度等级、确定可用带宽、并且确定客户端和服务器处理能力来确定针对每个输入流的丰富分类或基本分类。可以组合各种因素以确定为控制流创建的等待时间。如果它小于等待时间灵敏度等级则控制流是基本的，如果大于等待时间灵敏度等级则是丰富的。
在实施例中，与控制流相关联的等待时间是使用测试控制输入和测试游戏响应用实验方法确定的。所测量到的等待时间被用来确定控制是基本的还是丰富的。
当控制经由实验或计算被确定为丰富的时，那么可以使用控制流的客户端侧预处理。随后更详细地描述各种预处理方法。如果控制是基本的，则它在未被变换为减少的控制输入的情况下被上传，但是仍然可以根据在将控制信号传送到服务器时牵涉的各种传输协议和其它处理来处理它。这个其它处理对预处理的控制信号和未处理的控制信号两者发生。
当特定特征是等待时间敏感的时，那么那些特征可以被渲染在客户端上并且与从服务器接收到的渲染的图像组合。不管控制输入是什么，特征都可能是等待时间敏感的。例如，不管化身是使用深度相机还是游戏杆来控制，化身移动都可能是等待时间敏感的。
平板232可以既是游戏控制器又是游戏客户端。平板232被示出为直接地耦接到游戏控制台210，但是连接可能是通过因特网或子网间接的。在一个实施例中，游戏服务230帮助在平板232与游戏控制台之间做出连接。当设备使用被链接的相同标识或标识码登录时，游戏服务230可以关联设备。用户还可能要求设备通过游戏服务230链接以用作为输入设备或伙伴设备。平板232能够生成许多控制流并且还可以用作显示输出机制。除作为主显示器之外，平板232能够提供与在耦接到游戏控制台210或简单地为控制表面的主显示器上示出的信息不同但是相关的补充游戏信息。由平板232所生成的输入流包括视频和图片数据、音频数据、移动数据、触摸屏数据以及键盘输入数据。
深度相机234生成被用作控制输入的三维图像数据。深度相机234可以使用红外线相机来为所捕获的每个像素确定深度或与相机相距的距离。立体深度相机也是可能的。此外，深度相机234可以捕获彩色视频流或图片。深度相机234可以具有数个图像收集组件。例如，深度相机234可以具有多个相机。深度相机234可以被用来创建用户接口，通过所述用户接口用户做出手势并且说出音频命令以控制游戏。用户可以没有其它控制器。在其它实施例中，可以与其它控制输入相结合地使用深度相机234。
头戴式耳机236捕获来自玩家和该玩家的环境的音频输入，并且如果它与头戴受话器或其它扬声器耦接则还可以作为输出设备。
游戏服务230可以包括彼此通信地耦接的多个计算设备。在一个实施例中，游戏服务230使用一个或多个服务器场来实现。可以跨越包括全世界各地的城市的各种地理区域展开服务器场。在这个场景中，游戏客户端可以连接到最近的服务器场。本发明的实施例不限于这个设置。
游戏服务230允许游戏在由游戏服务230所提供的计算设备内被执行。游戏服务与游戏客户端之间的通信会话将输入业务携带到游戏服务230并且返回渲染的游戏图像。在这个实施例中，作为游戏服务的一部分的计算设备使用由与各种游戏客户端相关联的输入设备所生成的控制流来执行视频游戏代码。经渲染的视频游戏然后通过网络被传送到其中经渲染的游戏被输出以得到显示的游戏客户端。
用于远程游戏的示例性游戏客户端和游戏服务
现转向图3，示出了依照本发明的实施例的使用丰富输入控制数据的远程游戏环境300。游戏环境300包括通过网络330通信地耦接到游戏服务器340的游戏客户端310。在一个实施例中，网络可以是因特网。游戏客户端310被连接到第一游戏输入设备312、第二游戏输入设备314以及显示器316。示例性游戏输入设备包括游戏板、键盘、鼠标、触摸板、触摸屏、移动感知设备（例如，装备加速度计和/或陀螺仪的设备）、用于接收话音命令的麦克风、深度相机、视频相机以及轨迹球。本发明的实施例不限于这些输入设备。显示器316能够显示视频游戏内容。例如，显示器316可以是电视或计算机屏幕。在另一实施例中，显示器316是集成有游戏客户端310的触摸屏。
游戏客户端310是能够执行视频游戏的计算设备。游戏客户端310可能是平板或膝上型计算机。在另一实施例中，游戏客户端310是游戏控制台并且显示器316是通信地耦接到该游戏控制台的远程显示器。游戏客户端310包括操作环境320、视频合成组件326、游戏执行环境322、游戏数据贮存器324、游戏特定预处理组件321以及通用预处理组件328。
操作环境320可以由管理硬件并且将服务提供给在游戏客户端310上运行的应用的操作系统来提供。操作环境可以将客户端资源作为预处理和其它功能的一部分分配给不同的应用。
游戏数据贮存器324存储下载的游戏和部分下载的游戏。游戏可以用可玩块加以下载。为了玩游戏，可能需要将游戏从游戏数据贮存器324加载到与游戏执行环境322相关联的有源存储器中。游戏数据贮存器324还可以存储玩家进度文件。
游戏特定预处理组件326处理丰富控制器输入以生成减少的控制器输入。经减少的控制器输入能够采取许多形式，并且能够取决于所牵涉的丰富控制器输入的类型而变化。
当丰富控制输入是三维图像数据时，由客户端所生成的经减少的控制器输入可以采取骨骼跟踪数据、表面的减少（reductiontosurfaces）、几何形状的减少（reductiontogeometry）、增量、压缩成像以及边界框（boundingbox）的减少的形式。将随后更详细地描述这些中的每一个，但是它们全部导致控制数据包括要传送到控制器的更少数据。经减少的控制器输入通过网络330被传送到游戏服务器340上的游戏执行环境348。经减少的控制器输入被用作控制在进行中的游戏的输入。
游戏特定预处理326特定于正被执行的特定游戏。虽然步骤可能与随后描述的通用预处理类似，但是游戏特定处理的一部分特定于特定游戏。代码可以是游戏特定的以便以对特定游戏可消费的形式生成输出。换句话说，游戏特定代码可以被用来生成兼容的控制信号。在其它情况下，游戏特定代码做其它游戏不做的独有事情。
在一个实施例中，游戏特定预处理生成特定于游戏的控制输入。例如，能够将手势解释成意指向右移动化身或拾取第一游戏中的对象，但是在第一游戏中不同的东西。在这种情况下，经减少的控制器输入将仅是移动命令而不是三维图像数据。解释三维图像数据以辨识手势并且形成移动命令是一种类型的输入数据（深度数据）到第二类型（移动）的变换。进一步采取这个一步法（one-step），能够将移动数据或深度数据转换为控制命令，诸如“投球”或“暂停游戏”。这被描述为对控制的变换。在其它实施例中，相关控制数据与不相关控制数据分开，但是不改变形式。例如，减少的控制器输入可能是在感兴趣对象周围的三维图像的一部分，诸如玩家的面部或手，而没有三维图像数据的其余部分。使图像数据（3D或2D）的一部分隔离被描述为边界框的减少。在音频命令的游戏特定预处理中，经减少的控制器输入可能是以游戏特定方式（诸如游戏特定行话的使用）描述的独有游戏命令或公共游戏命令。
在一个实施例中，游戏特定预处理组件326被抽象或者基于原先写成在客户端侧被完全地处理的视频游戏的。以这种方式，处理丰富控制器输入的视频游戏的部分被分开并且放在客户端侧，并且用于其它游戏功能的命令被发送直到驻留在服务器340上的游戏的执行部分。在这种情况下，可能需要调解否则本会在客户端上的游戏执行环境内即时处理的数据。随后更详细地说明的信号调解组件346可以执行这个调解。
通用预处理328以适用于或可由多个游戏消费的方式预处理丰富数据输入。由通用预处理组件328所生成的经减少的控制器输入通过网络330被传送到游戏执行环境348，其中它可以被用来操纵在进行中的游戏。通用预处理步骤的示例包括骨骼跟踪、增量、服务的减少、几何形状的减少、边界框的减少以及三维图像压缩。当丰富数据输入包括音频信号时通用处理可能是语音到文本翻译。例如，用户能够说单词“pause（暂停）”并且通用预处理能够发送用来暂停游戏的命令。
游戏执行环境322包括客户端310上使用来执行游戏的实例或游戏的一部分的游戏资源。在一些实施例中，客户端310不包括用来执行完全游戏的游戏执行环境或计算资源。游戏执行环境322包括有源存储器以及计算和视频处理。游戏执行环境322接收游戏控制并且使游戏根据其编程被操纵并且有进展。在一个实施例中，游戏执行环境322输出被传送到显示设备的渲染的视频流。
在其它实施例中，游戏执行环境322仅输出与等待时间敏感的游戏特征有关的代码。游戏的等待时间敏感的特征可以由游戏开发者标明并且还可以被动态地确定。在一个实施例中，游戏服务340传送执行仅等待时间敏感的特征所需的游戏代码。执行环境322可能不具有用来执行整个游戏的资源或代码。游戏执行环境322可以执行游戏的一部分以生成通过视频合成组件321与从游戏服务器340接收到的渲染的图像组合的游戏图像。
视频合成组件321使从游戏服务器340接收到的渲染的视频游戏图像与由客户端所渲染的渲染的视频游戏图像合并，以形成被输出给显示器316的单个图像。视频合成组件可以执行缩放和其它功能以生成适当的视频输出。
游戏服务器340包括连接管理器342、玩家简档数据贮存器344、信号调解组件346、游戏执行环境348、游戏数据贮存器350以及游戏管理器352。虽然被描绘为单个框，但是游戏服务器340可能是包括许多机器的服务器场，或甚至数个服务器场。
连接管理器342构建客户端310与服务器340之间的连接。连接管理器342还可以提供各种认证机制以确保用户有权访问由服务器340所提供的游戏服务。连接管理器342还可以分析连接内可用的带宽并且按需将这个信息提供给组件。例如，可以减少视频游戏图像的分辨率以适应有限的带宽。
玩家简档数据贮存器344可以与连接管理器342相结合地工作来构建并且存储玩家信息。玩家简档的一部分可以包括诸如玩家的名字、地址以及信用卡信息这样的人口统计和财务信息或用于支付或购买由游戏服务所提供的游戏和体验的其它机制。
此外，玩家简档数据贮存器344可以存储玩家在各个游戏内的进度。随着玩家在游戏过程中有进展，可以存储玩家的分数和对游戏级别的访问。进一步地，玩家简档数据贮存器344可以存储关于诸如语言偏好这样的各个玩家偏好的信息。还可以存储并且利用有关玩家的游戏客户端和网络连接的速度的信息来优化游戏体验。例如，在一个实施例中，当地理上最接近的服务器场忙时，具有较高的等待时间因特网连接的玩家可以被优先地连接到最接近的服务器场，然而具有较低的等待时间连接的玩家可以被连接到较远的服务器场。以这种方式，具有很好地能够处理附加等待时间的网络连接的玩家被连接到因为他们的位置而创建附加等待时间的服务器场。
玩家简档数据贮存器344还可以存储各个玩家的使用历史。可以存储玩家的购买游戏、抽查游戏或通过不需要游戏的购买的游戏服务来玩游戏的历史。可以分析使用信息以建议对各个玩家感兴趣的游戏。在一个实施例中，购买历史可以包括不是通过游戏服务购买的游戏。例如，可以通过玩家输入来自在零售商店里购买的游戏的密钥来扩增购买历史。在一些实施例中，玩家然后既可以在他们的游戏客户端310上又可以通过游戏服务访问游戏。
游戏执行环境348包括游戏服务器340上使用来执行游戏的实例或游戏的一部分的游戏资源。游戏执行环境348包括有源存储器以及计算和视频处理。游戏执行环境348从游戏客户端310接收控制信号并且使游戏根据其编程被操纵并且有进展。在一个实施例中，游戏执行环境348输出被传送到游戏客户端的渲染的视频流。在其它实施例中，游戏执行环境322输出可以与游戏客户端上的本地对象组合以渲染游戏视频的游戏几何形状或其它表示。游戏执行环境322可以执行游戏的一部分以生成被传送到游戏客户端310以用于与由游戏客户端310所生成的渲染的图像组合的游戏图像。
现转向图4，示出了依照本发明的实施例的示例性深度相机接口。深度相机410有玩家430的视图。深度相机410生成能够捕获玩家430的移动的三维图像数据。在这种情况下，玩家430正在上下移动他们的左手臂。游戏控制台或游戏服务器从深度相机410接收输入并且使用它来操纵在显示器420上示出的化身422。如可以看到的，化身422的移动与虚拟对象424和第二玩家426交互。通过游戏服务器连接到同一游戏会话的不同人可以控制第二玩家426。虚拟对象424是球。用户的移动当由深度相机410捕获时能够形成控制输入。
图4还包括玩家430的画中画（“PIP”）图像470。这个可以是由深度相机410或某个其它相机所捕获的标准视频图像。可以将PIP图像渲染在客户端上而不用将该图像发送到游戏服务器，因为PIP可能是等待时间敏感的。
现转向图5，依照本发明的实施例图示了三个渲染的图像。经渲染的图像包括服务器渲染的图像510、客户端渲染的化身520以及客户端渲染的画中画530。这三个渲染的图像被合成在一起以形成先前图4中所示出的图像。由服务器所生成的经渲染的图像还可以随着除着色的图像数据之外的深度缓冲数据被发送。深度缓冲数据被用来在合成过程期间订购经客户端渲染的图像和经服务器渲染的图像。例如，客户端可以渲染被由服务器在图像被合成时渲染的对象部分地隐藏的化身。深度数据被用来按照正确的深度顺序合成图像。经服务器渲染的图像510包括在所图示的游戏中非等待时间敏感的前景图像和背景图像两者。经服务器渲染的图像510包括背景区域528、虚拟游戏对象524以及远程玩家化身526。虚拟游戏图像524是基于由玩家在本地和第二玩家远程地采取的动作来操纵的。如先前所提到的，两个玩家正在使用不同的输入设备参与同一游戏。游戏正在远程服务器的游戏执行环境中被执行。
化身522由客户端渲染。如果化身由服务器渲染则可能产生的化身522移动中的延迟能够减小游戏的乐趣。注意，化身522和虚拟对象524都作为在客户端处接收到的控制输入的结果而被操纵。控制输入的至少一部分被发送到服务器并且控制输入的至少一部分由客户端消费。在一个实施例中，整个控制输入被发送到服务器并且整个控制输入由客户端消费，但是仅用来执行和渲染标明的游戏特征。
画中画530还由客户端渲染。在一个实施例中，视频图像未被连同其它控制器输入一起传送到服务器。如果视频图像被传送到服务器，则它还由客户端消费来生成PIP图像。如所提到的，三个渲染的图像被合成以形成被输出给用户的单个视频游戏图像。
现转向图6，图示了通过本发明的可能的实施例的数据流。远程游戏环境600包括输入设备610、游戏客户端620、网络630、游戏服务器640以及显示器650。输入设备610生成丰富数据信号，诸如三维图像或视频数据。先前已经描述了丰富数据流的其它示例。游戏客户端620可以是游戏控制台或其它计算设备。网络630可以与先前所描述的网络330类似并且可以包括因特网。游戏服务器640可以与先前所描述的游戏服务器340类似。
游戏服务器640响应于从游戏客户端620接收到的控制信号来执行已被操纵的视频游戏。显示器650可以是电视、监视器或集成到诸如平板或智能电话这样的计算设备中的其它显示器。在本发明的实施例中，可以将显示器650集成到游戏客户端620中。例如，游戏客户端620可以是具有集成显示器的平板或膝上型计算机。应该提到的是，在本发明的一些实施例中还可以将输入设备610集成到游戏客户端620中。例如，游戏客户端能够具有集成在游戏客户端620的机身中的深度相机。
最初，输入设备610生成被发送到游戏客户端620上的信号管理组件622的丰富数据信号。丰富数据信号可以是由三维捕获设备所生成的三维图像数据。信号管理组件622将控制信号中的全部或部分导向适当的目的地。信号管理组件622还可以对数据信号执行各种预处理，以使它准备好用于由客户端渲染组件624或游戏服务器640消费。
信号管理组件622通过网络630向游戏服务器640发送预处理或别样的信号的至少一部分。游戏服务器640消费信号以操纵正在进行的游戏会话并且以渲染视频游戏图像。约略地、同时地，信号管理组件622将视频游戏输入信号的至少一部分传送到客户端渲染组件624。为了简单起见，客户端渲染组件624被指示为单个组件。然而，客户端渲染组件624可以是游戏执行环境的一部分或者与响应于信号来执行游戏的一部分的未示出的其它组件有关。
客户端渲染组件624生成与基于相同或类似的信号而生成的经服务器渲染的视频游戏图像不同的客户端渲染的视频游戏图像。一般地，客户端渲染组件624生成等待时间敏感的或更方便渲染在客户端620上的特定游戏特征的图像。为了渲染图像，必须可在客户端620上执行视频游戏的至少一部分。进一步地，客户端可能需要描述围绕玩家的化身的玩的环境的环境几何形状以便计算适当的移动。例如，游戏客户端620将需要知道化身正站在墙壁前面，并且不响应于向前移动指令而向前移动化身。化身可以类似地绕对象导航、落下、跳跃，或者取决于环境状况来执行其它动作。游戏客户端620上的代码能够确定适于环境状况（包括其它玩家位置）和游戏因素（诸如玩家能力级别）的化身移动。例如，如果目前游戏状态指示了玩家缺少跳的目前能力，则用来跳的指令将不被客户端遵循。
游戏服务器640可以周期性地将游戏状态信息发送到客户端620以用于在客户端侧游戏代码中使用。游戏状态信息可以包括描述陆地、对象以及其它玩家的环境几何形状。在一个实施例中，客户端不跟踪总体游戏进度，跟踪游戏点、分数等。例如，游戏客户端620可以渲染移动左手臂的化身，但是不知道手臂是否接触了球或者结果得到的球移动是否赢得一分。客户端可以最终输出示出了手臂击中球的合成图像，但是游戏代码可能不知道超出渲染化身改变所需的其它游戏信息或其它等待时间敏感的特征。
来自游戏服务器640和客户端渲染组件624的经渲染的视频游戏图像皆被视频合成组件626接收。视频合成组件形成被输出给显示器650的单个视频游戏图像。
现转向图7，示出了依照本发明的实施例的在基于服务器的游戏环境中使用丰富感觉数据作为控制输入来玩视频游戏的方法700。基于服务器的游戏环境可以与先前参考图3所描述的远程游戏环境类似。一般而言，游戏客户端在本地接收丰富感觉输入并且将这个信息中的全部或一部分传送到执行该游戏并且生成视频游戏图像的游戏服务器。
在步骤710处，数据丰富控制输入在游戏客户端处作为游戏视频输入控制被接收。数据丰富控制输入可以由深度相机来生成，所述深度相机在相机的视图中反映对象在空间的容积中的大小和形状。数据丰富控制输入可以是由麦克风所接收到的语音数据或由装备加速度计或陀螺仪的设备所捕获的移动数据。输入设备可以集成到游戏客户端中，所述输入设备诸如集成到平板或个人计算机中的相机或麦克风。输入设备可以位于在游戏客户端附近并且经由有线连接或无线连接通信地耦接到游戏客户端。被游戏客户端接收未必意指输入是从外部设备接收的。被游戏客户端接收能够意指由游戏客户端生成并且被游戏客户端上的组件接收，所述组件诸如先前所描述的信号组件622或客户端渲染组件624，或在游戏客户端上处理游戏功能的游戏执行环境内的组件的组合。
在步骤720处，在客户端处通过将响应于从游戏服务器接收到的数据丰富控制输入而生成的渲染的视频游戏图像与由游戏客户端响应于数据丰富控制输入而渲染的视频游戏图像组合来生成集成的视频游戏图像。因此，单个视频游戏图像是通过将由游戏服务器所渲染的视频游戏图像与由游戏客户端所渲染的视频游戏图像组合来创建的。由游戏服务器所渲染的图像以及由游戏客户端所渲染的那些图像是不同的。在一个实施例中，两个图像不具有共同特征。例如，第一化身仅存在于经客户端渲染的视频游戏图像中而不存在于经服务器渲染的图像中。类似地，游戏对象或第二玩家可以被渲染在经服务器生成的图像中而不存在于经客户端渲染的图像中。
在一个实施例中，经客户端生成的图像是基于数据丰富控制输入或包括彩色视频的附加输入数据而生成的画中画视频。在一个实施例中，画中画是与背景或周围对象隔离地示出玩家的绿屏图像。
在一个实施例中，客户端仅渲染等待时间敏感的特征。等待时间敏感的特征可以依游戏而变化。等待时间敏感的特征是当视频游戏外观在等待时间阈值内不响应于控制输入改变时玩家将体验到降级的游戏体验的那些。每个游戏或游戏特征的等待时间阈值可以由开发者确定并且与游戏相关联。在一个实施例中，如果超过50ms延迟引起玩游戏降级则游戏特征是等待时间敏感的。在一个实施例中，用来渲染等待时间敏感的特征的图像的代码被传送到游戏客户端。
可以精细地定义等待时间敏感的游戏特征。例如，化身的第一移动可以是等待时间敏感的，然而不同的第二移动不是。例如，跳可以是等待时间敏感的然而步行不是。客户端侧游戏代码可以首先解释游戏控制输入并且确定等待时间敏感的游戏特征是否被控制输入操纵。当等待时间敏感的游戏特征被操纵时那么它可以由客户端渲染。当没有等待时间敏感的游戏特征被操纵时，整个图像可以被服务器渲染并且客户端代码将不渲染任何图像。例如，当控制输入打开暂停游戏的菜单时，整个菜单导航可以被服务器渲染。
在另一示例中，化身附件（例如，手、手臂、腿、脚以及头部）是等待时间敏感的，然而身体的其余部分不是。在这种情况下，客户端将仅渲染待与包括化身身体的服务器渲染的图像组合的附件的图像。
由游戏客户端所渲染的等待时间敏感的游戏特征的列表可以随着状况改变而改变。例如，随着网络状况放慢并且由网络创建的等待时间增加，附加特征可以由客户端渲染。当网络状况放慢时，控制输入被传送到游戏客户端并且渲染的图像被传送回到游戏客户端可能花费较长时间。可以在游戏会话期间监测并且对照每个游戏特征等待时间阈值来比较花费来执行信息的这个交换的总交易时间。游戏客户端或游戏服务器可以做这个比较。当总交易时间超过游戏特征的等待时间阈值时，那么客户端将开始渲染该游戏特征。当总交易时间落在等待时间阈值以下时，那么游戏特征可以再次由服务器渲染。以这种方式，特定游戏特征的渲染可以取决于网络状况和与游戏特征相关联的等待时间阈值在客户端与服务器之间迁移。服务器还可以监测网络状况，并且将用来开始渲染特定特征的显式指令发送到游戏客户端。
现转向图8，示出了依照本发明的实施例的用于使用数据丰富控制输入作为控制输入来玩视频游戏的方法800。可以在与先前参考图3所描述的远程游戏环境类似的远程游戏环境中执行方法800。
在步骤810处，在游戏客户端处接收数据丰富控制输入。输入设备可以集成到游戏客户端中，所述输入设备诸如集成到平板或个人计算机中的相机或麦克风。输入设备可以位于在游戏客户端附近并且经由有线连接或无线连接通信地耦接到游戏客户端。被游戏客户端接收未必意指输入是从外部设备接收的。被游戏客户端接收能够意指由游戏客户端生成并且被游戏客户端上的组件接收，所述组件诸如先前所描述的信号组件622或客户端渲染组件624，或在游戏客户端上处理游戏功能的游戏执行环境内的组件的组合。
在步骤820处，在游戏客户端处在本地处理数据丰富控制输入的一部分以生成渲染的视频游戏特征。处理可以使用在游戏客户端上运行的游戏特定代码来完成。游戏特定代码是与在不能够执行整个游戏但是能够生成可与正在游戏服务器处执行的总体游戏的图像组合的某些图像的游戏服务器上运行的游戏相关联的代码。
在步骤830处，在游戏客户端处从视频游戏正在其上运行的游戏服务器接收渲染的视频游戏图像。在步骤840处，经渲染的视频游戏特征被与经渲染的视频游戏图像合成以形成最终渲染的视频。在步骤850处，经渲染的视频被输出给显示设备。
现转向图9，示出了依照本发明的实施例的用于使用三维图像数据作为控制输入来玩视频游戏的方法900。可以在与参考先前图3所描述的远程游戏环境类似的远程游戏环境中执行方法900。
在步骤910处，在游戏服务器处接收描绘由玩家所执行的动作的三维图像数据。三维图像数据描绘由与游戏客户端位于在一起的玩家所执行的动作。输入设备可以集成到游戏客户端中，所述输入设备诸如集成到平板或个人计算机中的相机或麦克风。输入设备可以位于游戏客户端附近并且经由有线连接或无线连接通信地耦接到游戏客户端。被游戏客户端“接收”未必意指输入是从外部设备接收的。被游戏客户端接收能够意指由游戏客户端生成并且被游戏客户端上的组件接收，所述组件诸如先前所描述的信号组件622或客户端渲染组件624，或在游戏客户端上处理游戏功能的游戏执行环境内的组件的组合。
在步骤920处，游戏状态信息基于三维图像数据的解释被更新。在步骤930处，三维图像数据的一部分在游戏服务器处被处理以生成服务器渲染的视频游戏图像。经服务器渲染的视频游戏图像不是视频游戏的完整图像。一个或多个游戏特征由游戏客户端渲染并且与经服务器渲染的视频游戏图像组合以生成向用户示出的视频游戏图像。
在步骤940处，服务器渲染的视频游戏图像被从视频游戏正在其上运行的游戏服务器传送到游戏客户端。
已经将本发明的实施例描述为说明性的而不是限制性的。应当理解，特定特征和子组合是有用的并且可以被采用，而不用参考其它特征和子组合。这由权利要求的范围设想到并且在权利要求的范围内。
Claims (15)
1.一个或多个计算机存储媒体，其具有具体化在其上的计算机可执行指令，所述计算机可执行指令当由计算设备执行时，执行在基于服务器的游戏环境中使用丰富感觉数据作为控制输入来玩视频游戏的方法，所述方法包括：
在游戏客户端处接收数据丰富输入作为视频游戏控制输入；
在所述游戏客户端处通过将由所述游戏服务器响应于所述数据丰富输入而生成的服务器渲染的视频游戏图像与由所述游戏客户端响应于所述数据丰富输入而渲染的客户端渲染的视频游戏图像组合来生成合成视频游戏图像。
2.根据权利要求1所述的媒体，其中所述游戏客户端仅渲染等待时间敏感的游戏特征。
3.根据权利要求1所述的媒体，其中所述客户端渲染的视频游戏图像是使用所述游戏客户端的玩家的化身。
4.根据权利要求1所述的媒体，其中所述游戏服务器不渲染使用所述游戏客户端的玩家的化身。
5.根据权利要求1所述的媒体，其中所述客户端渲染的视频游戏图像是通过在发起游戏会话时从所述游戏服务器下载的游戏代码来生成的。
6.一种用于使用丰富感觉数据作为控制输入来玩视频游戏的方法，所述方法包括：
在游戏客户端处接收所述数据丰富输入作为视频游戏控制输入；
在所述游戏客户端处在本地处理所述数据丰富输入的一部分以生成客户端渲染的视频游戏特征；
在所述游戏客户端处从所述视频游戏正在其上运行的游戏服务器接收服务器渲染的视频游戏图像；
使所述客户端渲染的视频游戏特征与所述服务器渲染的视频游戏图像合成以形成渲染的合成视频；
将所述渲染的合成视频输出给显示设备。
7.根据权利要求6所述的方法，其中所述处理通过游戏特定代码来执行。
8.根据权利要求6所述的方法，其中所述客户端渲染的视频游戏特征是对在所述数据丰富输入中检测到的用户动作做出响应的化身图像。
9.根据权利要求6所述的方法，其中所述客户端渲染的视频游戏特征是响应于在所述数据丰富输入中检测到被映射到视角改变指令的用户动作而发起的视角改变。
10.根据权利要求9所述的方法，其中所述视角改变是画面旋转。
11.根据权利要求6所述的方法，其中所述客户端渲染的视频游戏特征是作为画中画与游戏场景相结合地示出的所述玩家的视频。
12.一个或多个计算机存储媒体，其具有具体化在其上的计算机可执行指令，所述计算机可执行指令当由计算设备执行时，执行使用三维图像数据作为控制输入来玩视频游戏的方法，所述方法包括：
在游戏服务器处接收从游戏客户端传送的三维图像数据，所述三维图像数据描绘由与所述游戏客户端位于在一起的玩家所执行的动作；
使用所述三维图像数据来操纵在所述游戏服务器上运行的视频游戏；
在所述游戏服务器处生成所述视频游戏的不包括等待时间敏感的游戏特征的渲染图像的服务器渲染的视频游戏图像；以及
将所述服务器渲染的视频游戏图像传送到所述游戏客户端。
13.根据权利要求12所述的媒体，其中等待时间敏感的游戏特征是超过80ms往返等待时间对于玩家引起游戏体验的降级的那些。
14.根据权利要求12所述的媒体，其中所述方法进一步包括向所述游戏服务器传送渲染等待时间敏感的特征的游戏代码。
15.根据权利要求12所述的媒体，其中所述方法进一步包括将包括在客户端渲染的游戏特征周围的几何形状的游戏状态信息传送到所述游戏客户端。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/723,498 US9717982B2 (en) | 2012-12-21 | 2012-12-21 | Client rendering of latency sensitive game features |
| US13/723498 | 2012-12-21 | ||
| PCT/US2013/076918 WO2014100583A1 (en) | 2012-12-21 | 2013-12-20 | Client rendering of latency sensitive game features |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105050671A true CN105050671A (zh) | 2015-11-11 |
| CN105050671B CN105050671B (zh) | 2018-01-02 |
Family
ID=50029209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380066879.3A Active CN105050671B (zh) | 2012-12-21 | 2013-12-20 | 等待时间敏感的游戏特征的客户端渲染系统和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9717982B2 (zh) |
| EP (1) | EP2934710B1 (zh) |
| CN (1) | CN105050671B (zh) |
| WO (1) | WO2014100583A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017084283A1 (zh) * | 2015-11-17 | 2017-05-26 | 腾讯科技（深圳）有限公司 | 一种移动游戏的数据处理方法以及装置 |
| CN110227260A (zh) * | 2019-08-07 | 2019-09-13 | 南昌黑鲨科技有限公司 | 云游戏加速方法、装置、可读存储介质及计算机设备 |
| CN110476188A (zh) * | 2017-03-30 | 2019-11-19 | 奇跃公司 | 集中式渲染 |
| CN111402353A (zh) * | 2020-03-11 | 2020-07-10 | 浙江大学 | 一种基于自适应虚拟化绘制流水线的云-端绘制计算框架 |
| CN113455008A (zh) * | 2019-02-25 | 2021-09-28 | 谷歌有限责任公司 | 可变端点用户界面渲染 |
| CN113660539A (zh) * | 2017-04-11 | 2021-11-16 | 杜比实验室特许公司 | 分层的增强型娱乐体验 |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10058778B2 (en) * | 2007-12-05 | 2018-08-28 | Sony Interactive Entertainment America Llc | Video compression system and method for reducing the effects of packet loss over a communication channel |
| US8977776B1 (en) * | 2012-06-18 | 2015-03-10 | Amazon Technologies, Inc. | Content streaming with bandwidth management |
| US8961302B2 (en) | 2012-07-20 | 2015-02-24 | Microsoft Technology Licensing, Llc | Game browsing |
| US9526980B2 (en) | 2012-12-21 | 2016-12-27 | Microsoft Technology Licensing, Llc | Client side processing of game controller input |
| US9717982B2 (en) | 2012-12-21 | 2017-08-01 | Microsoft Technology Licensing, Llc | Client rendering of latency sensitive game features |
| US9564102B2 (en) | 2013-03-14 | 2017-02-07 | Microsoft Technology Licensing, Llc | Client side processing of player movement in a remote gaming environment |
| US9694277B2 (en) | 2013-03-14 | 2017-07-04 | Microsoft Technology Licensing, Llc | Client side processing of character interactions in a remote gaming environment |
| US20140292803A1 (en) * | 2013-03-29 | 2014-10-02 | Nvidia Corporation | System, method, and computer program product for generating mixed video and three-dimensional data to reduce streaming bandwidth |
| JP6153450B2 (ja) * | 2013-10-30 | 2017-06-28 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理システムおよび情報処理装置 |
| US20150134302A1 (en) | 2013-11-14 | 2015-05-14 | Jatin Chhugani | 3-dimensional digital garment creation from planar garment photographs |
| WO2015097726A1 (ja) * | 2013-12-26 | 2015-07-02 | 株式会社スクウェア・エニックス | 描画システム、制御方法、プログラム、及び記録媒体 |
| US10366439B2 (en) | 2013-12-27 | 2019-07-30 | Ebay Inc. | Regional item reccomendations |
| US20150189012A1 (en) * | 2014-01-02 | 2015-07-02 | Nvidia Corporation | Wireless display synchronization for mobile devices using buffer locking |
| EP3125125A4 (en) | 2014-03-24 | 2018-07-25 | Square Enix Co., Ltd. | Interactive system, terminal device, server device, control method, program, and recording medium |
| US11045730B1 (en) * | 2014-09-17 | 2021-06-29 | Wayne Goldman | Systems and methods for IoT enabled arcade games |
| US20160092956A1 (en) | 2014-09-30 | 2016-03-31 | Jonathan Su | Garment size mapping |
| US9894185B2 (en) * | 2014-12-16 | 2018-02-13 | Software Ag | System and method for condition-based application logic shifting between a client and a server |
| CN105096373B (zh) * | 2015-06-30 | 2020-04-28 | 华为技术有限公司 | 一种媒体内容渲染的方法、用户设备及系统 |
| US10218793B2 (en) * | 2016-06-13 | 2019-02-26 | Disney Enterprises, Inc. | System and method for rendering views of a virtual space |
| US10471353B2 (en) * | 2016-06-30 | 2019-11-12 | Sony Interactive Entertainment America Llc | Using HMD camera touch button to render images of a user captured during game play |
| KR101897704B1 (ko) * | 2017-09-25 | 2018-10-29 | 넷마블 주식회사 | 게임 서비스 제공 장치 및 방법 |
| US10580187B2 (en) | 2018-05-01 | 2020-03-03 | Enas TARAWNEH | System and method for rendering of an animated avatar |
| GB2574650A (en) * | 2018-06-14 | 2019-12-18 | Sony Interactive Entertainment Inc | System and method for generating an input signal |
| US10926177B2 (en) * | 2019-03-15 | 2021-02-23 | Sony Interactive Entertainment Inc. | Systems and methods for predicting states by using a distributed game engine |
| US10937220B2 (en) | 2019-04-22 | 2021-03-02 | Disney Enterprises, Inc. | Animation streaming for media interaction |
| WO2020229995A1 (en) * | 2019-05-10 | 2020-11-19 | Roderick Victor Kennedy | Reduction of the effects of latency for extended reality experiences |
| US11033813B2 (en) * | 2019-06-07 | 2021-06-15 | Microsoft Technology Licensing, Llc | Latency erasure |
| US11297116B2 (en) * | 2019-12-04 | 2022-04-05 | Roblox Corporation | Hybrid streaming |
| CN112090084B (zh) * | 2020-11-23 | 2021-02-09 | 成都完美时空网络技术有限公司 | 对象的渲染方法和装置、存储介质和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1252145A (zh) * | 1997-12-22 | 2000-05-03 | 皇家菲利浦电子有限公司 | 转换软件代理使用电影摄影技术屏蔽等待时间 |
| CN1894012A (zh) * | 2003-12-19 | 2007-01-10 | 皇家飞利浦电子股份有限公司 | 交互式视频 |
| US20100156932A1 (en) * | 2005-06-24 | 2010-06-24 | Nhn Corporation | Method for inserting moving picture into 3-dimension screen and record medium for the same |
| CN101931622A (zh) * | 2009-06-23 | 2010-12-29 | Nhn株式会社 | 利用网络游戏进行服务的方法 |
| US20110175923A1 (en) * | 2009-08-28 | 2011-07-21 | Amitt Mahajan | Apparatuses, methods and systems for a distributed object renderer |
Family Cites Families (73)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5838909A (en) | 1996-05-23 | 1998-11-17 | Sandcastle, Inc. | Reducing latency when synchronizing access to a multi-user database over a network |
| US6758755B2 (en) | 1996-11-14 | 2004-07-06 | Arcade Planet, Inc. | Prize redemption system for games executed over a wide area network |
| US6038599A (en) | 1997-04-23 | 2000-03-14 | Mpath Interactive, Inc. | Latency server and matchmaker |
| US6415317B1 (en) | 1999-10-01 | 2002-07-02 | Joshua Michael Yelon | Software system for reducing the appearance of latency in a multi-user environment |
| US6377257B1 (en) | 1999-10-04 | 2002-04-23 | International Business Machines Corporation | Methods and apparatus for delivering 3D graphics in a networked environment |
| AU1593401A (en) | 1999-11-16 | 2001-05-30 | Sony Electronics Inc. | System and method for leveraging data into a game platform |
| US6884172B1 (en) | 2000-10-25 | 2005-04-26 | Ngame Limited | Electronic game system |
| US7587520B1 (en) | 2001-01-24 | 2009-09-08 | 3Dlabs Inc. Ltd. | Image display system with visual server |
| US6475090B2 (en) | 2001-03-29 | 2002-11-05 | Koninklijke Philips Electronics N.V. | Compensating for network latency in a multi-player game |
| US7580972B2 (en) | 2001-12-12 | 2009-08-25 | Valve Corporation | Method and system for controlling bandwidth on client and server |
| US7277946B2 (en) | 2002-06-28 | 2007-10-02 | Microsoft Corporation | Distributed session listing and content discovery |
| US7603406B2 (en) | 2002-07-25 | 2009-10-13 | Sony Corporation | System and method for wireless software download and remote transaction settlement |
| US20040030882A1 (en) | 2002-08-08 | 2004-02-12 | Forman George Henry | Managed application pre-launching |
| US20040082388A1 (en) | 2002-10-23 | 2004-04-29 | Simsek Burc A. | Apparatus and method for incorporation of external digital or analog information in computer and console gaming environments |
| US9032465B2 (en) | 2002-12-10 | 2015-05-12 | Ol2, Inc. | Method for multicasting views of real-time streaming interactive video |
| US20090118019A1 (en) | 2002-12-10 | 2009-05-07 | Onlive, Inc. | System for streaming databases serving real-time applications used through streaming interactive video |
| US20040135805A1 (en) | 2003-01-10 | 2004-07-15 | Gottsacker Neal F. | Document composition system and method |
| US7076616B2 (en) | 2003-03-24 | 2006-07-11 | Sony Corporation | Application pre-launch to reduce user interface latency |
| JP3632963B2 (ja) | 2003-05-29 | 2005-03-30 | コナミ株式会社 | ネットワーク対戦型端末装置、方法及びプログラム |
| KR100475881B1 (ko) | 2004-04-08 | 2005-03-14 | 엔에이치엔(주) | 사용자별 행태에 따라 게임 채널을 랜덤하게 할당하는인터넷 게임 서비스 시스템 및 그 방법 |
| WO2006025461A1 (ja) | 2004-08-31 | 2006-03-09 | Kunihiro Shiina | 通話を伴うプッシュ型情報通信システム |
| US20060135258A1 (en) | 2004-12-17 | 2006-06-22 | Nokia Corporation | System, network entity, client and method for facilitating fairness in a multiplayer game |
| US20080207322A1 (en) | 2005-03-21 | 2008-08-28 | Yosef Mizrahi | Method, System and Computer-Readable Code For Providing a Computer Gaming Device |
| WO2006124922A2 (en) | 2005-05-17 | 2006-11-23 | Super Computer International | Collaborative online gaming system and method |
| US9566522B2 (en) | 2005-05-27 | 2017-02-14 | Nokia Technologies Oy | Device, method, and computer program product for customizing game functionality using images |
| US20110157196A1 (en) | 2005-08-16 | 2011-06-30 | Exent Technologies, Ltd. | Remote gaming features |
| US7889669B2 (en) | 2005-09-26 | 2011-02-15 | Alcatel Lucent | Equalized network latency for multi-player gaming |
| US20070093297A1 (en) | 2005-10-26 | 2007-04-26 | Waterleaf Ltd. | On-line, real-time game playing with search facility |
| US20070173325A1 (en) | 2006-01-20 | 2007-07-26 | Microsoft Corporation | Join in-progress on-line game session |
| EP2044543A4 (en) | 2006-04-13 | 2012-07-04 | Yosef Mizrachi | METHOD AND DEVICE FOR PROVIDING GAME SERVICES AND MOVING WITH VIDEO CONTENT |
| US8888592B1 (en) | 2009-06-01 | 2014-11-18 | Sony Computer Entertainment America Llc | Voice overlay |
| US8087017B1 (en) | 2007-04-09 | 2011-12-27 | Moka5, Inc. | Trace-assisted prefetching of virtual machines in a distributed system |
| US8166131B2 (en) | 2007-09-21 | 2012-04-24 | Sony Computer Entertainment Inc. | Network delivery of entertainment software |
| US8979647B2 (en) | 2007-10-26 | 2015-03-17 | Microsoft Technology Licensing, Llc | Method of providing player status and ability to join games |
| US9142097B2 (en) | 2007-10-26 | 2015-09-22 | Igt | Gaming system and method for providing play of local first game and remote second game |
| JP4408929B2 (ja) | 2007-11-22 | 2010-02-03 | 株式会社スクウェア・エニックス | オンラインゲームシステム |
| US8968087B1 (en) | 2009-06-01 | 2015-03-03 | Sony Computer Entertainment America Llc | Video game overlay |
| US8613673B2 (en) | 2008-12-15 | 2013-12-24 | Sony Computer Entertainment America Llc | Intelligent game loading |
| US9211473B2 (en) | 2008-12-15 | 2015-12-15 | Sony Computer Entertainment America Llc | Program mode transition |
| US20090215538A1 (en) | 2008-02-22 | 2009-08-27 | Samuel Jew | Method for dynamically synchronizing computer network latency |
| US20090247295A1 (en) | 2008-03-31 | 2009-10-01 | Weldon Marcus K | Network-Based Methods and Apparatus for Rendering Images to an End User |
| US8264493B2 (en) | 2008-05-12 | 2012-09-11 | Playcast Media Systems, Ltd. | Method and system for optimized streaming game server |
| US8444490B2 (en) | 2008-12-15 | 2013-05-21 | Tetris Online, Inc. | Interactive asynchronous game offline play architecture |
| US8430755B2 (en) | 2008-12-15 | 2013-04-30 | Tetris Online, Inc. | Interactive asynchronous game play architecture |
| US8926435B2 (en) | 2008-12-15 | 2015-01-06 | Sony Computer Entertainment America Llc | Dual-mode program execution |
| US20100199231A1 (en) | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Predictive determination |
| US8719336B2 (en) | 2009-02-03 | 2014-05-06 | Microsoft Corporation | Method and apparatus for thwarting traffic analysis in online games |
| US8151199B2 (en) | 2009-02-09 | 2012-04-03 | AltEgo, LLC | Computational delivery system for avatar and background game content |
| US9723319B1 (en) | 2009-06-01 | 2017-08-01 | Sony Interactive Entertainment America Llc | Differentiation for achieving buffered decoding and bufferless decoding |
| US20110025689A1 (en) | 2009-07-29 | 2011-02-03 | Microsoft Corporation | Auto-Generating A Visual Representation |
| US20110055135A1 (en) | 2009-08-26 | 2011-03-03 | International Business Machines Corporation | Deferred Teleportation or Relocation in Virtual Worlds |
| EP2319597A1 (en) | 2009-10-13 | 2011-05-11 | Crytek GmbH | A system of providing data for entertaining presentations to at least one audience |
| US8313377B2 (en) | 2009-10-14 | 2012-11-20 | Sony Computer Entertainment America Llc | Playing browser based games with alternative controls and interfaces |
| US8325187B2 (en) | 2009-10-22 | 2012-12-04 | Samsung Electronics Co., Ltd. | Method and device for real time 3D navigation in panoramic images and cylindrical spaces |
| US20110162004A1 (en) | 2009-12-30 | 2011-06-30 | Cevat Yerli | Sensor device for a computer-controlled video entertainment system |
| US9486701B2 (en) | 2009-12-30 | 2016-11-08 | Crytek Gmbh | Computer-controlled video entertainment system |
| US9400695B2 (en) | 2010-02-26 | 2016-07-26 | Microsoft Technology Licensing, Llc | Low latency rendering of objects |
| EP2365470A1 (en) | 2010-03-09 | 2011-09-14 | Crytek GmbH | A multi-user computer-controlled advertisement presentation system and a method of providing user and advertisement related data |
| US20110250969A1 (en) | 2010-04-07 | 2011-10-13 | Marcel Van Os | Systems and methods for providing a game center having player specific achievement data |
| US8366526B2 (en) | 2010-04-16 | 2013-02-05 | Disney Enterprises, Inc. | Power play game mechanics |
| KR102000618B1 (ko) | 2010-09-13 | 2019-10-21 | 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 | 부가기능의 관리 |
| US8668582B1 (en) * | 2010-09-17 | 2014-03-11 | Amazon Technologies, Inc. | Accommodating latency in a server-based application |
| US20120079095A1 (en) | 2010-09-24 | 2012-03-29 | Amazon Technologies, Inc. | Cloud-based device synchronization |
| GB201102128D0 (en) | 2011-02-08 | 2011-03-23 | Mustafa Bilal I | Method and system for providing video game content |
| JP5076132B1 (ja) | 2011-05-25 | 2012-11-21 | 株式会社スクウェア・エニックス・ホールディングス | 描画制御装置、その制御方法、プログラム、記録媒体、描画サーバ、及び描画システム |
| US8823745B2 (en) | 2011-06-02 | 2014-09-02 | Yoostar Entertainment Group, Inc. | Image processing based on depth information and color data of a scene |
| US8850075B2 (en) | 2011-07-06 | 2014-09-30 | Microsoft Corporation | Predictive, multi-layer caching architectures |
| US8176437B1 (en) | 2011-07-18 | 2012-05-08 | Google Inc. | Responsiveness for application launch |
| US9250966B2 (en) | 2011-08-11 | 2016-02-02 | Otoy, Inc. | Crowd-sourced video rendering system |
| US9864632B2 (en) | 2011-08-17 | 2018-01-09 | Open Invention Network, Llc | System and method for transfer of an application state between devices |
| US20130225287A1 (en) | 2012-02-28 | 2013-08-29 | Zynga Inc. | Synchronous and asynchronous game modes |
| US8661491B1 (en) | 2012-08-02 | 2014-02-25 | Ericsson Television Inc. | Methods using base content and additive content and related client devices and network server devices |
| US9717982B2 (en) | 2012-12-21 | 2017-08-01 | Microsoft Technology Licensing, Llc | Client rendering of latency sensitive game features |
-
2012
- 2012-12-21 US US13/723,498 patent/US9717982B2/en active Active
-
2013
- 2013-12-20 EP EP13824701.0A patent/EP2934710B1/en active Active
- 2013-12-20 CN CN201380066879.3A patent/CN105050671B/zh active Active
- 2013-12-20 WO PCT/US2013/076918 patent/WO2014100583A1/en active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1252145A (zh) * | 1997-12-22 | 2000-05-03 | 皇家菲利浦电子有限公司 | 转换软件代理使用电影摄影技术屏蔽等待时间 |
| CN1894012A (zh) * | 2003-12-19 | 2007-01-10 | 皇家飞利浦电子股份有限公司 | 交互式视频 |
| US20100156932A1 (en) * | 2005-06-24 | 2010-06-24 | Nhn Corporation | Method for inserting moving picture into 3-dimension screen and record medium for the same |
| CN101931622A (zh) * | 2009-06-23 | 2010-12-29 | Nhn株式会社 | 利用网络游戏进行服务的方法 |
| US20110175923A1 (en) * | 2009-08-28 | 2011-07-21 | Amitt Mahajan | Apparatuses, methods and systems for a distributed object renderer |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017084283A1 (zh) * | 2015-11-17 | 2017-05-26 | 腾讯科技（深圳）有限公司 | 一种移动游戏的数据处理方法以及装置 |
| US10445103B2 (en) | 2015-11-17 | 2019-10-15 | Tencent Technology (Shenzhen) Company Limited | Mobile game data processing method and apparatus |
| CN110476188A (zh) * | 2017-03-30 | 2019-11-19 | 奇跃公司 | 集中式渲染 |
| CN110476188B (zh) * | 2017-03-30 | 2024-03-22 | 奇跃公司 | 集中式渲染 |
| CN113660539A (zh) * | 2017-04-11 | 2021-11-16 | 杜比实验室特许公司 | 分层的增强型娱乐体验 |
| CN113660539B (zh) * | 2017-04-11 | 2023-09-01 | 杜比实验室特许公司 | 用于渲染视觉对象的方法及装置 |
| CN113455008A (zh) * | 2019-02-25 | 2021-09-28 | 谷歌有限责任公司 | 可变端点用户界面渲染 |
| CN113455008B (zh) * | 2019-02-25 | 2024-04-09 | 谷歌有限责任公司 | 可变端点用户界面渲染 |
| CN110227260A (zh) * | 2019-08-07 | 2019-09-13 | 南昌黑鲨科技有限公司 | 云游戏加速方法、装置、可读存储介质及计算机设备 |
| CN111402353A (zh) * | 2020-03-11 | 2020-07-10 | 浙江大学 | 一种基于自适应虚拟化绘制流水线的云-端绘制计算框架 |
| CN111402353B (zh) * | 2020-03-11 | 2020-12-25 | 浙江大学 | 一种基于自适应虚拟化绘制流水线的云-端绘制计算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2934710A1 (en) | 2015-10-28 |
| EP2934710B1 (en) | 2019-12-11 |
| US20140179421A1 (en) | 2014-06-26 |
| WO2014100583A1 (en) | 2014-06-26 |
| CN105050671B (zh) | 2018-01-02 |
| US9717982B2 (en) | 2017-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105050671A (zh) | 等待时间敏感的游戏特征的客户端渲染 | |
| CN112400202B (zh) | 为在hmd环境中进行快速中央凹渲染利用预测和对gpu的后期更新做出的眼睛跟踪 | |
| JP6700463B2 (ja) | ヘッドマウントディスプレイ上の視覚的作用を制限するためのフィルタリング及びペアレンタルコントロール法 | |
| US11474599B2 (en) | Dynamic graphics rendering based on predicted saccade landing point | |
| EP3754992A1 (en) | Immersive interactive remote participation in live entertainment | |
| JP7185699B2 (ja) | 仮想シーンプリロード方法 | |
| US10159901B2 (en) | Client side processing of character interactions in a remote gaming environment | |
| US10369462B2 (en) | Client side processing of game controller input | |
| US20230098160A1 (en) | Scanning of 3d objects for insertion into an augmented reality environment | |
| EP2969081A1 (en) | Client side processing of player movement in a remote gaming environment | |
| US20160012640A1 (en) | User-generated dynamic virtual worlds | |
| CN113058264A (zh) | 虚拟场景的显示方法、虚拟场景的处理方法、装置及设备 | |
| US20230258948A1 (en) | Barometric pressure sensor arrays for detecting presence and motion of objects for tracking or triggering a response | |
| JP2019036239A (ja) | 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置 | |
| US20230386452A1 (en) | Methods for examining game context for determining a user's voice commands | |
| CN115463413A (zh) | 应用于多人互动场景下的互动装置、控制方法和互动系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |