CN109069932A - 观看与虚拟现实(vr)用户互动性相关联的vr环境 - Google Patents

观看与虚拟现实(vr)用户互动性相关联的vr环境 Download PDF

Info

Publication number
CN109069932A
CN109069932A CN201780028278.1A CN201780028278A CN109069932A CN 109069932 A CN109069932 A CN 109069932A CN 201780028278 A CN201780028278 A CN 201780028278A CN 109069932 A CN109069932 A CN 109069932A
Authority
CN
China
Prior art keywords
hmd
spectators
view
player
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780028278.1A
Other languages
English (en)
Other versions
CN109069932B (zh
Inventor
R.马克斯
S.奥斯曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN109069932A publication Critical patent/CN109069932A/zh
Application granted granted Critical
Publication of CN109069932B publication Critical patent/CN109069932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5252Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/86Watching games played by other players
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供一种用于为观众生成虚拟现实环境的视图的方法、系统、计算机可读介质和云系统。一种示例方法包括生成要为头戴式显示器(HMD)玩家的HMD呈现的虚拟现实环境。向所述HMD玩家提供HMD视图,所述HMD视图通过所述HMD玩家对所述HMD的移动来控制。接着,提供观看所述虚拟现实环境的观众视图。所述观众视图与指向所述虚拟现实环境的视点相关联。使所述视点与所述HMD视图解耦。在一些实例中,预创作多个视点,并且在HMD玩家在所述虚拟现实环境中到处移动时,向所述观众提供所述视点中的不同视点。

Description

观看与虚拟现实(VR)用户互动性相关联的VR环境
发明人:
Richard Marks
Steven Osman
技术领域
本公开涉及在头戴式显示器(HMD)中呈现的虚拟现实(VR)环境内容,以及用于集成由观看用户对VR环境的访问的方法和系统,以及用于使得用户能够观看由在VR环境中互动的HMD用户导航的动态地变化的环境的方法,还有相关联的设备和方法。
背景技术
视频游戏产业多年以来经历了很多改变。随着计算机能力的不断扩大,视频游戏的开发者同样也制作了充分利用计算能力的这些增强的游戏软件。为此目的,视频游戏开发者一直以来都在编码结合复杂操作和数学运算的游戏以产生非常逼真的游戏体验。
示例游戏平台包括SonySony(PS2)、Sony(PS3)和Sony(PS4),每个都以游戏机的形式出售。众所周知,游戏机被设计成连接到显示器(典型地是电视机),并且使得能够利用手持式控制器进行用户互动。游戏机被设计成具有专门处理硬件和其它胶合硬件、固件和软件,所述专门处理硬件包括CPU、用于处理集中图形操作的图形合成器、用于执行几何变换的向量单元。游戏机还被设计成具有用于收纳游戏盘的光盘读取器,以经由游戏机在本地玩游戏。也可以是在线游戏,其中用户可以通过互联网与其他用户以互动方式比赛或一起进行游戏。由于游戏的复杂性不断激起玩家的兴趣,游戏和硬件制造商不断进行创新以启用额外的互动性和计算机程序。
计算机游戏行业的发展趋势是开发提高用户与游戏系统之间的互动性的游戏。实现更丰富的互动体验的一个方法是使用无线游戏控制器,游戏系统对所述控制器的移动进行跟踪以便跟踪玩家的移动并将这些移动用作游戏的输入。一般而言,手势输入表示使用诸如计算系统、视频游戏机、智能家电等电子装置对由玩家做出并被电子装置捕获的一些手势做出反应。
实现更为沉浸的互动式体验的另一种方法是使用头戴式显示器。头戴式显示器由用户穿戴,并且可以被配置来呈现各种图形,诸如虚拟空间的视图。呈现在头戴式显示器上的图形可以覆盖用户的大部分或甚至全部视野。因此,头戴式显示器可以为用户提供沉浸的体验。
本公开的实施方案在该上下文中出现。
发明内容
本公开的实现方式包括用于使得能够观看HMD用户正在遇到、观看和/或介接的虚拟现实环境和内容的方法和系统。在一些实施方案中,描述使得用户能够经由虚拟现实空间中的预创作的位点/位置在VR用户的VR环境中进行观看的方法和系统。在另一个实施方案中,观看模式使得用户能够使用VR用户的注视方向来聚焦或识别VR环境内的特定位置。举例来说,VR用户的注视方向可以标识在VR环境内观众可识别的一些位置。在另一个实施方案中,调整和/或修改音频控件以使得观众能够专注收听在VR用户的VR环境中的特定位置。例如,观看用户可以决定VR环境内的某个位置是感兴趣的,并且然后可以调整传达给观看用户的声音以向观看用户提供将会围绕观看用户的声音,就像观看用户实际上位于识别的VR环境位置那样。
在一个实施方案中,提供一种用于为观众生成虚拟现实环境的视图的方法。所述方法包括生成要为头戴式显示器(HMD)玩家的HMD呈现的虚拟现实环境。向所述HMD玩家提供HMD视图,所述HMD视图通过所述HMD玩家对所述HMD的移动来控制。接着,提供观看所述虚拟现实环境的观众视图。所述观众视图与指向所述虚拟现实环境的视点相关联。使所述视点与所述HMD视图解耦。在一些实例中,预创作多个视点,并且在HMD玩家在所述虚拟现实环境中到处移动时,向所述观众提供所述视点中的不同视点。
在一些实施方案中,所述HMD的移动改变所述HMD视图,并且其中使所述观众视图的所述视点解耦产生所述视点的延迟移动以跟随所述HMD视图。
在一些实施方案中,所述视点的所述延迟移动的功能是以比所述HMD的移动更慢的速率跟随所述HMD视图。
在一些实施方案中,所述视点是与所述虚拟现实环境相关联的多个视点中的一个。
在一些实施方案中,为所述观众视图选择所述视点中的选择的视点。
在一些实施方案中,基于在所述虚拟现实环境中被识别为感兴趣的特定内容而为所述观众选择所述视点中的选择的视点。
在一些实施方案中,所述观众视图是所述HMD视图的部分。
在一些实施方案中,所述观众视图大于所述HMD视图。
在一些实施方案中,使用所述HMD玩家的注视方向来向所述观众标识出所述HMD玩家正在观看的内容。
在一些实施方案中,所述方法还包括接收所述观众对所述虚拟现实环境中的收听区的选择,其中对所述收听区的选择从所述收听区的角度向所述观众提供音频。
在另一个实施方案中,提供一种用于为观众生成虚拟现实环境的视图的由服务器执行的方法。所述方法包括由所述服务器接收为头戴式显示器(HMD)玩家的HMD呈现的虚拟现实环境的供稿。向所述HMD玩家提供HMD视图,所述HMD视图通过所述HMD玩家对所述HMD的移动来控制。所述虚拟现实环境的所述供稿被共享到网站。所述方法还包括由所述服务器从所述观众接收从所述网站访问所述虚拟现实环境的请求然后,由所述服务器将观看所述虚拟现实环境的观众视图发送到所述观众的装置。所述观众视图与指向所述虚拟现实环境的视点相关联,并且将所述视点与所述HMD视图解耦。在所述HMD玩家在所述虚拟现实环境中到处移动时,所述观众视图被更新到指向所述虚拟现实环境的其它视点。
在一些实施方案中,所述视点是预创作视点,所述视点被选择来在所述HMD玩家在所述虚拟现实环境中四处走动时提供观看所述虚拟现实环境的感兴趣的视图。
在一些实施方案中,所述观众从所述预创作的视点中的一个跳到另一个。
在一些实施方案中,所述观众的简档标识对视图或内容的类型的偏好,并且使用所述偏好来选择向所述观众提供所述预创作的视点中的哪个视点。
在一些实施方案中,所述观众的所述装置是以下之一:由所述观众使用的HMD,或由所述观众使用的电视机屏幕,或由所述观众使用的计算机屏幕,或由所述观众使用的手持装置屏幕。
在一些实施方案中,所述观众是能够观看所述HMD玩家的所述HMD视图的多个观众中的一个。
在一些实施方案中,所述网站提供其它HMD玩家的其它HMD视图的一些选项,使得所述观众可以选择所述HMD视图中的特定的HMD视图并且从一个或多个观众视图查看相应的所述虚拟现实环境。
从下面结合附图进行的、通过举例方式说明本公开的原理的详细描述中,本公开的其它方面和优点将变得明显。
附图说明
参考下面结合附图进行理解的描述可最好地理解本公开,在附图中:
图1示出了根据本公开的实施方案的用于视频游戏的互动式游戏玩法的系统。
图2A示出了根据本公开的实施方案的头戴式显示器(HMD)。
图2B示出了根据一个实施方案的HMD用户与客户端系统介接和客户端系统向第二屏幕显示器(其被称为第二屏幕)提供内容的一个实例。
图3概念性地示出了根据本公开的实施方案的HMD与执行的视频游戏结合的功能。
图4示出了HMD玩家导航虚拟现实环境和一个或多个观众观看虚拟现实内容的实例。
图5示出了HMD玩家导航虚拟现实环境和HMD观众在虚拟现实环境内被提供有不同视点的实例,视点可以基于在虚拟现实场景内的感兴趣的内容而选择或预创作。
图6示出了根据一个实施方案的HMD玩家在虚拟现实环境内四处导航和自动地为观众选择视点的实例,其中视点基于观看用户的偏好而自动地选择。
图7示出了根据一个实施方案的如何向不同观众提供观看多媒体VR内容的不同的预创作的视点和从特定视点的角度观看的感兴趣的对象的关联的实例。
图8A至图8B示出了包括游戏区域的虚拟现实环境的实例,其中HMD玩家可以导航并被提供特定玩家评论,并且观众可被提供包括HMD玩家的视图和任选地HMD玩家无法观看的额外视图的环境视图。
图9示出了根据一个实施方案的其中HMD玩家可以在虚拟现实环境中观看特定内容或项目和可以为观众标识HMD玩家正在观看的观看方向或对象的实例。
图10示出了其中HMD玩家正在观看的虚拟现实环境可以包括各种类型的内容的实例,这些内容本身可以包括与虚拟现实环境内的特定位置相关联的不同类型的音频,并且允许观众在观看时决定捕获哪个音频收听位置。
图11示出了根据本公开的实施方案的头戴式显示器的部件。
图12是根据本公开的各种实施方案的游戏系统1400的框图。
具体实施方式
本公开的以下实现方式提供了用于向观众提供HMD玩家的定制视图以改善观众体验的方法、系统、计算机可读介质和云系统。在一个实施方案中,向观众提供选择特定虚拟现实(VR)环境来观看的能力,例如,诸如特定VR环境响应于HMD玩家而生成。在一个实施方案中,向观众提供观看虚拟现实环境的新视图和角度,其可以是预创作的。虚拟现实环境内的虚拟现实视点的预创作可以促成观众在HMD玩家导航时观看或聚焦于虚拟现实场景内的感兴趣的内容。在一个实施方案中,可以在游戏、内容、多媒体或一般地由HMD玩家导航的内容的区域中的不同位置内预创作多于一个的视点。可以预选择这些视图,并且基于由HMD玩家进行的导航而将其分配给观众。
在一个实施方案中,这些视图可以以平滑呈现的格式提供,其不硬绑定或锁定到HMD玩家的精确观看方向。此外,提供给观众的视图也可以以防止内容快速地移动到观众的方式提供,就像由HMD玩家产生的相同的精确视图将被显示给观众的典型情况那样。因为观众不控制虚拟现实场景中的视图,因此如果观众的视图直接地绑定到HMD玩家,那么呈现给观众的内容将会具有快速移动时段,诸如当HMD玩家向上或向右或向不同的方向移动他或她的头部时。在一种配置中,观众视图可以跟随HMD玩家的移动,但是具有更平滑的延迟,以便防止观众的这种定向。在其它实施方案中,观众视图可以固定到虚拟现实环境内的不同位置。这些固定位置可以是由内容开发者选择的预定义位点,因为观众可能会感兴趣。在替代实施方案中,位点可以移动,例如,跟随HMD玩家。
在一些实施方案中,可以基于观众偏好而为特定观众选择预定义位点。如果观众喜欢观看某些类型的内容,那么可以为该观众选择虚拟现实内容中的某些位点。因此,不同的观众可以具有从由HMD玩家导航的观看虚拟现实场景的不同的位点和视点中选择的不同的内容。此外,因为多个观众可以例如经由提供twitch式共享的网站来观看HMD玩家内容,所以不同的观众可以在虚拟现实内容内具有不同的视点。在替代实施方案中,所有观众可以从相同的视点观看相同的内容。
此外,如果观众使用提供twitch式共享的网站,那么可以提供许多HMD玩家内容供稿并且这些内容供稿可由各种观众进行选择。可以从HMD玩家的计算机到网站经由互联网共享供稿,然后,网站可以发布内容和/或使其可供观众选择观看。举例来说,如果HMD玩家决定共享HMD体验,那么观众可以选择该体验。然后,可以向观众提供用于选择视图类型的功能,或者向观众提供用于观看通过HMD玩家的导航生成的虚拟现实内容的特定预创作的位点。在一个实施方案中,向观众提供观看虚拟现实内容的解耦视点就避免了必须提供典型地从实际HMD玩家的角度提供的硬固定视图。
在一些实施方案中,提供给观众的视图也可以是从实际HMD玩家的角度,但是可以被提供被称为橡皮筋式链接或耦合的略微地解耦的连接。橡皮筋式链接提供与定位在HMD玩家的头部上方的虚拟相机类似的视点。提供该视图的虚拟相机可以移动并跟随HMD玩家的视图,在HMD玩家的移动后略有延迟。举例来说,如果HMD玩家快速地向左看,那么虚拟相机可以跟随HMD玩家观看方向缓慢地向左移动。如果HMD玩家快速地上下移动头部,那么虚拟相机的延迟可以避免任何向上或向下移动,因为HMD玩家的方向返回到面向前方。
在又一些实施方案中,可以向观众提供观看虚拟现实环境的不同的视点,这还可以包括观看HMD玩家或由HMD玩家控制的角色。在一个实施方案中,该配置可以限定在HMD玩家的角色在虚拟环境内四处走动时观看该角色的自动摄影师角度类型。因此,提供给观众的角度更有趣,并且随着HMD玩家在环境、游戏、内容或场景内四处走动到不同的位置,可以在不同的视点之间位移或弹出。
在一个实施方案中,方法、系统、图像采撷对象、传感器和相关联的接口对象(例如,手套、控制器、手等)被配置来处理被配置来在显示屏幕上实时地呈现的数据。显示器可以是头戴式显示器(HMD)的显示器、第二屏幕的显示器、便携装置的显示器、计算机显示器、显示面板、一个或多个远程地连接的用户(例如,可能正在观看内容或在互动式体验中进行共享的人)的显示器等。
然而,本领域的技术人员将清楚,本发明可以在没有这些特定细节中的一些或全部的情况下实践。在其它情况下,没有详细地描述所熟知的过程操作,以便避免不必要地使本公开模糊。
图1示出了根据本公开的实施方案的用于视频游戏的互动式游戏玩法的系统。示出了佩戴头戴式显示器(HMD)102的用户100。HMD 102以与眼镜、护目镜或头盔类似的方式佩戴,并且被配置来向用户100显示视频游戏或其它内容。HMD 102凭借靠近用户眼睛提供显示机构来向用户提供沉浸的体验。因此,HMD 102可以向用户的每一只眼睛提供显示区域,所述显示区域占据用户的大部分或甚至全部视野。
在一个实施方案中,HMD 102可连接到计算机106。到计算机106的连接可以是有线或无线的。计算机106可以是本领域已知的任何通用或专用计算机,包括但不限于游戏机、个人计算机、膝上型计算机、平板计算机、移动装置、蜂窝电话、平板电脑、瘦客户端、机顶盒、媒体流式传输装置等。在一个实施方案中,计算机106可以被配置来执行视频游戏,并且从视频游戏输出视频和音频以供HMD 102呈现。
用户100可以操作手套接口对象104a以为视频游戏提供输入。另外,相机108可以被配置来捕获用户100所在的交互式环境的图像。可以分析这些捕获的图像以确定用户100、HMD 102和手套接口对象104a的位置和移动。在一个实施方案中,手套接口对象104a包括可以被跟踪以确定其位置和定向的灯。
如下所述,用户与HMD 102中显示的虚拟现实场景介接的方式可以变化,并且除了手套接口对象104a之外,还可以使用其它接口装置。例如,也可以使用单手控制器,以及双手控制器。在一些实施方案中,可以通过跟踪与控制器相关联的灯,或跟踪与控制器相关联的形状、传感器和惯性数据来跟踪控制器。使用这些各种类型的控制器,或甚至简单地由一个或多个相机制作和捕获的手势,可以与HMD 102上呈现的虚拟现实环境介接、控制、操纵、互动和参与。
另外,HMD 102可以包括一个或多个灯,一个或多个灯可以被跟踪以确定HMD 102的定位和定向。相机108可以包括一个或多个麦克风,以从互动性环境中捕获声音。可以处理由麦克风阵列捕获的声音,以识别声音源的位置。可以选择性地利用或处理来自识别的位置的声音,以排除并非来自所述识别的位置的其它声音。另外,相机108可以被限定成包括多个图像捕获装置(例如,一对立体相机)、IR相机、深度相机和其组合。
在另一个实施方案中,计算机106用作通过网络与云游戏提供商112通信的瘦客户端。云游戏提供商112维护并执行用户102正在玩的视频游戏。计算机106将来自HMD 102、手套接口对象104a和相机108的输入传输到云游戏提供商,云游戏提供商处理输入以影响正在执行的视频游戏的游戏状态。将来自正在执行的视频游戏的输出(诸如视频数据、音频数据和触觉反馈数据)传输到计算机106。计算机106还可在传输之前处理数据,或可将数据直接传输到相关装置。例如,视频流和音频流被提供到HMD 102,而振动反馈命令被提供到手套接口对象104a。
在一个实施方案中,HMD 102、手套接口对象104a和相机108本身可以是连接到网络110以与云游戏提供商112通信的联网装置。例如,计算机106可以是本地网络装置,诸如路由器,其不执行视频游戏处理,但是促成网络流量的通过。HMD 102、手套接口对象104a和相机108到网络的连接可以是有线的或无线的。
另外,虽然可以参考头戴式显示器来描述本公开的实施方案,但是将了解,在其它实施方案中,非头戴式显示器可以替代,包括但不限于电视机、投影仪、LCD显示屏、便携装置屏幕(例如,平板电脑、智能电话、膝上型计算机等)或根据本实施方案的可以被配置来呈现视频和/或提供互动式场景或虚拟环境的显示的任何其它类型的显示器。
图2A示出了根据本公开的实施方案的头戴式显示器(HMD)。如图所示,HMD 102包括多个灯200A-H。这些灯中的每一个可以被配置为具有特定形状,并且可以被配置为具有相同或不同的颜色。灯200A、200B、200C和200D布置在HMD 102的前表面上。灯200E和200F布置在HMD 102的侧表面上。并且,灯200G和200H布置在HMD 102的转角处,以便跨越HMD 102的前表面和侧表面。将了解,可以在用户使用HMD 102的互动环境的捕获的图像中识别所述灯。基于对灯的识别和跟踪,可以确定HMD 102在互动环境中的定位和定向。还将了解,根据HMD 102相对于图像捕获装置的特定定向,灯中的一些可以是可见的或不可见的。而且,根据HMD 102相对于图像捕获装置的定向,灯(例如,灯200G和200H)的不同部分可被暴露用于图像捕获。
在一个实施方案中,灯可以被配置来将HMD的当前状态指示给附近的其它人。例如,一些或所有的灯可以被配置为具有特定颜色布置、强度布置、被配置来闪烁、具有特定开/关配置,或指示HMD 102的当前状态的其它布置。举例来说,灯可以被配置来在相对于视频游戏的其它非活跃游戏过程方面的视频游戏的活跃游戏过程期间(大体上是在游戏的活跃时间线期间或场景内发生的游戏过程)显示不同的配置,诸如导航菜单界面或配置游戏设定(在此期间游戏时间线或场景可能不活跃或暂停)。灯还可以被配置来指示游戏过程的相对强度等级。例如,当游戏过程的强度提高时,灯的强度或闪烁速率也会提高。以此方式,用户之外的人可以看到在HMD 102上的灯并且理解用户活跃地参与激烈的游戏过程,并且可能不希望在那时刻被打扰。
HMD 102可以另外包括一个或多个麦克风。在说明的实施方案中,HMD 102包括限定在HMD 102的前表面上的麦克风204A和204B,以及限定在HMD 102的侧表面上的麦克风204C。通过利用麦克风阵列,可以处理来自麦克风中的每一个的声音,以确定声音的来源的位置。可以以各种方式来利用该信息,包括排除不需要的声音源、将声音源与视觉识别相关联等。
HMD 102还可以包括一个或多个图像捕获装置。在所示的实施方案中,HMD 102被示出为包括图像捕获装置202A和202B通过利用一对立体图像捕获装置,可以从HMD 102的角度捕获环境的三维(3D)图像和视频。可以在佩戴HMD 102时向用户呈现这个视频以向用户提供“视频透视”能力。也就是说,虽然在严格意义上,用户不能透视HMD 102,然而由图像捕获装置202A和202B(例如,或者设置在HMD 102的外部主体上的一个或多个前置的相机108',如下面在图3中所示)捕获的视频可以提供就像透过HMD 102看到那样能够看到HMD102外部的环境的功能等同物。此类视频可以利用虚拟元素来增强,以提供增强的现实体验,或者可以与虚拟元素以其它方式组合或共混。虽然在所示的实施方案中,在HMD 102的前表面上示出两个相机,但是将了解,可以在HMD 102上安装定向在任何方向上的任何数目的相机。例如,在另一个实施方案中,可以有相机安装在HMD 102的侧面上,以提供对环境的额外全景图像捕获。
图2B示出了HMD 102用户与客户端系统106介接和向第二屏幕显示器(其被称为第二屏幕107)提供内容的客户端系统106的一个实例。如下所述,客户端系统106可以包括用于处理将内容从HMD102共享到第二屏幕107的集成电子装置。其它实施方案可以包括单独装置、模块、连接器,其将在客户端系统与HMD 102和第二屏幕107中的每一个之间进行介接。在此一般实例中,用户100佩戴HMD 102并且使用控制器104来玩视频游戏。用户100的互动过程将产生视频游戏内容(VGC),VGC以互动方式显示给HMD 102。
在一个实施方案中,在HMD 102中显示的内容被共享到第二屏幕107。在一个示例中,观看第二屏幕107的人可以由用户100在HMD 102中以互动方式观看正在播放的内容。在另一个实施方案中,另一个用户(例如,玩家2)可以与客户端系统106互动以产生第二屏幕内容(SSC)。通过玩家也与控制器104(或任何类型的用户接口、手势、语音或输入)互动产生的第二屏幕内容可以作为SSC产生到客户端系统106,其可以连同从HMD 102接收的VGC一起显示在第二屏幕107上。
因此,可与HMD用户同位或远离HMD用户的其它用户所进行的互动可以是社交的、互动的,并且对于HMD用户和可能正在观看HMD用户在第二屏幕107上播放的内容的用户两者来说是更沉浸的。如图所示,客户端系统106可以连接到互联网110。互联网还可以向客户端系统106提供对来自各种内容源120的内容的访问。内容源120可以包括可通过互联网访问的任何类型的内容。
此类内容(但不限于)可以包括视频内容、电影内容、流式内容、社交媒体内容、新闻内容、朋友内容、广告内容等。在一个实施方案中,客户端系统106可以用于同时处理HMD用户的内容,使得在游戏过程期间向HMD提供与互动性相关联的HMD。然后,客户端系统106还可以向第二屏幕提供可能与视频游戏内容无关的其它内容。在一个实施方案中,客户端系统106可以从内容源120中的一个或从本地用户或远程用户接收第二屏幕内容。
图3概念性地示出了根据本公开的实施方案的HMD 102与执行的视频游戏结合的功能。执行的视频游戏由游戏引擎320限定,游戏引擎320接收输入以更新视频游戏的游戏状态。视频游戏的游戏状态可以至少部分地由限定当前游戏玩法的各个方面的视频游戏的各种参数的值来限定,诸如对象的存在和位置、虚拟环境的状况、触发事件、用户简档、观看角度等。
在所示的实施方案中,举例来说,游戏引擎接收控制器输入314、音频输入316和动作输入318。控制器输入314可以根据与HMD 102分开的游戏控制器的操作来限定,游戏控制器诸如手持式游戏控制器(例如,索尼无线控制器、索尼运动控制器)或手套接口对象104a。作为实例,控制器输入314可以包括方向输入、按钮按压、触发激活、移动、手势或从游戏控制器的操作处理的其它种类的输入。音频输入316可以从HMD 102的麦克风302处理,或从包括在图像捕获装置108中或本地环境中的其它地方的麦克风处理。运动输入318可以从包括在HMD 102中的运动传感器300处理,或从图像捕获装置108在其捕获HMD 102的图像时进行处理。游戏引擎320接收根据游戏引擎的配置处理的输入以更新视频游戏的游戏状态。游戏引擎320将游戏状态数据输出到各种呈现模块,呈现模块处理游戏状态数据以限定将呈现给用户的内容。
在所示的实施方案中,视频呈现模块322被限定为呈现要在HMD 102上呈现的视频流。视频流可以由显示器/投影仪机构310呈现,并且由用户的眼睛306通过光学器件308观看。音频呈现模块304被配置来呈现要由用户收听的音频流。在一个实施方案中,经由与HMD102相关联的扬声器304输出音频流。应了解,扬声器304可以采用露天扬声器、耳机或能够呈现音频的任何其它种类的扬声器的形式。
在一个实施方案中,在HMD 102中包括注视跟踪相机312以使得能够跟踪该用户的注视。注视跟踪相机捕获用户的眼睛的图像,这些图像被分析来确定用户的注视方向。在一个实施方案中,可以利用关于用户的注视方向的信息来影响视频呈现。例如,如果确定用户的眼睛正在看向特定方向,那么可以优先化或强调该方向的视频呈现,诸如通过在用户正在看的区域中提供更多的细节或更快的更新。应了解,相对于用户所处的真实环境和/或相对于在头戴式显示器上呈现的虚拟环境,可以相对于头戴式显示器来限定用户的注视方向。
广泛地讲,当单独地考虑时,对由注视跟踪相机312捕获的图像的分析提供用户相对于HMD 102的注视方向。然而,当结合HMD 102的跟踪的位置和定向进行考虑时,可以确定用户的真实世界注视方向,因为HMD 102的位置和定向与用户的头部的位置和定向是同义的。也就是说,可以通过跟踪用户的眼睛的位置移动并跟踪HMD 102的位置和定向来确定用户的真实世界注视方向。当在HMD 102上呈现虚拟环境的视图时,可以应用用户的真实世界注视方向以确定用户在虚拟环境中的虚拟世界注视方向。
另外,触觉反馈模块326被配置来向包括在HMD 102或由用户操作的另一个装置(诸如控制器104)中的触觉反馈硬件提供信号。触觉反馈可以采取各种触觉形式,诸如振动反馈、温度反馈、压力反馈等。
目前,用于共享游戏回放的流式服务非常普遍。无线控制器直接地在控制器上包括一个“共享按钮”,以实现这种共享。本公开的实现方式为希望使用HMD/VR头戴式耳机阅览回放的人改善共享回放。本公开的实现方式提供用于呈现具有非常宽的视野的游戏回放,以允许观众使用HMD自由地移动他的头部并且从新有利点观看回放。传统的流式方法将会将回放仅限于原始玩家观看的内容,因此观看方向将独立于观众的头部定位和定向,并且如果使用HMD的观众移动他的头部,那么将不会有任何改变。
本公开的实现方式提供用于在足够宽的视野中呈现视频以支持HMD中的新颖视点。在云服务器上运行的游戏引擎的自定义构建(例如,在控制台游戏硬件例如硬件上,在云中)接受从原始玩家的游戏引擎流式传输的游戏状态作为输入并使用其呈现游戏的极宽视野(例如,150度以上)视图,然后可以将其用于该游戏会话的实时流式传输和/或预录制的回放。将了解,极宽视野超过HMD的视野,以允许佩戴HMD的观众在回放中四处看看。实际游戏被配置来将其状态流式传输到引擎的联网版本。
如上所述,需要为用户提供观看、例如看佩戴HMD 102的用户正在体验的互动活动的能力。例如,一个HMD虚拟现实玩家可以沉浸在HMD中呈现的活动中,而其他人可以是与玩家同位。这些其他同位玩家可以在看HMD玩家正在体验的互动或正在观看的虚拟现实场景中找到乐趣。如本文所使用的,HMD玩家是正在观看在HMD上呈现的内容的玩家,或者可以是与在HMD上呈现的一些内容互动的玩家,或者可能正在玩在HMD上呈现的游戏。因此,仅参考佩戴HMD的用户来提到玩家,不管在HMD上呈现的内容的类型如何。
在其它实施方案中,不与HMD玩家同位的其他人可能希望观看在HMD玩家的HMD中呈现的内容、互动或媒体。例如,可以提供网站以向用户呈现从不同的HMD玩家中进行选择的能力,以便在HMD玩家执行他或她的活动时看和观看。该实例类似于标准Twitch式体验,其允许连接到互联网的用户访问网站并搜索远程玩家正在播放的不同类型的内容或媒体。在一些实施方案中,远程玩家可以使用HMD 102来玩游戏。
在其它实施方案中,远程玩家可以使用装置的显示屏幕或电视机显示屏幕来玩游戏或看内容。广泛地讲,希望看在远程的另一个玩家的活动(例如,通过网站)的用户然后可以选择特定玩家或游戏类型、或游戏的缩略图、或内容的缩略图,以观看由HMD玩家指引的活动。因此,可以提供网站,其使得用户能够观看和选择可由远程HMD玩家主动地播放的特定互动内容。希望观看由HMD玩家进行的活动的远程观看者可以仅点击该内容就开始看。
看到和观看HMD玩家的动作的人一般被称为观众。观众是能够进行访问以观看活动、互动、动作、移动等但不一定控制游戏动作的那些人。出于这个原因,这些观看者被称为观众。在HMD玩家的上下文中,在HMD显示器中呈现的内容是动态的并且通过HMD玩家的移动控制。例如,当HMD玩家移动他或她的头部时,向该玩家呈现可观看的不同内容,其类似于可发生现实世界观看人的周围环境的方式。
虽然HMD玩家的头部移动对于HMD玩家来说是自然的,但是在观看内容时被提供与HMD玩家相同的视图的观众可能因快速移动而变得恶心或头晕。这一情况的原因是观众不是他或她自己以与HMD玩家类似的方式移动他们头部,这导致了内容基于HMD玩家的观看方向而变化。在本文所述的各种实施方案中,提供使得观众能够以既不分散观众的注意力也不具有导致观众头晕或恶心的趋势的方式观看HMD玩家正在观看的内容的方法、系统、计算机可读介质和云配置。
举例来说,本文所述的一些实施方案教导的是在HMD玩家正在观看的虚拟现实环境内提供不同视点的方式。在一些实施方案中,视点就观众可观看的角度、方向和内容方面是固定的。因此,即使HMD玩家以这样或那样的方式移动他或她的头部,观众对虚拟现实环境的观看也会保持稳定。在一些实施方案中,在HMD玩家移动并通过不同虚拟现实环境场景、位置、区域、级别、章节等时,可以向观看用户提供不同视点,这些视点是针对观看观众定制的。例如,可以针对不同类型的内容预创作各种视点。
如果内容是视频游戏,那么可以将沿着可在视频游戏中拍摄的不同路径的视点预限定为预创作的位点以供观众观看。因此,当HMD玩家沿着特定路径移动时,可以向观众提供沿着该路径的视点,视点可以由游戏开发者、早期观众或HMD玩家预选择或预创作。以此方式,在HMD玩家在HMD VR环境内到处移动时,观众可以基于确定那些视点是优异的或更好的或提供更感兴趣的视图而从一个视点弹到下一个视点。在另外实施方案中,可以向观众提供HMD玩家正在观看的可观看的内容的子部分。在其它实施方案中,可以向观众提供HMD玩家尚不可观看的额外内容。
根据游戏、环境、内容类型、多媒体类型、或通过限定的规则或约束,可以向观众提供HMD玩家正在观看的更少或更多的可观看的内容。如上所述,观众可观看的内容可以是HMD玩家正在观看的相同内容,但是从参考视点来看,与HMD玩家是不同的。然而,在一些实施方案中,提供给观众的视图可以类似于HMD玩家的视图,但是角度或视角略微不同。此外,从虚拟相机在HMD虚拟玩家的头部上方进行写入的上下文中,可以向观众提供与提供给HMD玩家的那些类似的视图。在一个实施方案中,代替移动为HMD玩家正在观看的内容的观众提供的虚拟相机视图,在HMD玩家进行头部移动时,观众视图不会以与HMD玩家移动视图时相同的速率或速度移动。
在该实施方案中,提供给观众的虚拟相机视图可以以比HMD玩家的视图更慢的速率移动,该速率是基于用户的头部移动的实际速度而变化。此外,可以将虚拟相机视图的移动设定为跟随HMD玩家的头部的移动,具有一定延迟。延迟可以概念上类似于将虚拟相机视图链接到HMD的移动的橡皮筋。也就是说,如果用户的头部快速地向左移动,那么观众的虚拟相机视图将较慢地向左移动,其中延迟类似于在通过橡皮筋连接到对象前面的移动对象时该对象将会尾随的方式。在一些配置中,传动比将会应用于虚拟相机视图的移动,使得虚拟相机以尾随HMD玩家的实际视图的移动的速率移动。可以通过计算机、游戏和/或为观众执行观看虚拟现实场景的程序动态地修改传动比。例如,可以针对某些游戏、某些场景、某些情况、某些级别、某些用户等在一些情况下更快地或在其它情况下更慢地修改齿轮传动。通过使用动态齿轮传动,可以平滑虚拟相机视图的移动,以便即使在HMD快速或不稳地移动时也会针对观众视图提供更愉悦的观看体验。
在以下所述的另外实施方案中,可以向观众提供视觉提示以使得观众能够识别HMD玩家在虚拟现实环境内的位置。一种配置可以允许跟踪HMD玩家的注视,以确定HMD玩家在VR场景中正在看的精确内容。对于可能正在从虚拟相机视图的角度观看VR场景的观众(例如,浮动在HMD玩家的头部后方的虚拟相机),确定哪一个是特定场景中的焦点将会是有用的。以此方式,观众还可以专注于虚拟现实玩家觉得在场景中重要的内容。
在一些实例中,并且在第一人称射击游戏中,观众可能想要知道HMD玩家正在看的位置,诸如标识敌人或障碍物。在一个实施方案中,通过跟踪HMD玩家的注视,就有可能通过突出显示内容、改变某些对象或位置的对比度、围绕内容、添加标记、在区域中变灰、添加闪烁信标、添加文本、添加浮动对象等来标识HMD玩家正在看的内容。以此方式,观众可以确定HMD玩家正在看的位置,因此观众自己也可以观看相同的区域并体验到具有更多乐趣的内容。
例如,HMD玩家可以在特定游戏中更有经验,或已经看了特定类型的内容,并且提供HMD玩家在虚拟现实场景中看的位置的该将提供引导、视觉线索指示器,并且帮助观众。在一些实施方案中,可以打开和关闭这些标识特征,以便免于注意力分散。标识符可以由HMD玩家激活,或者可以由观众激活。在一些实施方案中,在多个观众正在观看由HMD玩家提供的相同内容(例如,在Twitch呈现内容中)时,可以向每个观众提供不同控件,其向他们提供是否提供视觉指示器的能力。从HMD玩家的角度,HMD玩家的HMD中可能根本不显示指示器。然而,这些指示器对于可能正在观看HMD玩家正在与之互动的内容的一个观众或多个观众是有用的。
在一些实施方案中,可以向观众提供控件,其允许观众标识虚拟现实环境内的特定收听区。收听区允许观众选择他们希望从虚拟现实环境中的哪个位置收听。这意味着,观众基本上被提供从该特定位置收听模仿观众将会实际上存在于场景中的情况的音频和声。举例来说,如果观众正在观看包括街对面的建筑物的HMD内容,那么相对于观看位置,观众可以识别建筑物中的某个位置,例如,人站立的二层,并且选择在该位置收听。
该功能为观众提供收听远距传动,这允许观众收听音频内容和声,就像观众坐在或站在建筑物的二层中那样。在一个实例中,音频和声将基本上放大将会在建筑物的二层位置处出现的音频声音,并且降低远离该虚拟位置的声音。在一些实施方案中,观众可以不时地选择环境内的不同位置作为主要收听区。在其它实施方案中,还可以将收听区调整为HMD玩家的相同的收听区。可以为观众提供可切换的选择能力,以便标识观众希望收听虚拟环境中的哪个位置。
再次,注意的是,观众可以是HMD玩家本地的,并且可以在第二屏幕上观看HMD内容,如参考图2B所述的。或者,作为观众的本地观看者也可以佩戴HMD,其使观众观看HMD玩家内容。在又一个实施方案中,观众可以是远程的,并且如果正在将HMD玩家内容发布到允许观看的网站,那么可以从该网站进行观看。在一些实施方案中,充当观众的远程观众可以看HMD玩家直播或基本上直播的内容。在其它实施方案中,充当观众的远程观众可以看HMD玩家观看的内容的录制版本。再者,可以提供网站,网站允许多个或甚至更多观众看HMD玩家的相同内容(无论直播还是录制)。
图4示出了根据一个实施方案的HMD VR玩家100的实例,HMD VR玩家100可以经由计算装置106与虚拟环境450互动。因此,HMD VR玩家100驱使VR环境450内的互动性,这将移动HMD 102中呈现的场景,以及显示器107中示出的复制视图。因此,观众可以是正在观看显示器107的观众,诸如观众140。如上所述,观众140是社交屏幕观众,因为该观众能够在同位的空间中与HMD玩家100互动。在其它实施方案中,或除了同位的观众140之外,还可以提供HMD观众150对由HMD玩家100导航的内容的访问。HMD观众150可以是与HMD玩家100同位。在其它实施方案中,HMD观众150可以远离HMD玩家定位,并且可以从网站(诸如twitch式观看网站)观看内容。因此,图4中所示的实例仅是一个实例,并且有可能会使多个观众或甚至数千个观众从远程位置观看HMD玩家的内容。观众无论是观看显示器107还是经由HMD观看内容,都将被提供用于改善观看体验的功能。
图5示出了在虚拟现实环境450中到处移动并且在他在场景中四处移动时观看不同内容的HMD玩家100的实例。如图所示,HMD玩家100已经在场景中向前移动,这暴露了新的内容,诸如道路延伸、建筑物502、高尔夫球手504、湖泊506、狗508和其它多媒体内容。在VR环境450中呈现的这些类型的多媒体内容仅是实例,并且内容类型将根据正在观看、与之互动或进行显示的内容类型而变化。在一个实例中,VR环境450可以与预创作视点相关联,诸如位点1、位点2、位点3和位点4。这些位点中的每一个具有观看VR环境450的特定观看方向和视角。
位点1被提供有虚拟相机视图,虚拟相机视图可以浮动在HMD玩家100的头部后方,其提供了通过HMD玩家100的HMD 102的移动而产生的视图的近似的复制品。其它位点可以与HMD玩家100的视角解耦,并且可以基于内容创建者或可能知道感兴趣的内容可驻留在虚拟环境内的位置的其他用户的预创作而放置在VR环境450的各处。例如,如果内容创建者是游戏开发者,那么游戏开发者将知道感兴趣的位点在不同VR环境位置内的位置,使得在HMD玩家在一个或多个游戏会话或观看会话期间在虚拟现实环境450中四处走动时,可以向观众提供对动作、事物、移动、互动或场景的更好的观看。
在该特定实例中,观众是HMD观众150。可以在虚拟现实环境450的所示活动内的不同时间上向HMD观众150提供特定视点。例如,当HMD玩家100在虚拟现实环境450中四处走动或到处移动时,示出不同内容,并且基于正在显示的内容,选择不同位点供一个观众或多个观众进行观看。举例来说,HMD观众150被提供有一系列的位点,诸如在时间t=0上的位点1,在时间t=1上的位点3,在时间t=2上的位点2,以此类推。
因此,根据HMD玩家100所走过的位置,可以为观众动态地选择不同位点,以便提供最感兴趣的内容视图。举例来说,如果HMD玩家已到达高尔夫球场的位置,那么高尔夫球手504将成为视点4的焦点。如果HMD玩家已经到达建筑物502的位置,那么视点2将提供给观众以允许观看建筑物502和狗508,其可以被预定为虚拟现实环境450内的感兴趣的位置或有利点或视点。
图6示出了HMD玩家100围绕视图路径605移动的实例,其提供观看虚拟现实环境450的不同视图。因此,在HMD VR玩家100在虚拟现实环境450中到处移动时,当由HMD玩家100观看时,可以在HMD 102中显示不同内容。为了简单起见,示出了多个对象O1至O14,多个对象O1至O14位于虚拟现实环境450各处,并且根据虚拟现实玩家视图602而定,这些对象中的不同对象将对HMD玩家100可见。举例来说,对象(O)由图标X、O、Δ、□表示,但是这些图标可以表示可呈现在显示屏幕上的任何类型的内容,诸如字符、纹理、地形、互动内容、武器、车辆、建筑物、图形、文本以及一般任何类型的多媒体可观看内容。
在该实例中,示出了根据为观众提供的视点可由观众150观看所述对象中的某些对象。在一个实施方案中,视点是预创作的,以便根据VR玩家视图602所聚焦的位置来限定在虚拟现实环境450中观众将被允许观看的位置。在一些实施方案中,这些预创作的位点是被认为是有趣,新颖或提供观看虚拟现实环境450的更好的角度的那些。在一个实施方案中,可以预选择视点作为预创作的位点。如上所述,预创作的位点是被认为提供感兴趣的视角或角度的位点。
在该实例中,作为观众150的用户1的选定位点即将是位点3、位点6并接着是位点9。位点3提供稍微俯视的视图,其捕获VR玩家视图602中的对象中的某些对象。位点6在HMD玩家100的前方提供正面视角,其突出显示或提供对象中的某个对象的透视图。位点9类似于头顶上的虚拟相机,其位于HMD玩家100的略微后方或上方,提供与虚拟现实环境450和虚拟玩家视图602基本上类似的视图。因此,当HMD玩家100到处移动时,可以为观众150动态地选择视点中的不同视点。如上所述,观众150可以与HMD玩家100同位,或者可以是从网站、连接到互联网的HMD、远程装置、电视机或便携装置观看HMD玩家100虚拟环境的远程观众。
此外,作为观众的不同用户可以被提供有观看VR玩家视图602的不同位点。可以基于特定用户的偏好向不同用户提供不同视图,用户偏好可以保存到用户简档。例如,一些用户可以在他们简档中标识偏好,这些偏好指明他们喜欢看某些类型的对象或喜欢看某些类型的视角。因此,可以为用户定制位点,并且还可以基于预创作的位点而为用户定制位点。在一些实施方案中,不需要预创作的位点,而是可以基于虚拟现实环境450中呈现的内容而动态地选择位置。广泛地讲,可以基于多个标准而动态地设定在虚拟现实环境454观众内的视角。
标准可以是基于预创作视点,可以是基于观众偏好,可以是基于基于虚拟现实环境450内的变化内容而动态地放置的视点,或者可以由观众移动和调整。如果向观众提供用于将视图位置移动到虚拟环境450的选项,那么提供给观众的那些视图可以根据正在看由HMD玩家100导航或观看的内容的观众而不同。
图7示出了根据一个实施方案的限定可能正在观看HMD玩家的不同类型的内容704的各种观众702的表。如图所示,对于作为图6中的观众的用户1,多媒体虚拟现实内容是游戏1。游戏1是HMD玩家正在导航的内容,并且基于HMD玩家在内容内的导航,作为用户1的观众将被提供预创作视点706。如图6所示,为用户1提供的位点是位点3→6→9→N。在视点中的每一个中,可从那些特定视点观看感兴趣的对象(O)708。因此,根据视角,视点提供观看对象O1至O14的视角。不同观众,诸如用户2,也可以观看游戏1活动。然而,该用户可能对该用户感兴趣的内容类型具有不同偏好。因此,系统可以选择与提供给用户1的那些不同的预创作视点1→4→9→N。类似地,如观众用户2所观看的,为那些位点提供的感兴趣的对象将变化。提供该实例是为了强调任何数目的用户都可以是观众,并且那些用户可以观看由HMD用户导航的相同虚拟现实内容,并且可以单独地被提供观看虚拟现实内容的不同且独特的视点或视角。
继续该实例,用户3和用户4可能正在观看除游戏1之外的不同环境。如上所述,内容不一定是游戏,而是可以是任何类型的多媒体内容,或可显示在屏幕上的内容。内容可以包括但不限于图形对象、文本、相关音频、多媒体、互动内容、电影内容、音频内容、可控制的字符内容、替身、可操纵的对象、可选对象、通信对象、介接对象、远程巡回位置、演示视频、旅游内容、游乐园内容,或其组合。因此,根据环境,可以提供不同的预创作的视点X→N和Y→N,其提供观看虚拟现实环境450内的某些感兴趣的对象或内容的唯一观看。
图8A示出了根据一个实施方案的HMD玩家100与虚拟现实环境450中示出的视频游戏场景互动的实例。举例来说,视频游戏提供沿着墙壁走廊的路径,其需要由HMD玩家100控制的用户(第一人称)四处走动。在该实例中,HMD玩家100可能正在搜索坏人820,坏人820可能隐藏在沿着游戏的走廊的某个位置中。HMD玩家,本文被称为HMD VR玩家(HVP),被示出为在位置802、803和804之间移动。观众150被提供有虚拟现实环境450中示出的走廊的视图。提供给观众150的视图可以基于由HMD玩家100控制的第一人称角色的位置而定制。
向在位置802和位置803的HMD玩家100提供观看走廊的不同视图。一旦HMD玩家到达位置804,观看走廊的视图就可能会因墙壁而受到限制,从而提供包含区域A的视图。在一个实施方案中,基于一个或多个预创作的位点,向观众150提供观看虚拟环境450的各种视图。在该实例中,观众150在位置810处具有观众视图S-视图1,并且在位置812处具有观众视图S-视图2。在位置810处,观众视图示出由HMD玩家100控制的角色沿着走廊走向转角,并且然后观众视图可以位移到位置812,这将提供由HMD玩家100控制的角色的更感兴趣的视图。此时,在位置812处,观众视图可以限于提供给HMD玩家100的视图的子集,即,区域A.
然而,位置812还使得可能观看到当前在HMD玩家100的视点之外的坏人820。在一个实施方案中,观众视图S视图-2被提供有额外区域B以供观看,其尚未被HMD玩家100看到。这可以为观众提供看到坏人820隐藏在转角的附近的选择,并且可以在HMD玩家(第一人称角色)到达该位置时提供感兴趣的动作场景。鉴于在观众HMD玩家知道可能发生事件之前更提前知道将要发生感兴趣的事件,这可以为观众带来额外的兴奋程度。
在一个实施方案中,提供给观众的额外内容是HMD玩家100不可知的,以避免向HMD玩家提供不公平的通知。根据需要HMD玩家的技术水平的游戏,可能需要这种对传送知识或信息的禁止。在其它实施方案中,可以通过观众向HMD玩家提供某些内容的知识。根据游戏的数据共享的关键性或数据共享的追求性,可以禁止观众与HMD玩家共享信息或可以向HMD玩家提供信息。举例来说,如果观众150正在从远程网站(例如,twitch站点)观看,那么该观众可以以多种方式向HMD玩家提供或反馈信息。该信息可以是通过文本通信、聊天通信、语音通信、音频通信或其组合的。
图8B示出了根据一个实施方案的示出不同HMD玩家视图830以及可提供给观众的视图的表。在一些实施方案中,可以基于预创作的位点来预设观众视图,如上所述。在其它实施方案中,观众视图可以仅位移以跟上HMD玩家的位置。当跟上HMD玩家时,视图可以被选择为靠近HMD玩家的,以观看HMD玩家,或呈位于HMD玩家的头部位置上方的虚拟浮动虚拟相机的形式。如图AB所示,观众视图位置832可以基于基于HMD玩家100的活动和控制而创建的HMD虚拟现实玩家视图(HVP)而变化。
例如,当HVP处于视图-3时,观众视图自动地移动到观众视图S-视图2。为了完整起见,该表还示出了HMD VR玩家从各种HVP视图看到的内容。当HMD玩家被提供有HVP视图-2时,可观看的区域由A标识,如参考图8A所述。在一个实施方案中,观众将看到视图836,其跟随提供给HMD玩家100的相同视图。也就是说,除了可由HMD玩家观看的场景内容之外,没有向观众提供附加内容。
然而,即使向观众提供相同内容,观众也可以具有观看该相同内容的不同视点。在另一个实施方案中,在选项838中,观众可以看到比HMD玩家更多的内容。在该选项中,在视图HVP视图-3中,HMD玩家将看到区域A,而除了区域A之外还可以为观众提供附加观看区域B。这个附加观看区域被提供给观众,因为观众是从将会提供来自该视点的某些内容的逻辑上无障碍的视图的该视点定位,该视点与提供给HMD玩家100的视点不同。如上所述,当可由观众观看附加内容时,可以允许观众与HMD玩家共享该信息,或阻止观众与HMD玩家共享该信息。
图9示出了HMD玩家100正在观看虚拟现实环境450并且HMD玩家的注视方向901被标识的实施方案。如上所述,一个实施方案提供标识HMD玩家100在虚拟现实环境450中的位置的能力。该信息对于观众150可能有用,观众150可能期望知道HMD玩家100正在看什么感兴趣的内容。在电影的上下文中,HMD玩家可能正在看感兴趣的场景。在演示的上下文中,HMD玩家可能正在看演示对象或演讲的特定特征。
在游戏的上下文中,HMD玩家可能正在看特定角色、物体、区域等。在一个实施方案中,由HMD相机312检测到注视方向901,这允许检测到HMD玩家100正在看对象902。在该实例中,对象902表示站在建筑物旁边的女孩。虽然在虚拟现实环境450中存在各种其它对象,但是HMD玩家100专注于对象902。观众150想知道HMD玩家100看的是虚拟现实环境450中的哪个位置。为此,一旦确定HMD玩家100专注观看的位置,就可以突出显示或标识虚拟现实场景的该区域,使得观众150可以视觉上知道HMD玩家正在看哪个位置。
如上所述,可以通过修改在对象902周围或附近或在对象902处的表示或区域来传达这样的信息:标识该对象902是HMD玩家100的注视方向901的焦点。对象902可以突出显示,可以改变颜色,可以变灰,可以通过指针标识,可以用文本标识,可以允许闪烁不同颜色,可以在图像中提供一个或多个闪光变化,可以提供声音,可以提供特殊移动,或其组合。在一个实施方案中,这些突出显示对象902的标识方式在从观众150的视角观看时示出。在该实例中,观众150正在从位点906进行观看,位点906类似于在HMD玩家100的头部上方的浮动虚拟相机。然而,如上指出,用于观看虚拟现实环境450的位点可以位于其它地方。
然而,HMD玩家100正在观看对象902的标识被呈现到提供给观众150的视图。因此,在一个实施方案中,对象902的突出显示将对于HMD玩家100不可见,而仅观众150可见。在其它实施方案中,观众可以通过选择对象确定是激活还是停用识别HMD玩家100正在看的位置的能力。此外,多个观众可以观看由HMD玩家100导航的相同内容,并且这些观众中的不同观众可以激活或停用该特征以允许获悉HMD玩家在虚拟环境内正在看什么。
在一些实施方案中,激活该特征可以是自动的,并且可以基于HMD玩家正在观看的内容的类型而触发。这样,观众可以仅观看由HMD玩家100导航的内容,并且当应当向观众突出显示某些对象时,游戏开发者可以预定义某些时间来识别HMD玩家的注视方向以向观众突出显示某些对象。在另外实施方案中,一些观众可能需要更多的突出显示,例如,诸如对于新手观众来说如此。在观看HMD玩家活动期间,更有经验的观众可能需要较少的突出显示或帮助。因此,可以根据开发者设定、观众、HMD玩家、内容的复杂性或其组合来切换激活和激活注视方向的注视方向标识/可视对象标识。
图10示出了HMD玩家100可以与虚拟现实环境450互动并且其中发生不同类型的活动的实例。在该实例中,虚拟现实环境450包括卡车922、建筑物920、车祸924和各种其它类型的内容。在一种配置中,不同的活动还将产生由HMD玩家100通过耳机940产生和收听的不同的声音。如果HMD玩家100的角度是从第一人称的视角来看,那么在虚拟现实环境450内产生的声音将是相对于HMD玩家100的位置。
在该实例中,车祸924的声音可能发出得更远,并且HMD玩家100可能无法收听各种收听区1、2和3中进行的对话。如果HMD玩家100将要接近那些收听区,那么那些收听区以及任何相关联的声学装置的声音将会随之变化以提供逼真的收听环境,就像该玩家实际上处于虚拟现实场景中那样。从观众150的视角来看,观众150可以被提供观看虚拟现实环境450中的不同视点,如上所述。在一些配置中,观众150可能期望在不同的收听区处收听。
可以向观众提供选择不同的收听区的功能,其将会影响提供给观众150并经由耳机942收听的音频。举例来说,如果观众150期望收听收听区1,那么观众150可能能够听到虚拟现实玩家或人工智能(AI)角色在收听区1中进行的对话。因此,观众150可以安排在该收听区中,并且将向观众150产生来自其它收听区的声音,就像观众150在收听区1中一样。如果观众150决定选择收听收听区2,那么情况也是如此,这种情况可能是站在三层办公楼920内的人进行的对话。
而且,观众150可以类似地收听收听区3,以听取关于车祸924发生的情况。在该实例中,观众150也使用HMD 102。观众150可以使用手套手势930来选择收听区。在其它实施方案中,观众可以使用控制器、键盘、不用手套的手势、语音输入、注视输入等,以指示观众150对哪个收听区感兴趣。此外,观众可以仅从连接到网站(诸如twitch式站点)的显示屏幕查看内容。在一些实施方案中,个人计算机(PC)、游戏控制台、智能电话、平板电脑等可以用于观看HMD玩家100正在玩的虚拟现实环境450。
在一些实施方案中,可以修改HMD玩家经由HMD 102观看的内容,使得其可以在二维屏幕上显示。例如,在将内容共享到twitch式服务之前,可以对内容执行3-D到2-D转换。在其它实施方案中,可以将完整的3-D内容共享到twitch式服务,并且连接到twitch式服务的观众可以经由HMD观看内容。应理解,观众可消费虚拟现实环境450的方式可以变化,并且提供给观众的功能也可以变化。广泛地说,可以向观众提供突出显示以查看HMD玩家100正在看的位置,诸如在图9中那样,并且还可以向观众提供动态可选设定以允许收听虚拟现实场景内的特定位置。
此外,可以向观众提供观看虚拟现实环境450中的不同视点。可以动态地控制或预创作这些视点,以向观众提供特定观看位置和角度。这些功能提供动态且增强的观看能力,这将增强观众观看HMD导航内容时的体验。如上所述,这些实施方案还促成观众以更正常的方式观看内容,该方式与HMD玩家的头部的快速移动无关,这可能会导致在观看HMD内容时的迷失方向或仅不适。
提供可根据HMD玩家的位置逐渐或缓慢地移动的观众视点提供查看HMD玩家正在享受的虚拟现实内容的容易方式。因此,观众可以容易地观看内容,并且被提供经由HMD装置改善观看乐趣或参与游戏过程或多媒体内容观看的方式。通过提供这些丰富功能,观众不再被绑定到HMD玩家的固定视角,并且不再被迫观看相同的精确视图,也不再会完全地遵循由HMD玩家驱使的动作。
参考图11,示出了示出根据本公开的实施方案的头戴式显示器102的部件的图。头戴式显示器102包括用于执行程序指令的处理器1300。存储器1302提供用于存储目的,并且可以包括易失性和非易失性存储器。包括显示器1304,其提供用户可观看的视觉界面。电池1306可以提供作为头戴式显示器102的电源。运动检测模块1308可以包括各种类型的运动灵敏硬件中的任一种,诸如磁力计1310、加速度计1312和陀螺仪1314。
加速度计是用于测量反作用力所引起的加速度和重力的装置。单轴模型和多轴模型可供用来检测在不同方向上的加速度的量级和方向。加速度计用于感测倾斜、振动和冲击。在一个实施方案中,三个加速度计1312用于提供重力方向,所述重力方向给出两个角(世界空间俯仰和世界空间横滚)的绝对参考。
磁力计测量在头戴式显示器附近的磁场的强度和方向。在一个实施方案中,三个磁力计1310在头戴式显示器内使用,以确保世界空间偏航角的绝对参考。在一个实施方案中,磁力计被设计为跨越±80微特斯拉的地球磁场。磁力计受金属的影响,并且提供与实际偏航单调的偏航测量结果。磁场可以因环境中的金属而扭曲,从而导致偏航测量的偏差。如果必要,那么可以使用来自其它传感器(诸如陀螺仪或相机)的信息来校准此偏差。在一个实施方案中,加速度计1312与磁力计1310一起使用来获得头戴式显示器102的倾斜度和方位角。
在一些实施方式中,头戴式显示器的磁力计被配置来在其它附近装置中的电磁铁不活动的时间期间被读取。
陀螺仪是用于基于角动量的原理来测量或维持定向的装置。在一个实施方案中,三个陀螺仪1314基于惯性感测来提供关于跨越相应的轴线(x、y和z)的移动的信息。陀螺仪有助于检测快速旋转。然而,陀螺仪可以随时间漂移而无需存在绝对参考。这要求周期性地重置陀螺仪,这种重置可以使用诸如基于对象的视觉跟踪、加速度计、磁力计等的定位/定向确定的其它可用信息来完成。
相机1316提供用于捕获真实环境的图像和图像流。在头戴式显示器102中可以包括多于一个的相机,其包括后置(在用户观看头戴式显示器102的显示器时背向用户)的相机,以及前置(在用户观看头戴式显示器102的显示器时朝向用户)的相机。另外,在头戴式显示器102中可以包括深度相机1318以用于感测真实环境中的对象的深度信息。
头戴式显示器102包括用于提供音频输出的扬声器1320。而且,可以包括麦克风1322以用于从真实环境捕获音频,其包括来自周围环境的声音、用户发出的语音等。头戴式显示器102包括用于将触觉反馈提供给用户的触觉反馈模块1324。在一个实施方案中,触觉反馈模块1324能够导致头戴式显示器102的移动和/或振动,以便将触觉反馈提供给用户。
LED 1326提供作为头戴式显示器102的状态的视觉指示器。例如,LED可以指示电池电量、通电状况等。读卡器1328提供用于使得头戴式显示器102能够从存储器卡读取信息和将信息写入到存储器卡。包括USB接口1330作为用于实现外围装置的连接或到其它装置的连接的接口的一个实例,其它装置诸如其它便携装置、计算机等。在头戴式显示器102的各种实施方案中,可以包括各种类型的接口中的任一种以实现头戴式显示器102的更大的连接性。
包括WiFi模块1332用于经由无线联网技术实现到互联网或局域网的连接。而且,头戴式显示器102可以包括用于实现到其它装置的无线连接的蓝牙模块1334。还可以包括通信链路1336用于连接到其它装置。在一个实施方案中,通信链路1336将红外传输用于无线通信。在其它实施方案中,通信链路1336可以利用各种无线或有线传输协议中的任何协议以用于与其它装置的通信。
包括输入按钮/传感器1338以向用户提供输入接口。可以包括各种类型的输入接口中的任一种,诸如按钮、触摸板、操纵杆、轨迹球等。在头戴式显示器102中可以包括超声通信模块1340以经由超声技术促成与其它装置的通信。
包括生物传感器1342以实现对来自用户的生理数据的检测。在一个实施方案中,生物传感器1342包括一个或多个干电极以用于经由用户的皮肤检测用户的生物电信号。
视频输入1344被配置来从主处理计算机(例如,主游戏控制台)接收视频信号以在HMD上呈现。在一些实现方式中,视频输入是HDMI输入。
已经将头戴式显示器102的前述部件描述成可包括在头戴式显示器102中的仅示例性部件。在本发明的各种实施方案中,头戴式显示器102可以或可以不包括各种前述部件中的一些。头戴式显示器102的实施方案可以另外包括当前未描述但本领域已知的其它部件,以用于促成如本文所述的本发明的方面的目的。
图12是根据本公开的各种实施方案的游戏系统1400的框图。游戏系统1400被配置来经由网络1415向一个或多个客户端1410提供视频流。游戏系统1400典型地包括视频服务器系统1420和任选的游戏服务器1425。视频服务器系统1420被配置来以最低服务质量向一个或多个客户端1410提供视频流。例如,视频服务器系统1420可以接收改变视频游戏内的视图状态或视角的游戏命令,并且向客户端1410提供反映具有最低迟滞时间的该状态变化的更新的视频流。视频服务器系统1420可以被配置来以各种替代视频格式提供视频流,包括尚未定义的格式。另外,视频流可以包括被配置来呈现给用户在各种帧速率的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒120帧。不过,在本公开的替代实施方案中包括更高或更低的帧速率。
客户端1410,本文单独地称为1410A、1410B等,可以包括头戴式显示器、终端、个人计算机、游戏控制台、平板型计算机、电话、机顶盒、信息亭、无线装置、数字板、独立装置、手持式游戏装置等。典型地,客户端1410被配置来接收编码的视频流、解码的视频流,并且将所得的视频呈现给用户,例如,游戏的玩家。接收编码的视频流和/或解码的视频流的过程典型地包括将单独的视频帧存储在客户端的接收缓冲器中。可以在与客户端1410集成的显示器上或在诸如监视器或电视机的单独装置上将视频流呈现给用户。客户端1410任选地被配置来支持多于一个的游戏玩家。例如,游戏控制台可被配置来支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可以接收单独的视频串流,或单个视频串流可以包括特别针对每个玩家产生(例如,基于每个玩家的视角而产生)的帧的多个区域。客户端1410任选地是地理上分散的。游戏系统1400中包括的客户端的数目可以在从一个或两个到数千个、数万个或更多个,变化范围很大。如本文中所使用,术语“游戏玩家”用于指代玩游戏的人,并且术语“玩游戏的装置”用于指代用于玩游戏的装置。在一些实施方案中,玩游戏的装置可以指代协作以将游戏体验传递给用户的多个计算装置。例如,游戏控制台和HMD可以与视频服务器系统1420协作以经由HMD观看的游戏。在一个实施方案中,游戏控制台从视频服务器系统1420接收视频流,并且游戏控制台将视频流或视频流的更新转发到HMD以呈现。
客户端1410被配置来经由网络1415接收视频流。网络1415可以是任何类型的通信网络,包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、专用网络等。在典型的实施方案中,经由诸如TCP/IP或UDP/IP的标准协议来传达视频流。或者,经由专有标准来传达视频流。
客户端1410的典型实例是个人计算机,其包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可以包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统在本领域中是熟知的,并且根据所使用的具体编码方案而变化。
客户端1410可以但不要求还包括被配置来用于修改接收到的视频的系统。例如,客户端可以被配置来执行进一步的渲染、将一个视频图像覆盖在另一个视频图像上、裁剪视频图像等。例如,客户端1410可以被配置来接收各种类型的视频帧,诸如I帧、P帧和B帧,并且将这些帧处理成图像以显示给用户。在一些实施方案中,客户端1410的成员被配置来对视频流执行进一步的渲染、着色、转换为3-D或类似的操作。客户端1410的成员任选地被配置来接收多于一个的音频流或视频流。客户端1410的输入装置可以包括例如单手游戏控制器、双手游戏控制器、手势识别系统、注视识别系统、语音识别系统、键盘、操纵杆、定点装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏幕、神经接口、相机、待开发的输入装置等。
由客户端1410接收的视频流(以及任选地音频流)由视频服务器系统1420生成和提供。如本文其它地方进一步描述的,这个视频流包括视频帧(并且音频流包括音频帧)。视频帧(例如,它们包括在适当的数据结构中的像素信息)被配置来有意义地构成向用户显示的图像。如本文所使用,术语“视频帧”用于指代主要包括被配置来构成(例如,实现)显示给用户的图像的信息的帧。本文关于“视频帧”的大部分的教义也可以适用于“音频帧”。
客户端1410典型地被配置来接收来自用户的输入。这些输入可以包括游戏命令,所述游戏命令被配置来改变视频游戏的状态或以其它方式影响游戏玩法。可以使用输入装置接收游戏命令和/或可以通过在客户端1410上执行的计算指令来自动地生成游戏命令。接收到的游戏命令经由网络1415从客户端1410传达到视频服务器系统1420和/或游戏服务器1425。例如,在一些实施方案中,游戏命令经由视频服务器系统1420而传达到游戏服务器1425。在一些实施方案中,游戏命令的单独副本从客户端1410传达到游戏服务器1425和视频服务器系统1420。游戏命令的传达任选地取决于命令的身份。任选地,从客户端1410A经由用于向客户端1410A提供音频流或视频流的不同路由或通信信道传达游戏命令。
游戏服务器1425任选地由与视频服务器系统1420不同的实体操作。例如,游戏服务器1425可以是由多人游戏的发布者操作。在该实例中,视频服务器系统1420任选地被游戏服务器1425视为是客户端,并且任选地被配置来从游戏服务器1425的视角来看是执行现有技术游戏引擎的现有技术客户端。视频服务器系统1420与游戏服务器1425之间的通信任选地经由网络1415进行。因此,游戏服务器1425可以是现有技术的多玩家游戏服务器,其将游戏状态信息发送到多个客户端,其中一个客户端是游戏服务器系统1420。视频服务器系统1420可以被配置来同时与游戏服务器1425的多个实例通信。例如,视频服务器系统1420可以被配置来向不同的用户提供多个不同的视频游戏。这些不同的视频游戏中的每一个可以由不同的游戏服务器1425支持和/或由不同实体发布。在一些实施方案中,视频服务器系统1420的若干地理上分布的实例被配置来向多个不同用户提供游戏视频。视频服务器系统1420的这些实例中的每一个可以与游戏服务器1425的相同实例通信。视频服务器系统1420与一个或多个游戏服务器1425之间的通信任选地经由专用通信信道进行。例如,视频服务器系统1420可以经由专用于这两个系统之间的通信的高带宽信道连接到游戏服务器1425。
视频服务器系统1420至少包括视频源1430、I/O装置1445、处理器1450和非暂时性存储器1455。视频服务器系统1420可以包括一个计算装置或分布在多个计算装置间。这些计算装置任选地经由诸如局域网的通信系统连接。
视频源1430被配置来提供视频流,例如流视频或形成移动图像的一系列视频帧。在一些实施方案中,视频源1430包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置来:从玩家接收游戏命令,并且基于接收到的命令而维持视频游戏的状态的副本。这个游戏状态包括在游戏环境中的对象的位置,以及典型地视角。游戏状态还可以包括对象的性质、图像、颜色和/或纹理。典型地基于游戏规则以及游戏命令(诸如移动、转动、攻击、设置焦点、互动、使用等)而维持游戏状态。游戏引擎的部分任选地设置在游戏服务器1425内。游戏服务器1425可以基于从使用地理上分散的客户端的多个玩家接收的游戏命令来维护游戏的状态的副本。在这些情况下,游戏状态由游戏服务器1425提供给视频源1430,其中存储游戏状态的副本并执行渲染。游戏服务器1425可以经由网络1415直接地从客户端1410接收游戏命令,和/或可以经由视频服务器系统1420接收游戏命令。
视频源1430典型地包括渲染逻辑,例如存储在诸如存储装置1455的计算机可读介质上的硬件、固件和/或软件。该渲染逻辑被配置来基于游戏状态而创建视频流的视频帧。渲染逻辑的全部或部分任选地安置在图形处理单元(GPU)内。渲染逻辑典型地包括处理阶段,所述处理阶段被配置来用于基于游戏状态和视点而确定对象之间的三维空间关系和/或被配置来用于应用适当的纹理等。渲染逻辑产生原始视频,然后通常在与客户端1410通信之前对其进行编码。例如,可以根据Adobe标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.、Xvid.、FFmpeg、x264、VP6-8、realvideo、mp3或类似的标准对原始视频进行编码。编码过程产生视频流,任选地将所述视频流打包以传递到远程装置上的解码器。视频流是由帧大小和帧速率来表征。典型的帧大小包括800 x 600、1280 x720(例如720p)、1024 x 768,但是可以使用任何其它帧大小。帧速率是每秒的视频帧数。视频流可以包括不同类型的视频帧。例如,H.264标准包括“P”帧和“I”帧。I帧包括用以刷新显示装置上的所有宏块/像素的信息,而P帧包括用以刷新所述宏块/像素的子集的信息。P帧典型地在数据大小上小于I帧。如本文中所使用,术语“帧大小”意图指代帧内的像素的数目。术语“帧数据大小”用于指代存储所述帧所需的字节数。
在替代实施方案中,视频源1430包括视频录制装置,诸如相机。该相机可以用来产生可包括在计算机游戏的视频流中的延迟视频或实况视频。所得的视频流任选地包括所呈现的图像与使用静态相机或视频相机录制的图像两者。视频源1430还可以包括存储装置,所述存储装置被配置来存储先前录制的视频以包括在视频流中。视频源1430还可以包括运动或定位感测装置和逻辑,所述运动或定位感测装置被配置来检测对象(例如,人)的运动或位置,所述逻辑被配置来基于检测到的运动和/或位置而确定游戏状态或产生视频。
视频源1430任选地被配置来提供被配置为放置在其它视频上的叠加。例如,这些叠加可以包括命令界面、登录说明、发给游戏玩家的消息、其它游戏玩家的图像、其它游戏玩家的视频供稿(例如,网络摄像头视频)。在客户端1410A包括触摸屏幕界面或注视检测界面的实施方案中,叠加可以包括虚拟键盘、操纵杆、触摸板等。在叠加的一个实例中,将玩家的语音叠加在音频流上。视频源1430任选地还包括一个或多个音频源。
在其中视频服务器系统1420被配置来基于来自多于一个的玩家的输入而维持游戏状态的实施方案中,每个玩家可以具有包括观看位置和观看方向的不同视角。视频源1430任选地被配置来基于他们的视角而为每个玩家提供单独的视频流。另外,视频源1430可以被配置来向客户端1410中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源1430任选地被配置来提供3-D视频。
I/O装置1445被配置来用于视频服务器系统1420发送和/或接收诸如视频、命令、信息请求、游戏状态、注视信息、装置运动、装置位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频等的信息。I/O装置1445典型地包括通信硬件,诸如网卡或调制解调器。I/O装置1445被配置来与游戏服务器1425、网络1415和/或客户端1410通信。
处理器1450被配置来执行逻辑,例如,软件,其被包括在这里讨论的视频服务器系统1420的各种部件内。例如,处理器1450可以用软件指令进行编程,以便执行视频源1430、游戏服务器1425和/或客户端限定符1460的功能。视频服务器系统1420任选地包括处理器1450的多于一个的实例。处理器1450还可以用软件指令进行编程,以便执行由视频服务器系统1420接收的命令,或协调本文讨论的游戏系统1400的各种元件的操作。处理器1450可以包括一个或多个硬件装置。处理器1450是电子处理器。
存储装置1455包括非暂时性模拟和/或数字存储装置。例如,存储装置1455可以包括被配置来存储视频帧的模拟存储装置。存储器1455可以包括计算机可读数字存储器,例如,硬盘驱动器、光盘驱动器或固态存储装置。存储器1415被配置(例如,通过适当的数据结构或文件系统)来存储视频帧、人工帧、包括视频帧和人工帧的视频流、音频帧、音频流等。存储器1455任选地分布在多个装置间。在一些实施方案中,存储装置1455被配置来存储本文其它地方讨论的视频源1430的软件部件。这些部件可以按需要时随时可以供应的格式来存储。
视频服务器系统1420任选地还包括客户端限定符1460。客户端限定符1460被配置来用于远程地确定客户端(诸如客户端1410A或1410B)的能力。这些能力可以包括客户端1410A本身的能力以及客户端1410A和视频服务器系统1420之间的一个或多个通信信道的能力。例如,客户端限定符1460可以被配置来经由网络1415测试通信信道。
客户端限定符1460可以手动地或自动地确定(例如,发现)客户端1410A的能力。手动地确定包括与客户端1410A的用户通信并要求用户提供能力。例如,在一些实施方案中,客户端限定符1460被配置来在客户端1410A的浏览器内显示图像、文本等。在一个实施方案中,客户端1410A是包括浏览器的HMD。在另一个实施方案中,客户端1410A是具有浏览器的游戏控制台,浏览器可以在HMD上显示。所显示的对象请求用户输入客户端1410A的诸如操作系统、处理器、视频解码器类型、网络连接类型、显示分辨率等的信息。用户输入的信息被传达回客户端限定符1460。
例如,可以通过在客户端1410A上执行代理程序和/或通过将测试视频发送到客户端1410A来进行自动确定。代理程序可以包括嵌入网页中或安装为加载项的计算指令,诸如java脚本。客户端限定符1460任选地提供代理程序。在各种实施方案中,代理程序可以找出客户端1410A的处理能力、客户端1410A的解码和显示能力、客户端1410A和视频服务器系统1420之间的通信信道的迟滞时间可靠性和带宽、客户端1410A的显示类型、存在于客户端1410A上的防火墙、客户端1410A的硬件、在客户端1410A上执行的软件、在客户端1410A内的注册表项等。
客户端限定符1460包括存储在计算机可读介质上的硬件、固件和/或软件。客户端限定符1460任选地设置在与视频服务器系统1420的一个或多个其它元件分开的计算装置上。例如,在一些实施方案中,客户端限定符1460被配置来确定客户端1410与视频服务器系统1420的多于一个的实例之间的通信信道的特性。在这些实施方案中,客户端限定符所发现的信息可以用于确定视频服务器系统1420的哪个实例最适合于将流视频传递到客户端1410中的一个。
本公开的实施方案可以借助各种计算机系统配置来实践,所述计算机系统配置包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等。还可以在分布式计算环境中实践本公开,其中任务是由经由基于有线或无线的网络链接的远程处理装置执行。
鉴于以上实施方案,应理解,本公开可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量的物理操纵的那些操作。本文所述的形成本公开的部分的操作中的任一操作都是有用的机器操作。本公开还涉及一种用于执行这些操作的装置或设备。所述设备可以专门地构造用于所需目的,或者所述设备可以是通用计算机,所述通用计算机通过存储在计算机中的计算机程序来选择性激活或配置。具体地讲地,各种通用机器可以与根据本文中的教义编写的计算机程序一起使用,或者所述机器可以更方便于构造更专门的设备以执行所需操作。
本发明还可以被体现为计算机可读介质上的计算机可读代码。计算机可读介质是可存储之后可由计算机系统读取的数据的任何数据存储装置。计算机可读介质的实例包括硬盘驱动器、网络附接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它光学和非光学数据存储装置。所述计算机可读介质可以包括分布在网络耦合的计算机系统上的计算机可读有形介质,使得计算机可读代码以分布式方式存储和执行。
虽然以特定次序描述方法操作,但应理解,可以在操作之间执行其它内务处理操作,或者可以调整操作以使得所述操作在略不同的时间上出现,或者可以分布在系统中,所述系统允许处理操作在与处理相关联的各种间隔处出现,只要重叠操作的处理以所需方式执行即可。
虽然出于清楚理解目的而详细地描述了前述公开,但是将清楚,可以在随附权利要求范围内实践某些改变和修改。因此,本公开的实施方案被认为是说明性的而非限制性的,并且本公开不限于本文中给出的细节,而是可以在本公开的范围和等效物内进行修改。

Claims (20)

1.一种为观众生成虚拟现实环境的视图的方法,所述方法包括,
生成要为头戴式显示器(HMD)玩家的HMD呈现的虚拟现实环境,向所述HMD玩家提供HMD视图,所述HMD视图通过所述HMD玩家对所述HMD的移动来控制;以及
提供观看所述虚拟现实环境的观众视图,所述观众视图与指向所述虚拟现实环境的视点相关联,使所述视点与所述HMD视图解耦。
2.如权利要求1所述的方法,其中所述HMD的移动改变所述HMD视图,并且其中使所述观众视图的所述视点解耦产生所述视点的延迟移动以跟随所述HMD视图。
3.如权利要求2所述的方法,其中所述视点的所述延迟移动的功能是以比所述HMD的移动更慢的速率跟随所述HMD视图。
4.如权利要求1所述的方法,其中所述视点是与所述虚拟现实环境相关联的多个视点中的一个。
5.如权利要求4所述的方法,其中为所述观众视图选择所述视点中的选择的视点。
6.如权利要求4所述的方法,其中基于在所述虚拟现实环境中被识别为感兴趣的特定内容而为所述观众选择所述视点中的选择的视点。
7.如权利要求1所述的方法,其中所述观众视图是所述HMD视图的部分。
8.如权利要求1所述的方法,其中所述观众视图大于所述HMD视图。
9.如权利要求1所述的方法,其中使用所述HMD玩家的注视方向来向所述观众标识出所述HMD玩家正在观看的内容。
10.如权利要求1所述的方法,所述方法还包括,
接收所述观众对所述虚拟现实环境中的收听区的选择,其中对所述收听区的选择从所述收听区的角度向所述观众提供音频。
11.一种用于为观众生成虚拟现实环境的视图的由服务器执行的方法,所述方法包括,
由所述服务器接收为头戴式显示器(HMD)玩家的HMD呈现的虚拟现实环境的供稿,向所述HMD玩家被提供HMD视图,所述HMD视图通过所述HMD玩家对所述HMD的移动来控制,所述虚拟现实环境的所述供稿被共享到网站;
由所述服务器从所述观众接收从所述网站访问所述虚拟现实环境的请求;以及
由所述服务器将观看所述虚拟现实环境的观众视图发送到所述观众的装置,所述观众视图与指向所述虚拟现实环境的视点相关联,将所述视点与所述HMD视图解耦;
其中在所述HMD玩家在所述虚拟现实环境中到处移动时,所述观众视图被更新到指向所述虚拟现实环境的其它视点。
12.如权利要求11所述的方法,其中所述视点是预创作的视点,所述视点被选择来在所述HMD玩家在所述虚拟现实环境中四处走动时提供观看所述虚拟现实环境的感兴趣的视图。
13.如权利要求11所述的方法,其中所述观众从所述预创作的视点中的一个跳到另一个。
14.如权利要求11所述的方法,其中所述观众的简档标识对视图或内容的类型的偏好,并且使用所述偏好来选择向所述观众提供所述预创作的视点中的哪个视点。
15.如权利要求11所述的方法,其中所述观众的所述装置是以下之一:由所述观众使用的HMD,或由所述观众使用的电视机屏幕,或由所述观众使用的计算机屏幕,或由所述观众使用的手持装置屏幕。
16.如权利要求11所述的方法,其中所述观众是能够观看所述HMD玩家的所述HMD视图的多个观众中的一个。
17.如权利要求11所述的方法,其中所述网站提供其它HMD玩家的其它HMD视图的一些选项,使得所述观众可以选择所述HMD视图中的特定的HMD视图并且从一个或多个观众视图查看相应的所述虚拟现实环境。
18.一种计算机可读介质,所述计算机可读介质具有用于为观众生成虚拟现实环境的视图的程序指令,所述计算机可读介质包括:
用于生成要为头戴式显示器(HMD)玩家的HMD呈现的虚拟现实环境的程序指令,向所述HMD玩家提供了HMD视图,所述HMD视图通过所述HMD玩家对所述HMD的移动来控制;以及
用于提供观看所述虚拟现实环境的观众视图的程序指令,所述观众视图与指向所述虚拟现实环境的视点相关联,使所述视点与所述HMD视图解耦。
19.如权利要求18所述的计算机可读介质,其中所述观众视图的所述视点是跟随所述HMD视图的延迟移动,并且所述视点是多个视点中的一个,所述多个视点提供指向所述HMD视图的某个区域的不同视角或所述HMD视图在所述虚拟现实环境中的移动方向。
20.如权利要求18所述的计算机可读介质,其中所述视点的所述延迟移动的功能是以比所述HMD的移动更慢的速率跟随所述HMD视图,并且所述视点是多个视点中的一个,所述一个视点是基于所述HMD视图而为所述观众视图预选择。
CN201780028278.1A 2016-03-17 2017-03-17 观看与虚拟现实(vr)用户互动性相关联的vr环境 Active CN109069932B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662309882P 2016-03-17 2016-03-17
US62/309,882 2016-03-17
US15/461,434 US11163358B2 (en) 2016-03-17 2017-03-16 Spectating virtual (VR) environments associated with VR user interactivity
US15/461,434 2017-03-16
PCT/US2017/022983 WO2017161281A1 (en) 2016-03-17 2017-03-17 Spectating virtual reality (vr) environments associated with vr user interactivity

Publications (2)

Publication Number Publication Date
CN109069932A true CN109069932A (zh) 2018-12-21
CN109069932B CN109069932B (zh) 2022-10-11

Family

ID=59847176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780028278.1A Active CN109069932B (zh) 2016-03-17 2017-03-17 观看与虚拟现实(vr)用户互动性相关联的vr环境

Country Status (5)

Country Link
US (2) US11163358B2 (zh)
EP (1) EP4384291A1 (zh)
JP (1) JP6679747B2 (zh)
CN (1) CN109069932B (zh)
WO (1) WO2017161281A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783009A (zh) * 2019-04-03 2020-10-16 宏碁股份有限公司 Chromebook计算机及其网页虚拟现实的执行方法
CN113534949A (zh) * 2020-04-22 2021-10-22 宏达国际电子股份有限公司 头戴式显示设备及其控制方法
CN114007092A (zh) * 2021-10-28 2022-02-01 咪咕互动娱乐有限公司 一种信息交互方法、装置、终端、服务器及可读存储介质
CN114638952A (zh) * 2022-05-20 2022-06-17 武汉同创蓝天科技有限公司 基于多端协同的vr全景界面操作方法及相关设备

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015069124A1 (en) * 2013-11-08 2015-05-14 Performance Lab Technologies Limited Automated prescription of activity based on physical activity data
US10679581B2 (en) * 2016-04-28 2020-06-09 Sony Corporation Information processing terminal apparatus
US10139901B2 (en) * 2016-07-05 2018-11-27 Immersv, Inc. Virtual reality distraction monitor
US9971157B2 (en) * 2016-07-25 2018-05-15 Colopl, Inc. Display control method and system for executing the display control method
US10572005B2 (en) * 2016-07-29 2020-02-25 Microsoft Technology Licensing, Llc Private communication with gazing
US10506221B2 (en) 2016-08-03 2019-12-10 Adobe Inc. Field of view rendering control of digital content
US11461820B2 (en) 2016-08-16 2022-10-04 Adobe Inc. Navigation and rewards involving physical goods and services
US10068378B2 (en) 2016-09-12 2018-09-04 Adobe Systems Incorporated Digital content interaction and navigation in virtual and augmented reality
JP6853638B2 (ja) * 2016-09-14 2021-03-31 株式会社スクウェア・エニックス 表示システム、表示方法、及び、コンピュータ装置
US10848899B2 (en) * 2016-10-13 2020-11-24 Philip Scott Lyren Binaural sound in visual entertainment media
US10430559B2 (en) 2016-10-18 2019-10-01 Adobe Inc. Digital rights management in virtual and augmented reality
US11269580B2 (en) * 2017-02-13 2022-03-08 Comcast Cable Communications, Llc Guided collaborative viewing of navigable image content
US10688396B2 (en) * 2017-04-28 2020-06-23 Sony Interactive Entertainment Inc. Second screen virtual window into VR environment
CN109952757B (zh) * 2017-08-24 2020-06-05 腾讯科技(深圳)有限公司 基于虚拟现实应用录制视频的方法、终端设备及存储介质
US11145124B2 (en) 2017-08-30 2021-10-12 Ronald H. Winston System and method for rendering virtual reality interactions
US10668382B2 (en) * 2017-09-29 2020-06-02 Sony Interactive Entertainment America Llc Augmenting virtual reality video games with friend avatars
US10621784B2 (en) 2017-09-29 2020-04-14 Sony Interactive Entertainment America Llc Venue mapping for virtual reality spectating of live events
US10341537B2 (en) * 2017-09-29 2019-07-02 Sony Interactive Entertainment America Llc Spectator view into an interactive gaming world showcased in a live event held in a real-world venue
KR102603712B1 (ko) 2017-11-03 2023-11-20 삼성전자주식회사 헤드 마운팅 장치
CN107977586B (zh) * 2017-12-22 2021-04-13 联想(北京)有限公司 显示内容处理方法、第一电子设备以及第二电子设备
US10981052B2 (en) * 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
JP6908573B2 (ja) 2018-02-06 2021-07-28 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
US11051049B2 (en) * 2018-02-06 2021-06-29 Phenix Real Time Solutions, Inc. Simulating a local experience by live streaming sharable viewpoints of a live event
US10981067B2 (en) * 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
CN110115842B (zh) * 2018-02-06 2023-01-13 日本聚逸株式会社 应用处理系统、应用处理方法以及应用处理程序
JP7250809B2 (ja) * 2018-03-13 2023-04-03 ロナルド ウィンストン 仮想現実システムおよび方法
WO2019188229A1 (ja) * 2018-03-26 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019181074A (ja) * 2018-04-17 2019-10-24 株式会社ActEvolve Vrゲーム表示装置、vrゲーム表示方法及びプログラム
EP3788457A1 (en) * 2018-05-03 2021-03-10 PCMS Holdings, Inc. Systems and methods for physical proximity and/or gesture-based chaining of vr experiences
US10902684B2 (en) 2018-05-18 2021-01-26 Microsoft Technology Licensing, Llc Multiple users dynamically editing a scene in a three-dimensional immersive environment
US10567743B1 (en) * 2018-09-24 2020-02-18 Cae Inc. See-through based display method and system for simulators
US10567744B1 (en) * 2018-09-24 2020-02-18 Cae Inc. Camera-based display method and system for simulators
WO2020068935A1 (en) * 2018-09-27 2020-04-02 Futurewei Technologies, Inc. Virtual reality viewpoint viewport center point correspondence signaling
EP3860728A4 (en) * 2018-10-01 2022-06-08 Virtuix Holdings Inc. DATA MANAGEMENT AND PERFORMANCE TRACKING SYSTEM FOR WALK-IN OR INTERACTIVE VIRTUAL REALITY
WO2020070630A1 (en) * 2018-10-02 2020-04-09 Within Unlimited, Inc. Methods, systems and devices supporting real-time shared virtual reality environment
KR102543228B1 (ko) * 2018-10-18 2023-06-13 삼성전자주식회사 포터블 장치 및 그 제어방법
EP3894998A4 (en) * 2018-12-14 2023-01-04 Valve Corporation BIOLOGICAL PLAYER FEEDBACK TO DYNAMICLY CONTROL A VIDEO GAME STATE
WO2020139409A1 (en) * 2018-12-27 2020-07-02 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US11037365B2 (en) * 2019-03-07 2021-06-15 Alibaba Group Holding Limited Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data
US10918945B2 (en) * 2019-03-15 2021-02-16 Sony Interactive Entertainment Inc. Methods and systems for spectating characters in follow-mode for virtual reality views
US11058950B2 (en) * 2019-03-15 2021-07-13 Sony Interactive Entertainment Inc. Methods and systems for spectating characters in virtual reality views
KR102317938B1 (ko) * 2019-03-19 2021-10-27 한국전자기술연구원 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
US10994201B2 (en) * 2019-03-21 2021-05-04 Wormhole Labs, Inc. Methods of applying virtual world elements into augmented reality
US11207594B2 (en) * 2019-03-29 2021-12-28 Electronic Arts Inc. State stream game engine
US10499044B1 (en) * 2019-05-13 2019-12-03 Athanos, Inc. Movable display for viewing and interacting with computer generated environments
EP3942401A1 (en) 2019-06-20 2022-01-26 Dirtt Environmental Solutions Ltd. Voice communication system within a mixed-reality environment
KR102271641B1 (ko) * 2019-11-15 2021-07-02 주식회사 더블유씨지 가상 현실 영상 연출 장치 및 방법
KR20210087378A (ko) * 2020-01-02 2021-07-12 주식회사 싸이큐어 능동형 vr 기기, vr 콘텐츠 제공 시스템, vr 콘텐츠 제공 방법, 및 기록 매체
EP4082638A4 (en) * 2020-01-28 2023-06-28 Nintendo Co., Ltd. Image processing system, image processing program, and image processing method
US11262588B2 (en) * 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
US11625973B2 (en) * 2020-04-22 2023-04-11 Igt Multi-user gaze detection at electronic gaming devices
CN111726416B (zh) * 2020-06-30 2022-04-05 北京百度网讯科技有限公司 Vr教学管理方法、装置和系统
US11688168B1 (en) 2020-08-03 2023-06-27 Apple Inc. Method and device for visual augmentation of sporting events
US11935181B2 (en) * 2020-11-30 2024-03-19 Sony Interactive Entertainment LLC In-game dynamic camera angle adjustment
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
KR102549072B1 (ko) * 2021-03-05 2023-06-29 주식회사 맘모식스 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치
US12088781B2 (en) * 2021-12-30 2024-09-10 Snap Inc. Hyper-connected and synchronized AR glasses
US12020382B2 (en) * 2022-03-24 2024-06-25 Kyndryl, Inc. Physical and virtual environment synchronization
US11880499B2 (en) 2022-05-12 2024-01-23 Science Applications International Corporation Systems and methods for providing observation scenes corresponding to extended reality (XR) content
US11890548B1 (en) * 2022-07-21 2024-02-06 Sony Interactive Entertainment LLC Crowd-sourced esports stream production

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1117074A2 (en) * 2000-01-13 2001-07-18 Mixed Reality Systems Laboratory Inc. Augmented reality presentation apparatus and method, and storage medium
CN1759909A (zh) * 2004-09-15 2006-04-19 微软公司 在线游戏观众系统
US20070117617A1 (en) * 2005-11-21 2007-05-24 Microsoft Corporation Spectator mode for a game
CN101010700A (zh) * 2004-08-23 2007-08-01 盖姆卡斯特公司 用以观看和操纵虚拟环境的设备、方法和系统
US20090209347A1 (en) * 2007-12-14 2009-08-20 The Directv Group, Inc. Start of game delay via spectator function for use in television production
CN101966393A (zh) * 2009-07-16 2011-02-09 索尼计算机娱乐美国有限责任公司 显示器观看系统和基于活动跟踪优化显示器画面的方法
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
US20140113718A1 (en) * 2012-04-26 2014-04-24 Riot Games, Inc. Systems and methods that enable a spectator's experience for online active games
WO2016009864A1 (ja) * 2014-07-18 2016-01-21 ソニー株式会社 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
CN105404393A (zh) * 2015-06-30 2016-03-16 指点无限(美国)有限公司 低延迟虚拟现实显示系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3503982B2 (ja) 1994-03-18 2004-03-08 富士通株式会社 視点設定装置
US8025572B2 (en) * 2005-11-21 2011-09-27 Microsoft Corporation Dynamic spectator mode
JP2013178639A (ja) 2012-02-28 2013-09-09 Seiko Epson Corp 頭部装着型表示装置および画像表示システム
US10905943B2 (en) 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
CN104461718B (zh) * 2013-09-23 2017-12-12 腾讯科技(深圳)有限公司 游戏应用的画面播放方法和客户端
US10019059B2 (en) 2014-08-22 2018-07-10 Sony Interactive Entertainment Inc. Glove interface object
US20170249785A1 (en) * 2016-02-29 2017-08-31 Vreal Inc Virtual reality session capture and replay systems and methods

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1117074A2 (en) * 2000-01-13 2001-07-18 Mixed Reality Systems Laboratory Inc. Augmented reality presentation apparatus and method, and storage medium
CN101010700A (zh) * 2004-08-23 2007-08-01 盖姆卡斯特公司 用以观看和操纵虚拟环境的设备、方法和系统
CN1759909A (zh) * 2004-09-15 2006-04-19 微软公司 在线游戏观众系统
US20070117617A1 (en) * 2005-11-21 2007-05-24 Microsoft Corporation Spectator mode for a game
US20090209347A1 (en) * 2007-12-14 2009-08-20 The Directv Group, Inc. Start of game delay via spectator function for use in television production
CN101966393A (zh) * 2009-07-16 2011-02-09 索尼计算机娱乐美国有限责任公司 显示器观看系统和基于活动跟踪优化显示器画面的方法
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
US20140113718A1 (en) * 2012-04-26 2014-04-24 Riot Games, Inc. Systems and methods that enable a spectator's experience for online active games
WO2016009864A1 (ja) * 2014-07-18 2016-01-21 ソニー株式会社 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
CN105404393A (zh) * 2015-06-30 2016-03-16 指点无限(美国)有限公司 低延迟虚拟现实显示系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783009A (zh) * 2019-04-03 2020-10-16 宏碁股份有限公司 Chromebook计算机及其网页虚拟现实的执行方法
CN113534949A (zh) * 2020-04-22 2021-10-22 宏达国际电子股份有限公司 头戴式显示设备及其控制方法
CN114007092A (zh) * 2021-10-28 2022-02-01 咪咕互动娱乐有限公司 一种信息交互方法、装置、终端、服务器及可读存储介质
CN114007092B (zh) * 2021-10-28 2023-08-15 咪咕互动娱乐有限公司 一种信息交互方法、终端、服务器及可读存储介质
CN114638952A (zh) * 2022-05-20 2022-06-17 武汉同创蓝天科技有限公司 基于多端协同的vr全景界面操作方法及相关设备

Also Published As

Publication number Publication date
US20170269685A1 (en) 2017-09-21
EP4384291A1 (en) 2024-06-19
US11662813B2 (en) 2023-05-30
CN109069932B (zh) 2022-10-11
JP2019518261A (ja) 2019-06-27
US11163358B2 (en) 2021-11-02
US20220050523A1 (en) 2022-02-17
JP6679747B2 (ja) 2020-04-15
WO2017161281A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
CN109069932A (zh) 观看与虚拟现实(vr)用户互动性相关联的vr环境
CN109069934A (zh) 对虚拟现实环境(vr)中的vr用户的观众视图跟踪
CN109069933A (zh) 在vr环境中的观众视角
US11389726B2 (en) Second screen virtual window into VR environment
CN105358227B (zh) 分享三维游戏过程
US20210252398A1 (en) Method and system for directing user attention to a location based game play companion application
JP6408634B2 (ja) 頭部装着ディスプレイ
TWI594174B (zh) 頭戴顯示器之追蹤系統、方法及裝置
CN109475774A (zh) 虚拟现实环境中的视图位置处的观众管理
CN110270088A (zh) 异步虚拟现实交互
JP7249975B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant