CN106716306B - 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联 - Google Patents

将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联 Download PDF

Info

Publication number
CN106716306B
CN106716306B CN201580052166.0A CN201580052166A CN106716306B CN 106716306 B CN106716306 B CN 106716306B CN 201580052166 A CN201580052166 A CN 201580052166A CN 106716306 B CN106716306 B CN 106716306B
Authority
CN
China
Prior art keywords
user
content
virtual reality
reality space
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580052166.0A
Other languages
English (en)
Other versions
CN106716306A (zh
Inventor
B.沃森
X.毛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN106716306A publication Critical patent/CN106716306A/zh
Application granted granted Critical
Publication of CN106716306B publication Critical patent/CN106716306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • A63F13/49Saving the game status; Pausing or ending the game
    • A63F13/493Resuming a game, e.g. after pausing, malfunction or power failure
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/79Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/795Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for finding other players; for building a team; for providing a buddy list
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/825Fostering virtual characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images

Abstract

一种用于与其他HMD共享内容的方法,其包括在与第一用户相关联的头戴式显示器的显示屏幕上呈现虚拟环境场景的内容。呈现所述虚拟环境场景的所述显示屏幕表示所述第一用户的虚拟现实空间。检测对共享所述第一用户的所述虚拟现实空间的请求。所述请求以第二用户为目标。响应于检测到接受所述共享请求,与所述第二用户共享所述第一用户的所述虚拟现实空间。所述共享允许使所述第一用户和所述第二用户的所述头戴式显示器上呈现的所述虚拟环境场景同步。

Description

将多个头戴式显示器同步到统一空间并且使统一空间中的对 象移动关联
发明领域
本发明涉及用于使多个头戴式显示器同步的方法和系统。
背景技术
视频游戏行业这些年已经发生了许多变化。随着计算能力的扩展,视频游戏的开发者同样已经创建了利用这些提高的计算能力的游戏软件。为此目的,视频游戏开发者一直在编码游戏和开发游戏平台,所述游戏平台并入有复杂操作和数学运算以便产生非常逼真的游戏体验。
示例性游戏平台可以是Sony
Figure BDA0001255271350000011
Sony Playstation
Figure BDA0001255271350000012
(PS2)以及Sony Playstation
Figure BDA0001255271350000013
(PS3),每一种游戏平台都以游戏控制台的形式出售。众所周知,游戏控制台被设计成连接到监视器(通常是电视机),并且通过手持式控制器实现用户交互。游戏控制台被设计成具有专门处理硬件,所述专门处理硬件包括CPU、用于处理密集图形操作的图形合成器、用于执行几何变换的向量单元以及其他胶连硬件、固件和软件。游戏控制台被进一步设计有用于接纳游戏压缩光盘的光盘托盘,以便通过游戏控制台进行本地游戏。在线游戏也是可能的,其中用户可通过互联网与其他用户交互地比赛或一起玩游戏。随着游戏复杂性不断地激起玩家的兴趣,游戏开发者和硬件制造商不断进行革新来实现额外的交互性。
计算机游戏行业的发展趋势在于开发增加用户与游戏系统之间的交互的游戏。实现更丰富的交互体验的一种方式是使用无线游戏控制器,所述无线游戏控制器的移动由游戏系统跟踪以便跟踪玩家的移动和手势并且使用这些移动和手势作为用于游戏的输入。一般来说,手势输入由诸如计算系统、视频游戏控制台、智能家电等的电子装置使用,其对玩家做出并且被电子装置捕获的某个手势执行游戏应用动作以便影响游戏的结果。
实现更具沉浸式的交互体验的另一种方式是使用头戴式显示器。头戴式显示器由用户佩戴,并且可以被配置来展示各种图形,诸如虚拟空间的视图。在头戴式显示器上展示的图形可覆盖用户视野的很大一部分或甚至全部。因此,头戴式显示器可向用户提供视觉上的沉浸式体验。
所述产业的另一个发展趋势涉及基于云端游戏系统的开发。此类系统可包括执行应用(诸如游戏应用)、并且与本地精简客户端通信的远程处理服务器,所述本地瘦客户端可以被配置来从用户接收输入并在显示器上呈现视频。
在此上下文中,本发明的实施方案应运而生。
概述
本发明的实施方案提供了用于利用多个头戴式显示器(HMD)来在虚拟现实空间中呈现内容的方法和系统。跨多个HMD共享内容并且使内容同步。允许用户使用现实世界对象来与内容交互,并且用户交互用作为HMD提供内容的应用的输入。在一些实施方案中,使现实世界对象与在虚拟现实空间中呈现的虚拟世界同步。在此类实施方案中,将应用的输入转换成虚拟世界中的动作。动作用于影响应用的结果,从而导致改变在HMD处呈现的内容。
应理解的是,本发明可以在计算机可读介质上以多种方式来实现,诸如过程、设备、系统、装置或方法。本发明的若干发明实施方案在下文进行描述。
在一个实施方案中,本发明公开了一种方法。方法包括提供用于在与第一用户相关联的头戴式显示器的显示屏幕上呈现的虚拟环境场景的内容。响应于检测到对第一用户所发起的内容的请求而提供内容。呈现虚拟环境场景的显示屏幕表示第一用户的虚拟现实空间。检测对共享第一用户的虚拟现实空间的请求。请求以第二用户为目标。响应于检测到接受共享请求的信号,与第二用户共享第一用户的虚拟现实空间。共享包括提供用于在与第二用户相关联的头戴式显示器上限定的第二虚拟现实空间中呈现的内容,并且允许与第一用户和第二用户相关联的头戴式显示器的显示屏幕中限定的虚拟现实空间和第二虚拟现实空间中呈现的内容基本上实时地同步。
在一个实施方案中,共享请求由第一用户发起并且扩展到第二用户。
在一个实施方案中,第二用户向第一用户发起共享请求。
在一个实施方案中,从第二用户的社交联系人识别第一用户。
在一个实施方案中,第二用户是第一用户的社交联系人,并且在一些实施方案中,在第一用户的附近。
在一个实施方案中,共享允许第一用户和第二用户访问在第一用户和第二用户的头戴式显示器中呈现的内容。访问允许第一用户和第二用户与提供虚拟环境场景的内容的应用交互。交互用作应用的输入,并且基本上实时地动态调整在第一用户和第二用户的头戴式显示器处展示的虚拟环境场景,以便基于交互反映应用的结果。
在一个实施方案中,共享包括从第一用户和第二用户附近内的现实世界场景识别一个或多个现实世界对象;将现实世界对象的位置协调到虚拟环境场景中的特定对象或位置;以及将与现实世界场景中的现实世界对象相关的所采取的动作转换成虚拟环境场景中的应用所采取的动作。所采取的动作用于动态地调整内容,并且使内容与第一用户和第二用户的头戴式显示器上展示的虚拟环境场景同步。
在一个实施方案中,协调位置包括使用一个或多个相机来跟踪现实世界场景中的现实世界对象的位置,以及使现实世界对象的位置与虚拟环境场景中的特定对象或位置同步。
在一个实施方案中,共享包括在第一用户的虚拟现实空间内展示与第二用户相关联的用户相关信息,以及在第二用户的虚拟现实空间内展示与第一用户相关联的用户相关信息。
在一个实施方案中,展示用户相关信息包括使第一用户和第二用户的用户相关信息在相应的虚拟现实空间内逐渐聚焦。
在一个实施方案中,共享包括生成用于暂停在检测到授予共享请求的信号之前第二用户参与的活动的信号,其中所述活动用于影响在第二用户的头戴式显示器处呈现第二内容,并且展示来自第一用户的虚拟环境场景的内容。第二内容与第一用户的头戴式显示器处呈现的内容不同。
在一个实施方案中,检测对离开第一用户的虚拟现实空间的请求,其中离开请求由第二用户发起。响应于检测到离开请求,停止在第二用户的头戴式显示器上呈现来自第一用户的虚拟现实空间的内容,并且在接受加入请求之前第二用户参与的活动从其被暂停的点恢复。活动的恢复致使在第二用户的头戴式显示器的显示屏幕上呈现第二内容。
在一个实施方案中,离开请求包括从第一用户的虚拟现实空间移除第二用户的用户相关信息。移除是通过使第二用户的用户相关信息从第一用户的虚拟现实空间逐渐淡出。
在一个实施方案中,检测对离开虚拟现实空间的请求。请求由第一用户发起。响应于检测到离开请求,停止在第一用户和第二用户的虚拟现实空间中呈现的内容。
在一个实施方案中,停止包括向第二用户提供应用的部分以便允许第二用户继续与应用的交互。应用的部分提供用于在第二用户的头戴式显示器上呈现的内容,并且是缩略版本、小于整个应用的部分或具有较少特征的应用中的一个。
在一个实施方案中,本发明公开了一种方法。方法包括从第一用户接收对地理位置的虚拟旅游的请求。响应于请求,返回与虚拟旅游相关联的视频内容,以用于在与第一用户相关联的头戴式显示器的显示屏幕上限定的虚拟现实空间中展示。在三维空间中展示视频内容。检测加入地理位置的虚拟旅游的邀请。第一用户将邀请扩展到第二用户。在第二用户接受邀请之后,向第二用户提供来自第一用户的虚拟现实空间的视频内容。接受加入致使在第二用户的头戴式显示器的显示屏幕上呈现与地理位置的虚拟旅游相关联的视频内容。
在一个实施方案中,在虚拟现实空间中展示的视频内容包括在接收请求时采取地理位置的虚拟旅游的其他用户的一个或多个用户相关信息。
在一个实施方案中,通过查询第一用户的一个或多个社交网络来检索第一用户的社交联系人,并在显示屏幕上展示所述社交联系人以供选择。检测从第一用户的社交联系人中选择第二用户,其中第二用户与在虚拟现实空间中呈现其用户相关信息的其他用户不同。通过加入地理位置的虚拟旅游的邀请扩展所选择的第二用户。
在一个实施方案中,在虚拟旅游期间展示的视频内容包括由第一用户或一个其他用户预先记录的并且可用于共享的内容。
在一个实施方案中,共享虚拟现实空间包括:生成用于暂停在接受加入邀请之前第二用户参与的活动的信号,识别用于恢复活动的重启点,停止在第二用户的头戴式显示器处呈现与活动相关联的内容,以及提供在第一用户的虚拟现实空间中展示的视频内容,以用于在与第二用户相关联的头戴式显示器的显示屏幕上呈现;以及将第二用户的用户相关信息插入第一用户所共享的虚拟现实空间中。
在一个实施方案中,检测对离开虚拟旅游的请求,其中离开请求由第二用户发起。响应于检测到离开请求,停止在第二用户的头戴式显示器的显示屏幕上呈现虚拟旅游的视频内容,并且从重启点恢复在加入虚拟旅游之前第二用户参与的活动。从与第一用户共享的虚拟现实空间移除第二用户的用户相关信息。
在一个实施方案中,本发明公开了一种方法。方法包括识别佩戴第一头戴式显示器的第一用户的第一虚拟现实空间。将第一虚拟现实空间限定在用于展示来自第一应用的内容的第一头戴式显示器的显示屏幕上。识别佩戴第二头戴式显示器的第二用户的第二虚拟现实空间。第二虚拟现实空间用于展示来自第二应用的内容,其中在第一虚拟现实空间中展示的内容与在第二虚拟现实空间中展示的内容不同。检测加入第一用户的第一虚拟现实空间的邀请。第一用户将邀请扩展到第二用户。在第二用户接受邀请之后,与第二用户共享来自第一用户的第一虚拟现实空间的内容。共享致使在第一虚拟现实空间和第二虚拟现实空间中呈现的内容同步。
在一个实施方案中,当第一用户或第二用户移动时,动态调整在第一虚拟现实空间和第二虚拟现实空间中展示的内容,以便与第一用户或第二用户的移动相关的新位置或新方向协调。
在另一个实施方案中,本发明公开了一种方法。方法包括提供用于在与第一用户相关联的头戴式显示器的显示屏幕上呈现的虚拟环境场景的内容。应用提供虚拟环境场景的内容。显示屏幕限定第一用户的第一虚拟现实空间。检测来自第二用户的对加入第一用户的第一虚拟现实空间以便观看内容的请求。检测第一用户接受请求。响应于检测到接受,通过提供用于在第二用户的头戴式显示器的显示屏幕上呈现的内容,将第二用户转换到第一用户的第一虚拟现实空间。在与第二用户相关联的头戴式显示器上限定的第二虚拟现实空间中呈现内容,并且使所述内容与第一虚拟现实空间中呈现的内容基本上实时地同步。
结合附图来阅读以下详细描述,本发明的其他方面将变得显而易见,以下详细描述通过举例的方式来说明本发明的原理。
附图简述
通过参考以下结合附图进行的描述可以更好地理解本发明,在附图中:
图1A示出根据本发明的实施方案的用于使用头戴式显示装置来执行交互式应用(诸如视频游戏)的系统配置。
图1B示出根据本发明的实施方案的用于操作头戴式显示装置的配置。
图1C示出根据本发明的替代性实施方案的用于操作头戴式显示装置的配置。
图2A概念性地示出根据本发明的实施方案的与正执行的应用(诸如视频游戏)相结合的HMD的功能。
图2B示出根据本发明的实施方案的用于在虚拟现实空间中与多个HMD共享内容的示例性系统。
图3A示出根据本发明的实施方案的在HMD装置上呈现的虚拟环境的视图,其作为使共同定位的用户的多个HMD同步的一部分。
图3B示出根据本发明的实施方案的在HMD装置上呈现的虚拟环境的视图,其作为使与远程定位的用户相关联的多个HMD同步的一部分。
图4A和图4B概念性地示出根据本发明的实施方案的基于第一用户向第二用户发起的请求而在虚拟现实空间中呈现的内容的共享。
图4C和图4D概念性地示出根据本发明的替代性实施方案的基于第二用户向第一用户发起的请求而在虚拟现实空间中呈现的内容的共享。
图5A-5D概念性地示出根据本发明的实施方案的在虚拟环境中反映的用户交互。
图6A-6C示出根据本发明的不同实施方案的示例性流程图,其各自概念性地示出用于跨多个头戴式显示器使内容同步的过程。
图7示出根据本发明的实施方案的用于执行不同应用的系统,其提供用于在用户的头戴式显示器上呈现的内容。
图8示出根据本发明的实施方案的头戴式显示器的部件。
图9是根据本发明的各种实施方案的游戏系统的框图。
详细描述
以下实施方案描述了方法和设备,其用于跨多个头戴式显示器共享和同步化内容,并且使用户交互与在头戴式显示器中限定的虚拟现实空间中呈现的内容关联。
然而,对于本领域技术人员将显而易见的是,可以在没有这些具体细节的一些或全部的情况下实践本发明。在其他情况下,众所周知的过程操作尚未进行详细描述,以免不必要地混淆本发明。
图1A示出根据本发明的实施方案的用于执行交互式应用(诸如交互式视频游戏)的系统。示出用户100正佩戴头部耦合显示器或头戴式显示器(HMD)102。以类似于眼镜、护目镜或头盔的方式佩戴HMD 102,并且所述HMD 102被配置来向用户100显示视频游戏或其他应用内容(交互式内容和非交互式内容)。HMD 102借助于靠近用户的眼睛提供的显示机构向用户100提供非常隐私和沉浸式的体验。HMD 102在用户的一只或每只眼睛的前面提供显示区,所述显示区覆盖用户视场的大部分或甚至全部。
在一个实施方案中,HMD 102可连接到计算机106。到计算机106的连接可以是有线或无线的。计算机106可以是本领域已知的任何通用或专用计算机,包括但不限于:游戏控制台、个人计算机、膝上型计算机、台式计算机、移动装置、蜂窝电话、平板计算机、瘦客户端、机顶盒、媒体流式传输装置等。在一个实施方案中,计算机106可以被配置来执行视频游戏应用,并且从视频游戏中输出视频和音频内容以便由HMD 102呈现。
用户100可操作控制器104来提供视频游戏的输入。此外,相机108可以被配置来捕获用户100位于其中的交互式环境的图像。可分析这些所捕获的图像来确定用户100、HMD102和控制器104的位置、视向和移动。在一个实施方案中,控制器104包括可以被跟踪来确定其位置和定向的一个或多个灯和/或视觉指示器。类似地,HMD 102可包括可以被跟踪来确定HMD 102的位置和定向的一个或多个等和/或视觉指示器。相机108以及HMD 102可包括用于捕获来自交互式环境的声音的一个或多个麦克风。可处理麦克风阵列所捕获的声音来识别声源的位置。通过选择性地过滤出不是来自所识别位置的其他声音,可选择性地利用或处理来自所识别位置的声音。此外,相机108可以被限定成包括多个图像捕获装置(诸如立体相机对)、IR相机、深度相机及其组合。
在另一个实施方案中,计算机106充当通过网络110与云应用提供商112通信的瘦客户端。云应用提供商112维护和执行用户100与其交互的应用(诸如视频游戏)。计算机106从HMD 102、控制器104和相机108接收输入,并且将所述输入传输到云应用提供商112,所述云应用提供商112处理所述输入以便影响正执行的应用(诸如视频游戏)的状态。来自正执行的视频游戏的输出(包括视频数据、音频数据、文本数据、图形数据、触觉反馈数据等)被传输到计算机106。计算机106在传输之前可进一步处理数据,或可将数据直接传输到相关装置。例如,将视频流、音频流、文本数据和图形数据提供到HMD102,而将振动反馈命令提供到控制器104。
在一个实施方案中,HMD 102、控制器104和相机108本身可以是连接到网络110的联网装置,以便与云应用提供商112通信。例如,计算机106可以是本地网络装置(诸如路由器),其不另外执行应用处理(即,在视频游戏应用的情况下的视频游戏处理),但通过在HMD102、控制器104、相机108和云应用提供商112之间传递数据来促进网络流量。HMD 102、控制器104和相机108到网络的连接可以是有线或无线的。
如前所述,HMD 102可以包括可使用图像捕获装置来跟踪的多个灯或视觉指示器。这些灯中的每一个可以被配置来具有特定的定向、形状,并且可以被配置来具有与其他灯相同或不同的颜色。例如,灯或视觉指示器可以布置在HMD 102的前表面上、HMD 102的侧表面上、以及在HMD 102的拐角处,以便跨越HMD 102的前表面和侧表面。可在用户使用HMD102的交互式环境的所捕获图像中识别灯或视觉指示器。灯或视觉指示器也可以设置在HMD102的背侧上,以便允许进一步跟踪用户所佩戴的HMD 102的定向。基于对设置在HMD 102的表面上的不同灯或视觉指示器的识别和跟踪,可以确定HMD 102在交互式环境中的位置和定向。将进一步了解,灯或视觉指示器中的一些可以是或可以不是随时可见的,这取决于HMD 102相对于图像捕获装置的具体定向。并且,可暴露灯或视觉指示器的不同部分以用于图像捕获,这取决于HMD 102相对于图像捕获装置的定向。
在一个实施方案中,基于被选择用于执行的应用的状态,灯或视觉指示器可以被配置来向附近的其他灯或视觉指示器指示HMD 102的当前状态。例如,灯中的一些或全部可以被配置成具有某种颜色布置、密度布置,可以被配置成以某些方式闪烁、具有某种开/关配置、或在与应用的主动交互期间指示HMD 102的当前状态的其他布置、以及在不活动状态期间的不同颜色和强度布置。灯还可以被配置来指示应用的不同等级(诸如游戏玩法的相对强度等级)。例如,当游戏玩法的强度增加时,灯的强度或闪烁的速率可以增加,以便向其他人提供用户正在参与的游戏和游戏等级的感觉的指示。
HMD 102可另外包括一个或多个麦克风。处理来自麦克风的数据以便确定声源的位置和/或方向。
在一个实施方案中,HMD 102还可以包括一个或多个图像捕获装置(未示出),诸如立体相机、IR相机等。通过利用立体图像捕获装置对,可从HMD 102的视角捕获环境的三维(3D)图像和视频。可将此类视频展示给用户以便在佩戴HMD 102时模仿“视频透视”模式。在此实施方案中,HMD 102的显示屏幕本质上被认为是“不透明的”,并且图像捕获装置所捕获的视频可以提供HMD附近的外部环境的功能等效物(好像通过HMD观看)。所展示的视频可利用虚拟元素来增强,以便提供增强的现实体验,或可与虚拟元素以其他方式组合或共混。应当理解,可以存在任何数量的面向外的相机,其在安装在HMD102上并且以任何方向定向。举例来说,在另一个实施方案中,HMD102的侧面上可安装有相机,以便提供对环境的额外全景图像捕获。
在一个实施方案中,HMD 102还可以包括用于保持诸如移动电话装置的外部计算装置107(未示出)的套筒/口袋。套筒的功能可以类似于“对接站”,因为当外部计算装置107接收到套管/口袋中时,套筒可以向其中接收的外部计算装置107提供电力,并且直接地或通过网络连接到HMD 102、控制器104(其也连接到HMD 102)。在一个实施方案中,外部计算装置107可以提供计算资源以便处理由HMD 102中的各种模块、以及通信地连接到HMD 102和/或外部计算装置107的各种装置捕获的数据,并且将处理的数据传输到计算机106以用于进一步处理。在替代性实施方案中,外部计算装置107可以提供处理资源以便在其上执行应用,并将内容传输到HMD 102以用于在HMD102的显示屏幕上呈现。在一个实施方案中,外部计算装置107的显示屏幕还可以用于呈现来自应用的内容,从而提供用于呈现内容的替代性显示屏幕。在一个实施方案中,在对接到HMD 102的外部计算装置107的显示屏幕上呈现的内容可以与正在HMD 102的显示屏幕上呈现的内容同步,并且这种同步可以甚至在外部计算装置107已经从HMD 102的套筒脱离之后继续。
图1B示出根据本发明的实施方案的用于操作头戴式显示装置102的配置。在所示实施方案中,示出了用户100正佩戴HMD装置102。HMD装置102连接到可穿戴计算装置1106。在一个实施方案中,可穿戴计算装置1106是以背包或其他身体可附接单元的形式,或可以在背包/身体可附接单元中携带。控制器104由用户100操作,并且将输入数据传送到计算装置1106。用户100可以具有与可穿戴计算装置1106通信的外部计算装置,诸如移动装置1108(例如蜂窝电话)。可穿戴计算装置1106可以被配置来执行交互式应用(诸如视频游戏),并且向HMD装置102提供视频数据、音频数据、文本数据和/或图形数据,所述HMD装置102可以用于呈现由视频游戏限定的虚拟环境场景的视图。在替代性实施方案中,移动装置1108的显示屏幕也可以与HMD装置102的显示屏幕同步,以使得在HMD装置102上呈现的内容可以同时在移动装置1108的显示部分上呈现。
图1C示出根据本发明的实施方案的用于操作头戴式显示装置的另一个配置。在图1C的实施方案中,移动装置1108直接与HMD装置102通信。在一些实现方式中,HMD装置102被配置来执行交互式应用(诸如视频游戏)。因此,HMD装置102还可以与控制器装置104通信以便接收输入数据,并且还可以从移动装置1108接收用于在HMD装置102上呈现的文本信息。在又另一个实现方式中,视频游戏可以由移动装置1108执行。在此实施方案中,移动装置1108可以被配置来提供用于向HMD装置1102呈现的视频数据和音频数据。在一个实施方案中,移动装置1108与控制器装置104通信以便接收输入数据。
图2A概念性地示出根据本发明的实施方案的与正执行的交互式应用(诸如视频游戏)相结合的HMD 102中的不同模块的功能。正执行的视频游戏应用由游戏引擎320限定,所述游戏引擎320接收输入以便更新视频游戏的游戏状态。游戏引擎320可以设置在计算机中(由图1A中的参考数字106表示)。计算机可以是以下的一部分:设置在云上并且通过网络访问的云计算服务器、连接到HMD的游戏控制台、或可以通过局域网访问的计算装置等。视频游戏的游戏状态可至少部分地由视频游戏的各种参数值限定,所述视频游戏的各种参数值限定或控制当前游戏玩法的各种方面,诸如对象的存在和位置、虚拟环境的条件、事件的触发、用户档案、游戏点、游戏胜利、观察角度等。
在所示出的实施方案中,例如,游戏引擎接收控制器输入314、音频输入316和运动输入318。可从与HMD 102分开的游戏控制器(例如控制器104)的操作限定控制器输入314。举例来说,控制器输入314可包括方向输入、按钮按压、触发器激活、移动、或由游戏控制器的操作处理的其他类型的输入。音频输入316可由HMD 102的麦克风302,或由包括在图像捕捉装置108中的麦克风处理。举例来说,运动输入318可以由包括HMD 102的手势或移动,可以从包括在HMD102中的运动传感器300获得,或在图像捕获装置108捕获用户或HMD 102的图像时从所述图像捕获装置108获得所述手势或移动。运动传感器可以处理来自设置在HMD102中的惯性传感器(诸如陀螺仪、磁力计、加速度计等)的运动输入。游戏引擎320从运动传感器和/或图像捕获装置108接收输入,根据游戏引擎的配置处理输入,以便更新视频游戏的游戏状态。游戏引擎320将游戏状态数据输出到各个呈现模块,所述呈现模块处理游戏状态数据以便限定向用户展示的内容。
在所示出的实施方案中,视频呈现模块322被限定来传输用于在HMD 102上展示的视频流。视频流可由显示器/投影仪机构310展示,并且由用户的眼睛306通过光学器件308观察。音频呈现模块324被配置来呈现用于由用户收听的音频流。在一个实施方案中,通过与HMD 102相关联的扬声器304输出音频流。应当理解,扬声器304可采用户外扬声器、耳机或者能够展示音频的任何其他类型的扬声器的形式。
在一个实施方案中,面向内的相机312包括在HMD 102中以便允许跟踪用户的注视。相机312捕捉用户眼睛的图像,分析所述图像以确定用户的注视方向。在一个实施方案中,可利用有关用户的注视方向的信息来影响视频呈现。例如,如果用户的眼睛被确定为正看着具体方向,那么可以优先或强调该方向的视频呈现,诸如通过对用户正在看的区提供更详细或更快的更新。应当理解,可以相对于HMD102、相对于用户所处的现实世界环境、和/或相对于正在HMD 102上呈现的虚拟环境来限定用户的注视方向。
此外,触觉反馈模块326被配置来将信号提供到包括在HMD 102或由用户操作的另一个装置(诸如控制器104)中的触觉反馈硬件。触觉反馈可采取各种类型的触感的形式,诸如振动反馈、温度反馈、压力反馈等。
如已经指出的,本文描述的HMD 102能够向用户提供高度沉浸式体验,其包围用户视野的大部分或甚至整体。有时,用户可能期望与其社交网络内的其他用户中的所选用户共享这种沉浸式体验。因此,根据本文描述的本发明的实施方案,本发明提供了方法、设备和系统,其用于跨多个头戴式显示器(HMD)装置上共享交互式应用的内容、以及在HMD装置中限定的统一空间内使内容同步。
图2B概念性地示出根据本发明的实施方案的内容共享应用250的不同模块,其与HMD 102交互并且允许共享交互式应用内容。内容共享应用模块250提供了与其他HMD和计算装置共享在一个HMD 102中限定的虚拟现实空间中呈现的内容的能力。内容共享应用模块250可以是由游戏引擎或应用引擎所限定的交互式应用261的一部分,或可以是单独的独立应用,其被配置来与游戏引擎和/或其他应用引擎所限定的交互式应用261交互以便提供期望内容以用于共享。在一个实施方案中,内容共享应用250在与不同用户的HMD交互的计算装置(例如,服务器计算机)上执行。在替代性实施方案中,内容共享应用250可以是用户的HMD的一部分,并且在被执行时可以被配置来连接并且与其他用户的HMD共享内容。在又另一个实施方案中,内容共享应用250的一部分可以设置在诸如游戏控制台、云服务器、联网应用服务器等的计算装置上,并且第二部分可以设置在HMD 102中。内容共享应用250可以包括多个子模块,其包括内容选择器模块251、虚拟现实(VR)空间内容生成器模块253、请求服务模块255、输入解释器模块257和VR空间内容修改器模块259。应当理解,所列出的子模块是示例性的,并且可以包括更少或附加的子模块以便解释对内容以及对跨多个HMD共享和/或同步化内容的请求。
内容选择器模块251从佩戴HMD 102的用户接收对内容的请求。可以通过在HMD102的显示屏幕上呈现的界面来提供请求,并且可以使用控制器输入来提供请求。所请求的内容可以具有任何类型,包括视频、音频、照片、视频旅游、游戏内容、电子邮件、社交馈送、消息聊天、新闻、互联网内容、促销内容等。内容选择器模块251通过验证请求用户的识别来认证请求,并且通过确定请求用户是否被授权观看请求的内容来认证请求的适当性。对于电子邮件、社交馈送、消息聊天或类似的个人或私人内容,可能尤其如此。在成功验证后,内容选择器模块251从适当源249a-249h检索内容。在一个实施方案中,请求可以通过网络被转发到内容服务器249,并且内容服务器249从内容源249a-249h中的任何一个或多个识别和检索适当的内容。然后,内容服务器249可以向内容选择器模块251提供所检索的内容。在替代性实施方案中,内容服务器249可以是游戏控制台,并且可以识别适当的内容并且将其传输到内容选择器模块251。
由内容服务器249返回的内容被转发到虚拟现实(VR)空间内容生成器模块253,其中内容被格式化以用于在请求用户的HMD 102的显示屏幕中限定的VR空间。格式化内容被转发到HMD 102,用于在HMD 102的显示屏幕中限定的VR空间中呈现。在一些实施方案中,格式化内容可以包括交互式对象、场景(在游戏或视频应用的情况下)等。相对于在HMD 102的VR空间中呈现的对象/场景检测到的用户交互被传输到输入解释器模块257。在一些实施方案中,用户交互可以作为手势提供,或者可能以通过控制器或其他输入装置提供的输入的形式。输入由输入解释器257解释,以便限定VR对象需要采取或朝向VR场景中展示的VR对象的动作、或需要在VR场景内采取的动作。此类动作针对修改提供VR场景的内容的交互式应用261的结果。输入解释器257可以包括对象跟踪器子模块257a,其用于跟踪现实世界对象(诸如控制器、HMD等)、以及用于向交互式应用261提供输入的用户的肢体(诸如手、腿等)的位置、定位,定向。对象跟踪器257a可以从设置在HMD 102中或HMD 102外部的一个或多个相机接收现实世界对象的跟踪信息。输入解释器257可以分析跟踪信息,以便确定由HMD 102、控制器、其他输入装置和/或用户提供的输入的类型,并将此信息传输到VR空间内容修改器模块259。
VR空间内容修改器模块259解释由输入解释器模块257提供的输入信息,将现实世界对象的位置、定位、定向映射到由交互式应用261提供的对应VR对象、场景等的位置、定位、定向。另外,通过手势和输入装置提供的用户输入可以被解释为限定将执行以便影响交互式应用261的结果的动作。在HMD 102的虚拟环境场景中呈现交互式应用261的受影响的结果。
在交互式应用261的执行期间,可以在请求服务模块255处接收对共享内容的请求。在一个实施方案中,请求可以由佩戴HMD 102的用户发起。响应于共享请求,可以从用户的一个或多个社交网络检索用户的一个或多个社交联系人,并且在HMD 102的显示屏幕上提供所述联系人以用于选择。例如,从识别第二用户的HMD 102接收对共享内容的用户选择。在替代性实施方案中,对共享内容的请求可以由佩戴HMD 102的第二用户发起。第二用户可以在第一用户的附近,位于与第一用户相同的地理位置中,和/或可以检测与交互式应用261交互的第一用户,并且请求第一用户共享其VR空间。请求服务模块255可以认证请求,并且在请求者的成功认证之后,接收者和请求可以允许第二用户加入第一用户的VR空间。请求服务模块255可以向VR空间内容生成器模块253发送对以下请求:与在第二用户的HMD102内限定的第二VR空间共享将在第一用户的VR空间中展示的内容。此外,请求服务模块255可以请求VR空间内容修改器模块259使VR空间中展示的内容、第一用户和第二用户的第二VR空间同步,以使得第一用户和第二用户正观看相同的内容。
在一个实施方案中,被识别用于共享的内容可以从第一用户的HMD 102直接传输到第二用户的HMD 102。在此实施方案中,设置在HMD 102内的处理器可以与HMD 102内执行的内容共享应用250的子模块(例如,请求服务模块、内容生成器模块和内容修改器模块)交互,以便通过将在第一用户的VR空间中呈现的内容直接传输到在第二用户的HMD 102中限定的第二VR空间来共享在第一用户的VR空间中展示的内容。在替代性实施方案中,在外部计算装置上执行的内容共享应用250可以接收信号或指令以便与第二用户的HMD共享内容,并且作为响应,将内容传输到第二用户的HMD 102。除了在第二用户的HMD 102上共享内容之外,请求还可以识别与其上需要共享内容的第二用户相关联的电视、第二计算装置或其他显示装置。基于请求中提供的细节,内容共享应用可以与相应的显示装置共享来自第一用户的VR空间的内容。
响应于内容的共享,第二用户可以能够在与第二用户相关联的HMD 102中限定的第二VR空间中查看共享内容。在一个实施方案中,可以不允许第二用户与交互式应用或第二用户的HMD的VR空间中展示的内容交互。相反,仅为观看而提供内容。这可以是以下情况:提供地理位置的虚拟旅游的内容以用于在第二VR空间中共享。在替代性实施方案中,可以允许第二用户与交互式应用261交互。在此实施方案中,输入解释器257通过对象跟踪器模块257a接收来自第二用户的交互,并且输入用于影响交互式应用261的结果。VR空间内容修改器应用259解释第二用户的输入,并且调整交互式应用261的内容,以便反映来自第一用户和第二用户的输入。在第一用户的VR空间和第二用户的第二VR空间处展示的内容被同步,以便允许第一用户和第二用户查看包括来自第一用户和第二用户的输入的共享和同步的内容。
在一个实施方案中,VR空间内容修改器259可以通过允许将用户相关信息(诸如用户的头像、标识符、代表图像等)引入到第一用户和第二用户的HMD 102处展示的VR空间中,允许内容增强。在一个实施方案中,VR空间内容修改器259可以在第二用户的第二VR空间中提供第一用户的信息,并且在第一用户的VR空间中提供第二用户的信息,以便向正在共享和观看内容的用户提供指示。在替代性实施方案中,可以在第一用户共享的VR空间中仅提供第二用户的信息,以便向第一用户提供有关已经被邀请共享内容的第二用户的信息。在替代性实施方案中,可以在第二用户的第二VR空间中仅展示第一用户的信息,以便向请求正被共享的原始内容的第一用户提供信息。
当第一用户或第二用户希望离开共享VR空间时,他们可以通过选择在对应HMD102的VR空间处可用的适当选项来这样做。请求服务模块255接收选项选择并且解释选项选择,以便确定第一用户或第二用户离开VR空间的意图。基于所述解释,请求服务模块255可以向VR空间内容生成器模块253和VR空间内容修改器模块259发送信号,以便停止在适当的VR空间处呈现内容。例如,如果第二用户请求离开VR空间,则第二用户的第二VR空间停止呈现由第一用户共享的内容。附加地,如果在第二用户的第二VR空间中展示第一用户的信息,则阻止呈现这种信息。除了停止呈现内容之外,请求服务模块255可以确定第二用户在接受对查看共享内容的请求之前是否参与活动或正在观看不同的内容。在第二用户参与先前活动或观看不同内容的情况下,那么请求服务模块255将与内容选择器模块251交互以便恢复内容的呈现或恢复先前活动。在一个实施方案中,可以识别从其将呈现内容或必须恢复活动的重启点,并且从重启点开始内容或活动。在一个实施方案中,例如,当第二用户接受由第一用户扩展的内容共享请求时,可以先前已经设置了重启点,并且当将要恢复先前活动时使用所述重启点。
另一方面,如果第一用户请求离开VR空间,则第一用户和第二用户的VR空间停止呈现由第一用户共享的内容。移除对应VR空间中存在的任何用户信息。在一个实施方案中,在停止呈现由第一用户共享的内容时,可以使交互式应用261的一部分可用于第二用户,以便允许第二用户继续与交互式应用261交互。所提供的交互应用261的一部分可以是应用的缩略版本、小于整个应用的一部分或具有较少特征的应用,以便允许第二用户对交互应用261进行采样。例如,这种选项允许第二用户在做出购买应用的决定之前测试交互式应用261。
应当理解,本文所描述的具体实现可以应用于呈现来自任何交互式应用源的任何类型的内容,包括:游戏相关信息,诸如交互式游戏场景、游戏内更新、得分信息、资源级别、能量级别、指令、提示、游戏内消息、游戏胜利、玩家对玩家消息传送/聊天、标题、对话、玩家成就、玩家状态等;游戏和/或非游戏社交网络活动,诸如社交媒体流、帖子、消息、社交图形的添加、最近活动、流行活动、生日提醒、社交网络应用通知等;移动装置相关信息、诸如来电、警报、通知、文本/SMS消息、聊天消息、应用通知等;以及其他类型的信息,诸如日历/日程表提醒、电子邮件消息、电视内容、视频流、互联网内容、任何上述内容的接收、任何前述的组合等。
图3A示出第一用户的HMD 102上的显示屏幕的视图,在一个实施方案中,所述显示屏幕用于呈现来自交互式应用(诸如视频游戏应用)所提供的虚拟环境场景的内容,并且用于与共同定位的其他用户的HMD 102'和其他显示装置111共享内容。如图所示,第一用户U1(100)参与视频游戏应用的游戏玩法。可以在计算机106上执行视频游戏应用,并且可以通过有线或无线通信连接将内容传输到HMD102。作为游戏玩法的一部分,在与第一用户U1(100)相关联的HMD102的显示屏幕上展示来自游戏应用的内容。显示屏幕限定其中呈现来自虚拟环境场景的内容的第一用户的虚拟现实(VR)空间。游戏应用可以包括可由不同用户选择和控制的多个虚拟现实对象。在图3A所示的实施方案中,第一用户U1被示为在进行游戏玩法期间控制虚拟现实对象。
在计算机106上执行的应用检测对共享来自第一用户的VR空间的内容的请求。请求可以由第一用户发起,并且包括与第一用户U1(100)希望与其共享内容的第二用户U2(100')相关的信息。第二用户U2(100')可以是第一用户U1(100)的社交联系人,并且可以选自第一用户的社交网络。在一个实施方案中,基于他/她的在线状态来选择第二用户U2。例如,第二用户U2可以是第一用户U1的活动社交联系人中的一个。在一个实施方案中,活动用户被限定为当前在线并且正在积极地使用应用/与应用交互的用户。在替代性实施方案中,请求可以由第二用户U2(100')发起。在此实施方案中,第二用户U2(100')可以是第一用户U1(100)的社交联系人。可以响应于第二用户U2检测到第一用户U1执行应用而生成请求。在一个实施方案中,第二用户U2可以在物理上紧密接近第一用户U1。在图3A所示的实施方案中,第二用户U2被示出为与第一用户U1共同位于位置1中。
在一个实施方案中,在接收到请求时,应用可以通过验证请求者和接收者的身份来验证请求和请求者的真实性。作为验证的一部分,应用可以确定第一用户和第二用户的地理位置。在一个实施方案中,在成功验证之后,应用可以进行检查以便查看内容是否被配置用于共享。如果内容被配置用于共享,则将内容传输到第二用户U2的HMD102'以用于呈现,如图3A中的气泡1所示。为了促进转移来自应用的内容,第二用户U2的HMD 102'通信地连接到执行应用的计算机106。在应用在云服务器上执行的一个实施方案中,第二用户U2的HMD 102'可以通过网络(诸如因特网)通信地连接到云服务器。在第二用户U2的HMD 102'上展示的内容与在第一用户U1的HMD 102上展示的内容同步。HMD 102和HMD 102'的显示部分分别限定与第一用户和第二用户(U1、U2)相关联的第一虚拟现实空间和第二虚拟现实空间。
在一个实施方案中,除了将内容传输到第二用户U2的HMD 102'之外,在计算机106上执行的应用还可以将在第一用户的HMD 102上展示的内容传输到与第二用户的第二计算装置或电视111相关联的显示屏幕(如图3中的气泡2所示),以用于在显示屏幕上公开地呈现内容,以便允许第三用户查看在HMD 102和102'中展示的内容。在此实施方案中,第二计算装置或电视111可以通过有线或无线通信连接来通信地连接到计算机106。
在替代性实施方案中,通过允许第二用户U2将内容从其HMD102'传输到第二计算装置或电视、或其他用户的另外一个或多个HMD(未示出),向第二用户U2提供与其他用户共享内容的能力。在此实施方案中,第二用户U2的HMD 102'通信地连接到第二计算装置、电视111、或第二用户U2选择与其共享由第一用户U1共享的内容的其他用户的其他HMD 102。HMD102'与第二计算装置/电视/其他HMD之间的通信连接可以通过具有以下通信协议的有线或无线连接,所述通信协议使得能够传输由应用提供并且在第一用户的HMD 102上呈现的虚拟环境场景的内容。
在一个实施方案中,可以允许第一用户U1所共享的内容的用户交互。在此实施方案中,用户交互可以用于基于第一用户U1和第二用户U2所提供的输入来影响交互应用的结果,诸如修改交互式场景内的交互式虚拟对象等。交互允许用户U1、U2中的每一个操纵和控制交互式应用的不同虚拟对象。
图3B示出替代性实施方案,其中也与第二用户的HMD 102'共享来自在第一用户U1的HMD 102上呈现的正在执行的应用的内容。在此实施方案中,第一用户U1和第二用户U2远程定位,其中第一用户U1位于位置1并且第二用户U2位于位置2。在此实施方案中,计算机106可以通过有线或无线通信链路利用因特网通信地连接到第二用户U2(100')的HMD102',以便允许将交互式应用内容传输到HMD 102'以用于呈现。在HMD 102和102'上呈现的内容被动态同步化,以使得用户U1和U2正在观看相同的内容。在一个实施方案中,第一用户U1可以交互地控制交互式应用的虚拟对象,并且第二用户U2是被动观看者,在第一用户U1正在与交互式应用交互时,允许所述被动观看者仅观看他的HMD 102'的显示屏幕上的内容。在另一个实施方案中,用户U1可以交互地控制交互式应用的第一虚拟对象,并且可以允许用户U2交互地控制交互式应用的第二虚拟对象。在一个实施方案中,第一用户或第二用户可以单独地或共同地决定社交地共享正在HMD 102、102'的显示屏幕上呈现的交互式应用的内容。在此实施方案中,可以由第一用户U1和/或第二用户U2生成计算机106上执行的交互式应用解释的信号,所述计算机106然后基于所述解释开始将内容传输到计算装置的电视或显示监视器/显示装置的“社交屏幕”111。如在应用中使用的,社交屏幕111被限定为允许在其上呈现的内容由位于装置附近的一个或多个用户查看的可公开观看的显示屏幕。在图3B所示的实施方案中,在社交屏幕111上呈现的内容正由在位置2的社交屏幕111附近的用户U3观看。在一个实施方案中,应用可以进行验证以便查看在将内容传输到社交屏幕111以用于与其他用户共享之前,识别内容是否用于共享。这种附加验证可以用于确保将被保持私有的内容不被公共共享。
图4A-4D示出接收对在用户的HMD上呈现的共享内容的请求的不同选项。在图4A和图4B所示的实施方案中,第一用户U1正在观看来自诸如游戏应用、视频旅游应用等的交互式应用的内容。在第一用户U1的HMD的显示屏幕上限定的虚拟现实空间(即,VR空间1)中展示内容。在一个实施方案中,第一用户U1可能已经选择与包括从他/她自己的社交网络识别的用户U2和U12的其他用户共享内容。在替代性实施方案中,第一用户可能正在观看其他用户(用户U2和U12)也在访问和观看的内容。在另一个实施方案中,第一用户可以正在观看由用户U2或用户U12或两者共享的内容。在此实施方案中,用户U1可以是用户U2或用户U12或两者的社交联系人。通过包括例如现实世界对象、评论、文本、正在观看相同内容的其他用户的头像、互联网内容、用户生成内容、赞助内容、用户相关信息或其组合,可以增强在第一用户U1的VR空间1中展示的内容。用于增加VR空间1的上述列表是示例性的,并且不应被认为是穷举的。
在一个实施方案中,控制共享在第一用户的HMD 102中限定的VR空间1中展示的内容的第一用户U1是主用户。主用户与其共享内容的用户是次用户。在一个实施方案中,允许次用户观看内容,但可能不允许次用户与其他用户交互或进一步其他用户共享内容。在此实施方案中,据称通过仅允许一个主用户控制内容共享并且多个次用户观看由主用户共享的内容,应用以模式1操作。在替代性实施方案中,可以向第二用户提供与他/她的社交网络内的其他用户交互并且与其他用户共享内容的能力。在此实施方案中,第二用户被指定为主用户,并且被设置有与第一用户相同的用于与其他用户的HMD共享内容的特权。在此实施方案中,应用被认为以模式2操作,在模式2中允许多个主用户控制交互式应用的内容共享,其中每个主用户具有与多个次用户共享内容的能力。在一个实施方案中,可以向每个主用户提供指定附加主用户的能力,从而允许新指定的主用户与其他次用户共享内容。可以从相应的主用户的社交网络挑选被选择用于共享的附加主要和次用户中的每一个。
因此,如图4A所示,第一用户U1可以向第二用户U4发起请求第二用户U4加入VR空间1的共享请求(如气泡‘A’所示)。第二用户U4可以是第一用户U1的社交联系人,并且可以选自第一用户U1的社交网络。在接收到共享请求时,第二用户U4可以沉浸在其自己的VR空间(VR空间2)中呈现的内容中,并且可能存在附加用户U10和U3,其可以是第一用户U1的社交联系人、第二用户U4的社交联系人,或可以是位于第一用户和/或第二用户附近并且沉浸在其自己的VR空间(分别是VR空间3和VR空间4)中的独立用户。在向第二用户U4展示共享请求时,第二用户U4可以选择忽略/拒绝所述请求,或者可以选择加入第一用户U1的VR空间1。如果第二用户选择忽略/拒绝请求,则第二用户U4可以继续沉浸在其VR空间2中呈现的内容中。另一方面,如果第二用户U4选择接受请求并加入VR空间1,则他可以向第一用户U1发送回响应,从而显示他有兴趣加入第一用户U1的VR空间1(如图4B中的气泡‘B’所示)。响应于第二用户U4接受加入邀请,第二用户U4被转换到第一用户U1的VR空间1。这通过交互式应用与第二用户U4共享在第一用户U1的HMD的VR空间1中呈现的内容来完成。通过首先停止在第二用户的HMD中限定的VR空间2中当前正在呈现的内容,并且然后在VR空间2中展示在VR空间1中呈现的内容,在第二用户的HMD上呈现共享内容。在VR空间2中呈现的内容与在VR空间1中的内容同步。
图4C和图4D示出替代性实施方案,其中共享请求源自第二用户U4并且针对在VR空间1中正观看内容的第一用户U1。第二用户U4可以与第一用户U1共同定位(即,在附近),或第二用户可以远程定位但是具有用户U1正在与交互式应用交互的指示。可以通过检查用户U1的在线状态、通过访问社交媒体网站等来确定指示。在图4C所示的实施方案中,第二用户U4发送对加入第一用户U1的VR空间1的请求。交互式应用检测对共享来自第二用户U4的内容的请求,并且执行第二用户U4的必要验证。验证可以是确定第二用户U4是否与第一用户U1社交相关,并且可以通过检查第一用户U1的社交联系人来进行验证。在替代性实施方案中,第一用户U1可能不与第二用户U4社交相关,但可能已经共享共同兴趣。在此实施方案中,验证可以是验证用户的兴趣。在成功验证第一用户和第二用户的社交连接或兴趣连接之后,应用可以确定VR空间1中呈现的内容是否被配置用于共享。如果内容被配置用于共享并且用户U1已经接受对共享内容的请求,则如图4D所示,通过将内容从VR空间1传输到第二用户佩戴的HMD以用于在其上限定的VR空间2中呈现,应用允许U4转换到U1的VR空间1。
图5A-5D示出在一个实施方案中由交互式应用(诸如视频游戏应用)提供的虚拟环境场景的视图,可以在第一用户U1的HMD装置102上呈现并且与第二用户U2共享所述虚拟环境场景。图5A示出在时间t0在不同用户的虚拟现实空间中呈现的内容。例如,可以在为第一用户U1限定的VR空间1中向第一用户U1展示来自第一交互式应用(诸如视频游戏应用1)的内容,并且可以在为第二用户U2限定的VR空间2中向第二用户U2展示来自第二交互式应用(诸如视频游戏应用2)的内容。应当理解,用于在VR空间1和/或VR空间2中呈现的内容可以来自任何应用,并且不一定来自视频游戏应用。此外,交互式应用1和/或交互式应用2可以允许用户与交互式游戏场景交互,并且这种用户交互转换为改变相应交互式应用的结果的用户输入。例如,第一用户U1可以选择第一应用的交互式游戏场景内的VR对象来与其交互,并且可以使用用户U1的输入来操纵所选择的VR对象。类似地,第二用户U2可以与第二应用的交互式游戏场景内的VR对象交互,并且可以使用用户U2的输入来操纵所选择的VR对象。可以通过诸如用户输入装置(即控制器等)的现实世界对象/或通过使用用户身体部分(诸如四肢等)的手势来提供来自用户U1/U2的输入,并且这种用户输入可以与交互式游戏场景中的相应VR对象同步。例如,由用户处理/控制的对象的位置、或用户身体部位的位置可以由一个或多个相机跟踪,并且这些对象的位置可以被协调和同步到交互式游戏场景中的相应VR对象的特定位置或动作。
图5A示出第一用户U1已经选择以便与VR空间1中的VR角色UA1交互、并且第二用户已经选择以便与VR空间2中的第二VR角色UA2交互的VR对象。来自第一用户U1和第二用户U2的用户输入用于改变应用的结果。图5A示出示例性控制器104、104',第一用户U1和第二用户U2使用所述示例性控制器104、104'以便与相应的应用进行交互(诸如与应用所提供的虚拟对象交互)。当然,可以使用其他类型的控制器或输入装置来提供用户输入。
当第一用户U1向第二用户U2发送加入VR空间1的邀请时,如图5B所示,通过在第二用户U2接受邀请时提供对观看VR空间1中展示的内容的访问,允许第二用户U2加入第一用户U1的VR空间1。在一个实施方案中,允许第二用户U2观看,但不被允许第二用户U2与在VR空间1中展示的交互式游戏场景内的任何VR对象交互。在另一个实施方案中,响应于第二用户U2接受加入第一用户U1的VR空间1的邀请,允许第二用户U2与在交互式游戏场景中展示的VR对象交互。在此实施方案中,可以向第二用户U2提供从VR空间1中提供的交互式游戏场景内选择VR对象并且与所选择的VR对象交互的选项。使用来自第一用户U1和第二用户U2的用户输入来影响应用的结果,并且根据应用的结果调整在VR空间1中呈现的交互式游戏场景。
图5B和图5D分别示出在时间t1和t3的此类用户交互的屏幕视图,其中游戏场景内的VR对象1由来自第一用户U1的输入控制,并且图5C示出在时间t2的用户交互的屏幕视图,其中VR对象2由来自第二用户U2的输入控制。
应当理解,第一用户U1可以使用第一类型的控制器或输入装置与第一应用交互,并且第二用户U2可以使用第二类型的控制器、或使用手势或不同于第一类型的控制器的输入装置与第一应用交互。不管用于与应用交互的输入装置或模式,第一用户U1和第二用户U2使用不同的输入装置/手势所提供的输入键/手势被映射到第一应用将采取以影响应用结果的特定动作。
在一个实施方案中,第一用户U1可以访问虚拟旅游应用并且请求地理位置的虚拟旅游。响应于请求,虚拟旅游应用可以返回与虚拟旅游相关联的视频内容。在与第一用户U1相关联的头戴式显示器的显示屏幕上展示返回的视频内容。显示屏幕限定第一用户U1的虚拟现实空间。在一些实施方案中,视频内容被展示为三维呈现以便向第一用户U1提供更逼真的体验。来自虚拟旅游的视频可以被展示为交互式旅行,以便使看起来已经从第一用户的角度捕获所述视频。因此,当第一用户U1到处移动时,在虚拟旅游视频中提供的透视图也改变以便适应第一用户U1的移动。
在一个实施方案中,第一用户U1可以使用虚拟旅游应用来观看虚拟旅游的视频。当第一用户U1正在观看虚拟旅游时,第一用户U1可能期望与其他用户(诸如他的朋友、亲戚、商业熟人、社交联系人等)共享虚拟旅游。因此,第一用户U1向一个或多个其他用户发送邀请,从而请求他们加入第一用户U1当前正参与创建的虚拟旅游。在一个实施方案中,其他用户选自第一用户U1的一个或多个社交网络。其他用户可以正在观看来自另一个应用的内容,或可以使用其相应的HMD来参与活动。当每个其他用户接受加入虚拟旅游的邀请时,暂停呈现来自另一应用或其他用户参与的活动的内容,并且当观看虚拟旅游时,基本上实时地开始在相应用户的HMD装置中展示来自VR空间1中呈现的虚拟旅游的内容。在一个实施方案中,除了呈现内容之外,相应用户的头像或用户代表图像或其他用户相关信息可以包括在虚拟现实空间1中,以便使得看起来其他用户在虚拟旅游期间已经加入第一用户U1。
在替代性实施方案中,向第一用户U1展示并且由第一用户U1共享的视频旅游可以包括与一个或多个其他用户相关的信息,所述一个或多个其他用户还在第一用户U1请求虚拟旅游的同时已经请求针对地理位置的虚拟旅游的视频内容。在此实施方案中,如在先前的实施方案中,与其他用户相关的信息可以包括其头像或用户代表图像以便提供已经加入虚拟旅游的不同用户的透视图。应当理解,头像是可以包括在VR空间1中的一种类型的信息,并且与用户相关的其他信息也可以包括在与其他用户共享的VR空间1中。共享致使在相应用户的HMD装置中呈现来自地理位置的虚拟旅游的内容。在每个用户HMD装置中呈现的内容与在第一用户的HMD装置中呈现的内容同步。
在一个实施方案中,第一用户U1可以邀请第二用户U2加入虚拟旅游。在此实施方案中,当第二用户U2接受邀请时,在第二用户U2的HMD中呈现来自VR空间1的内容。与内容一起,第一用户U1的用户相关信息包括在第二用户U2的HMD中呈现的VR空间1中,并且第二用户U2的用户相关信息包括在第一用户U1的HMD的VR空间1中,从而使得看起来两个用户一起进行虚拟旅游。在一些实施方式中,缓慢地使第一用户U1和第二用户U2的用户相关信息在相应的VR空间处聚焦。在VR空间1中观看虚拟旅游的用户可以能够与内容交互以及彼此交互,并且这种交互可以是以文本、语音、手势、发布等形式,并且这种交互可以调整在相应VR空间处呈现的内容。例如,如果第一用户或第二用户在特定方向上移动,则由应用检测移动,并且可以调整在第一用户HMD或第二用户HMD的VR空间处呈现的内容以便对应于所检测的移动。这些交互向内容的共享增加深度,并且使得协作观看比仅观看内容更加有趣。
在一个实施方案中,虚拟旅游的内容是由第一用户U1或其他用户之一预先记录并且可用于共享的内容。在另一个实施方案中,虚拟旅游的内容是由第一用户U1捕获并且与其他用户基本上实时共享的内容。在一个实施方案中,第二用户U2可以参与观看其他内容,或者可以在第二用户U2接收加入虚拟旅游的邀请时,参与在第二用户U2的HMD处提供内容的活动。在此实施方案中,可以向第二用户U2展示请求作为对应HMD处的用户警报。第二用户U2可以响应于用户警报。因此,停止正在第二用户U2的HMD处展示的内容或暂停活动,并且呈现来自虚拟旅游的视频内容,从而允许第二用户U2在地理位置的虚拟旅游期间跟随第一用户U1。在一个实施方案中,响应于第二用户U2对用户警报的动作,第二用户U2的头像或代表图像或与第二用户U2相关的任何其他信息可以包括在由第一用户U1共享的虚拟空间中。用户相关信息提供正在与第一用户U1观看虚拟旅游的用户的数量的指示。
当第二用户U2选择离开虚拟旅游时,第二用户U2可以生成指示他/她打算离开虚拟旅游的信号或用户警报。响应于信号,应用可以停止在第二用户U2的HMD上呈现来自VR空间1的内容。如果第二用户U2在加入虚拟旅游中的第一用户U1之前与另一个应用交互或参与活动,则来自此应用的内容将开始呈现或活动将从暂停其时建立的重启点恢复。附加地,如果第二用户U2的头像或代表图像或信息包括在VR空间1中,则响应于加入虚拟旅游,从VR空间1移除第二用户U2的头像、代表图像或信息。
应当理解,参考邀请其他用户以及共享来自地理位置的虚拟旅游的内容所描述的各种实施方案可以扩展到:例如,购物(共享评论、提供/接收意见、购买产品/商品)、酒店预订(通过酒店旅游和预订来预览酒店)、实况体育赛事(评论和共享)、针对地点或人物定制的广告/赞助内容、游戏(共享评论、提供意见、邀请用户参与游戏(例如,邀请用户成为赛车中的乘客)和购买)等。
图6A是概念性地示出在一个实施方案中的用于与多个用户在其HMD上共享视频内容、并且使HMD上展示的视频内容同步的过程的流程图。过程开始于操作610,其中在与第一用户相关联的头戴式显示器的显示屏幕上呈现来自虚拟环境场景的内容。内容可以由任何源提供并且包括来自以下的内容:电子邮件、互联网新闻、社交网络馈送、即时消息传送/聊天、日历事件、音频/视频呼叫、文本消息、应用警报/提醒、照片、与事件相关联的视频内容、地理位置、人员等、或其任何组合。应当理解,上述内容列表是示例性的。虚拟环境场景可以由正执行的应用提供,所述应用诸如电子邮件应用、虚拟旅游应用、即时消息传送应用、日历应用、社交实用应用、照片应用等。HMD的显示屏幕限定虚拟现实空间。
在操作620中,检测对共享第一用户的虚拟现实空间的请求。请求可以由第一用户发起并且从第一用户的社交网络识别第二用户。可替代地,请求可以由第二用户发起。当第二用户检测沉浸在来自应用的内容中的第一用户时,可以发起请求。
响应于共享请求,如操作630所示,与第二用户共享第一用户的虚拟现实(VR)空间。在一些实现方式中,在接收共享请求之后,用户可以通过生成授予请求的信号来进行响应。例如,当共享请求源自第一用户时,第二用户可以生成接受加入第一用户的VR空间的请求的信号。在共享请求源自第二用户的实例中,第一用户可以生成接受对以下的请求的信号:共享来自第一用户当前参与观看的VR空间的内容。响应于信号,应用通过将第一用户的VR空间中的内容呈现传输到第二用户的HMD来与第二用户共享VR空间。在第二用户与第一用户共享VR空间期间,应用继续使内容同步。
图6B是概念性地示出在替代性实施方案中的用于与多个用户在其HMD上共享视频内容、并且使HMD上展示的视频内容同步的过程的流程图。过程开始于操作640,其中在与第一用户相关联的头戴式显示器的显示屏幕上呈现来自虚拟环境场景的内容。内容可以由任何内容提供商提供,并且可以包括交互式内容。虚拟环境场景可以由正执行的交互式应用提供。HMD的显示屏幕限定第一虚拟现实空间。
在操作645中,检测源自第一用户的请求第二用户加入第一用户的虚拟现实空间的邀请。在请求中识别的第二用户可以是通过访问第一用户的一个或多个社交网络选择的第一用户的社交联系人。
第二用户可以或可以不接受加入第一用户的第一虚拟现实空间的邀请。在第二用户拒绝邀请的情况下,第二用户继续参与他在接收到来自第一用户的邀请之前参与的活动。在第二用户接受邀请的情况下,应用可以检测接受,并且如操作650所示,通过提供对当前在第一用户的第一虚拟现实空间中呈现的内容的访问,继而将第二用户的HMD显示屏幕转换到第一用户的第一虚拟现实空间。如操作655所示,使在第二用户的HMD中呈现的内容与在第一用户的HMD中呈现的内容同步。
图6C示出了概念性地示出在一个实施方案中的用于与多个用户在其HMD上共享多媒体内容、并且使HMD上展示的视频内容同步的过程的流程图。过程开始于操作660,其中在与第一用户相关联的头戴式显示器的显示屏幕上呈现来自虚拟环境场景的内容。内容可以由任何内容提供商提供,并且可以包括交互式内容。虚拟环境场景可以由正执行的交互式应用提供。HMD的显示屏幕限定第一虚拟现实空间。
在操作665中,检测对加入第一用户的虚拟现实空间的请求,其中所述请求源自第二用户。发起请求的第二用户可以是第一用户的社交联系人。例如,当第二用户检测到第一用户的在线状态并且确定第一用户沉浸在来自应用的内容中时,第二用户可以发起请求。
第一用户可以或可以不接受以下请求:允许第二用户访问正在第一用户的第一虚拟现实空间中呈现的内容。在第一用户拒绝请求的情况下,第二用户继续参与在他发起加入第一用户的第一虚拟现实空间的请求之前参与的活动。在第一用户接受请求的情况下,如操作670所示,应用可以检测接受,并且如操作675所示,通过提供对第一虚拟现实空间中呈现的内容的访问,继而将第二用户的HMD显示屏幕转换到第一用户的第一虚拟现实空间。使在第二用户的HMD中呈现的内容与在第一用户的HMD中呈现的内容同步。
各种实施方案提供了协作多媒体内容共享应用,以便使得用户能够基本上实时地与其他用户共享其内容。用户可以是从一个或多个社交网络识别的社交联系人。应当理解,尽管已经描述了用于共享视频的一些实施方案,但是实施方案可以扩展到共享能够在用户的HMD上或在计算装置上呈现的任何其他多媒体内容。
图7示出根据本发明的实施方案的用于在用户的头戴式显示器上呈现各种类型的内容信息的系统。计算机106被配置来执行视频游戏261。计算机106可以通过网络110与游戏服务器112通信。在一些实施方案中,游戏服务器112被配置来存储与视频游戏261相关的各种类型的信息,诸如玩家进度、成就、资源等。游戏服务器112还可以促进通过网络110的多玩家游戏,并且因此游戏服务器112可以与可执行视频游戏的其他实例的其他计算装置通信。在云游戏实现方式中,游戏服务器112被配置来执行视频游戏261并且向计算机106提供视频和音频数据,其中计算机106被配置来充当用于与在游戏服务器112处执行的视频游戏通信的远程终端或接口。在一些实现方式中,游戏服务器112可以在虚拟机中例示视频游戏,并且与计算机106共享与虚拟机处生成的视频游戏相关的数据。
头戴式显示器102与计算机106通信。头戴式显示器102可以从计算机106接收用于在头戴式显示器102上呈现的视频数据和音频数据。此外,头戴式显示器102可以将输入数据传送到计算机106,所述输入数据诸如惯性传感器数据、图像捕获数据、注视跟踪数据、以及可由头戴式显示器102检测或处理的其他类型的数据。附加地,提供控制器装置104作为用于向视频游戏261提供输入的另一个输入装置。
诸如相机的图像捕获装置108被配置来捕获现实世界交互式环境的图像,其中用户操作头戴式显示器102和控制器104。计算机106可以被配置来处理这些捕获的图像,以便识别在交互式环境中的各种元素的定位/位置/定向,所述各种元素诸如用户或用户的部分、头戴式显示器102、控制器装置104、其他输入装置、或交互式环境中的任何其他元件。附加地,图像捕获装置108可以包括用于捕获来自交互式环境的声音的至少一个麦克风。在一些实施方式中,包括多个麦克风以实现声音定位,即识别从其产生交互式环境中的声音的位置、和/或此类声音的特定源(例如,用户)。
正执行的视频游戏可以限定虚拟环境,并且可以在头戴式显示器102上呈现虚拟环境的视图以供用户观看。
在一些实施方式中,移动装置或其他计算装置107与计算机106通信。计算机106可以被配置来例如从移动装置107接收文本信息以用于向用户显示。响应于接收到文本信息,计算机106可以被配置来确定何时以及如何在头戴式显示装置102上呈现这种文本信息。在各种实现方式中,移动装置107可以被配置来接收各种类型的文本或其他多媒体内容信息,诸如电子邮件、社交网络更新、文本消息、即时消息、聊天消息等。移动装置107因此可以与各种服务器通信以便接收这种文本或其他多媒体内容信息,诸如参考图7示出和描述的各种服务器(例如,游戏服务器112、游戏社交网络服务器249b、电子邮件服务器249f、社交网络服务器249g、新闻服务器249a、消息传送/聊天服务器249e等)。
在附加的实施方式中,移动装置107可以直接与头戴式显示器102通信,以便实现与以上描述的关于向用户通知和/或显示文本信息相似或相同的功能。
游戏社交网络服务器249b提供游戏社交网络,并且还向计算机106提供关于游戏社交网络的更新(例如,帖子、新闻等),以用于在头戴式显示器102上显示。电子邮件服务器249f提供用户的电子邮件账户,可以向头戴式显示器102上的计算机106显示器提供对所述电子邮件账户的更新(例如,新消息等)。社交网络服务器249g提供与上述游戏社交网络服务器249b不同的社交网络。社交网络服务器249g同样可以向计算机106提供关于社交网络上的活动的更新,以用于在HMD装置102上显示。新闻服务器249a可以被配置来向计算机106提供包括标题、文章或其他新闻信息的新闻供应,以用于在HMD装置102上显示。消息传送/聊天服务器249e提供消息传送/聊天服务,诸如文本消息传送、即时消息传送、文本/语音/视频聊天等。消息传送/聊天服务器249e可以被配置来向计算机106传送消息传送/聊天信息(诸如通知和/或消息/聊天内容),以用于向HMD装置102呈现。除了上述提供内容的服务器之外,诸如多媒体内容服务器的附加服务器可以提供可传送到计算机106以用于向HMD装置102呈现的内容。
尽管上述服务器已经被描述为将各种类型的文本或其它内容信息传送到计算机106,但是应当理解,给定服务器可以首先将这种信息传送到游戏服务器112,所述游戏服务器112继而可以将文本信息中继到计算机106以用于进一步处理和传输到HMD 102、控制器104或用于直接传输到HMD 102和/或控制器104。
本文所述的各种实施方案已参考展示在头戴式显示器装置上的视频游戏进行了描述。然而,应当理解,根据其他实施方案,描述的原理和方法因此也可在其他类型交互应用的环境中应用,以及在展示在其他类型的装置上的环境中应用,其包括但不限于可在其上展示交互应用的电视屏幕、其他计算装置的显示装置、以及其他类型的显示器。
参考图8,根据本发明的实施方案展示了示出头戴式显示器102的部件的图。头戴式显示器102包括用于执行程序指令的处理器1300。存储器1302被提供用于存储目的,并且可包括易失性存储器和非易失性存储器。包括显示器1304,所述显示器1304提供用户可观看的视觉界面。电池1306被提供为头戴式显示器102的电源。运动检测模块1308(例如,位置和定向模块/惯性传感器)可包括各种运动敏感硬件中的任一种,诸如磁力仪1310、加速计1312和陀螺仪1314。
加速计是用于测量反作用力所引起的加速度和重力的装置。单轴和多轴模型可用来检测不同方向上的加速度的量级和方向。加速计用于感测倾斜度、振动和冲击。在一个实施方案中,使用三个加速计1312来提供重力方向,所述重力方向为两个角度(世界空间俯仰和世界空间横滚)给出绝对参考。
磁力仪测量头戴式显示器附近的磁场的强度和方向。在一个实施方案中,在头戴式显示器内使用三个磁力仪1310,从而确保世界空间偏航角的绝对参考。在一个实施方案中,磁力仪被设计来跨越地球磁场,所述地球磁场为±80微特斯拉。磁力仪受金属影响,并且提供与实际偏航无变化的偏航测量。磁场可由于环境中的金属而扭曲,这导致偏航测量的偏差。如果必要的话,那么可使用来自其他传感器(如陀螺仪或相机)的信息来校准此偏差。在一个实施方案中,加速计1312与磁力仪1310一起使用,以便获得头戴式显示器102的倾斜度和方位角。
陀螺仪1314是用于基于角动量的原理来测量或维持定向的装置。在一个实施方案中,三个陀螺仪1314基于惯性感测提供关于越过相应轴线(x、y和z)的移动的信息。陀螺仪1314帮助检测快速旋转。然而,陀螺仪1314在不存在绝对参考的情况下可随时间而漂移。这需要定期重新设置陀螺仪1314,所述重新设置可使用其他可利用的信息来完成,所述信息诸如基于对物体、加速计、磁力仪等的视觉追踪的位置/定向确定。
提供相机1316来用于捕获真实环境的图像和图像流。头戴式显示器102可包括一个以上相机,其包括后置相机(当用户正在观看头戴式显示器102的显示时背离用户)和前置相机(当用户正在观看头戴式显示器102的显示时直接朝向用户)。另外,深度相机1318可以被包括在头戴式显示器102内,以用于感测真实环境中的物体的深度信息。
头戴式显示器102包括用于提供音频输出的扬声器1320(图2A的扬声器304)。并且,可包括麦克风1322(图2A的麦克风302),以用于从真实环境捕获音频,所述音频包括来自周围环境的声音、用户的语音等。头戴式显示器102包括用于向用户提供触觉反馈的触觉反馈模块1324。在一个实施方案中,触觉反馈模块1324能够引起头戴式显示器102的移动和/或振动,以便向用户提供触觉反馈。在另一个实施方案中,触觉反馈模块1324能够引起控制器104的移动和/或振动,以便向用户提供触觉反馈。
LED 1326被提供为头戴式显示器102的状态的视觉指示器。举例来说,LED可指示电池电量、通电等。提供读卡器1328来使头戴式显示器102从存储卡读取信息和将信息写入到存储卡。包括USB接口1330作为用于实现外围装置的连接或连到其他装置(诸如其他便携式装置、计算机等)的连接的接口的一个实例。在头戴式显示器102的各个实施方案中,可包括各种接口中的任一种来实现头戴式显示器102的更大的连通性。
包括WiFi模块1332,以用于实现通过无线联网技术来连接到互联网。并且,头戴式显示器102包括用于实现无线连接到其他装置的蓝牙模块1334。还可包括通信链路1336,以用于连接到其他装置。在一个实施方案中,通信链路1336利用红外线传输来进行无线通信。在其他实施方案中,通信链路1336可利用用于与其他装置通信的各种无线或有线传输协议中的任一种。
包括输入按钮/传感器1338来提供用户的输入接口。可包括各种输入接口中的任一种,诸如按钮、触摸板、操纵杆、轨迹球等。超声波通信模块1340可包括在头戴式显示器102中,以用于促进经由超声波技术与其他装置的通信。
包括生物传感器1342来实现来自用户的生理数据的检测。在一个实施方案中,生物传感器1342包括一个或多个干电极,其用于通过用户皮肤来检测用户的生物电信号。
已将头戴式显示器102的前述部件描述为仅是可包括在头戴式显示器102中的示例性部件。在本发明的各个实施方案中,头戴式显示器102可或可不包括前面提及的各种部件中的一些部件。头戴式显示器102的实施方案可另外包括目前未描述、但在本领域已知的其他部件,以用于促进如本文所述的本发明的方面的目的。
本领域技术人员将了解,在本发明的各个实施方案中,可结合显示器上所显示的交互式应用来利用前面提及的手持式装置,以提供各种交互式功能。仅作为实例且不作为限制来提供本文所述的示范性实施方案。
图9是根据本发明的各种实施方案的游戏系统1400的框图。游戏系统1400被配置来通过网络1415将视频流提供到一个或多个客户端1410。游戏系统1400通常包括视频服务器系统1420和任选的游戏服务器1425。视频服务器系统1420被配置来以最低的服务质量向一个或多个客户端1410提供视频流。例如,视频服务器系统1420可接收改变视频游戏的状态或所述视频游戏内的视角的游戏命令,并且以最小的滞后时间给客户端1410提供反映这种状态变化的更新后的视频流。视频服务器系统1420可以被配置来以多种替代视频格式(包括还未限定的格式)提供视频流。此外,视频流可包括配置用于以多种帧速率展示给用户的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒1420帧。但是本发明的替代实施方案中包括更高或更低的帧速率。
在本文中被单独提及为1410A.、1410B.等的客户端1410可包括头戴式显示器、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、一体机、无线装置、数码pad、独立装置、手持式玩游戏装置和/或类似装置。通常,客户端1410被配置来接收经编码的视频流,对视频流进行解码,并且将所得的视频展示给用户,例如游戏玩家。接收经编码的视频流和/或对视频流进行解码的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。可以在与客户端1410成一体的显示器上或在如监视器或电视机等单独装置上将视频流展示给用户。客户端1410任选地被配置来支持一个以上游戏玩家。例如,游戏控制台可以被配置来支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可接收单独的视频串流,或单个视频串流可包括特别针对每个玩家所产生(例如,基于每个玩家的视角所产生)的帧的多个区。客户端1410任选地在地理上分散。游戏系统1400中所包括的客户端的数目可从一个或两个广泛变化到几千个、几万个或更多个。如本文所使用,术语“游戏玩家”用于指玩游戏的人,并且术语“玩游戏装置”用于指用于玩游戏的装置。在一些实施方案中,玩游戏装置可以指多个计算装置,其进行合作来向用户传达游戏体验。例如,游戏控制台或HMD可与视频服务器系统1420合作来传达通过HMD观察的游戏。在一个实施方案中,游戏控制台从视频服务器系统1420接收视频流,并且游戏控制台将视频流或对视频流的更新转发给HMD以便进行呈现。
客户端1410被配置来通过网络1415接收视频流。网络1415可以是任何类型的通信网络,其包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、私有网络和/或类似网络。在典型的实施方案中,通过如TCP/IP或UDP/IP的标准协议来传达视频流。可替代地,通过专有标准来传达视频流。
客户端1410的典型实例是个人计算机,所述个人计算机包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力以及输入装置。解码逻辑可包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统在本领域中是熟知的,并且根据所使用的具体编码方案而变化。
客户端1410可(但不需要)还包括被配置来用于修改接收到的视频的系统。举例来说,客户端可以被配置来:执行进一步呈现,将一个视频图像叠加在另一个视频图像上,修剪视频图像,和/或类似操作。例如,客户端1410可以被配置来接收各种类型的视频帧,如I帧、P帧和B帧,并且被配置来将这些帧处理成图像以向用户显示。在一些实施方案中,客户端1410的构件被配置来对视频流执行进一步呈现、阴影处理、转换成3-D或类似操作。客户端1410的构件任选地被配置来接收一个以上的音频或视频流。客户端1410的输入装置可包括:例如,单手游戏控制器、双手游戏控制器、手势识别系统、注视识别系统、语音识别系统、键盘、操纵杆、指向装置、力反馈装置、运动和/或位置传感装置、鼠标、触摸屏、神经接口、相机、还未开发出的输入装置,和/或类似装置。
客户端1410所接收的视频流(和任选的音频流)是由视频服务器系统1420产生并提供的。如在本文其他地方进一步描述的,这个视频流包括视频帧(并且音频流包括音频帧)。视频帧(例如,在适当数据结构中它们包括像素信息)被配置来有意义地构成向用户显示的图像。如本文所使用,术语“视频帧”用于指主要包括被配置来构成(例如实现)展示给用户的图像的信息的帧。本文中关于“视频帧”的大部分教义也可以适用于“音频帧”。
客户端1410通常被配置来从用户接收输入。这些输入可包括游戏命令,所述游戏命令被配置来改变视频游戏的状态或以其他方式影响游戏玩法。可以使用输入装置接收游戏命令,且/或可由在客户端1410上执行的计算指令自动产生游戏命令。将接收到的游戏命令通过网络1415从客户端1410传达到视频服务器系统1420和/或游戏服务器1425。例如,在一些实施方案中,将游戏命令通过视频服务器系统1420传达到游戏服务器1425。在一些实施方案中,将游戏命令的单独拷贝从客户端1410传达到游戏服务器1425和视频服务器系统1420。游戏命令的传达任选地取决于命令的身份。通过用来向客户端1410A提供音频或视频流的不同路线或通信信道,从客户端1410A任选地传达游戏命令。
游戏服务器1425任选地由不同于视频服务器系统1420的实体来操作。例如,游戏服务器1425可由多玩家游戏发行商来操作。在此实例中,视频服务器系统1420任选地被游戏服务器1425视为客户端,并且任选地被配置来(从游戏服务器1425的角度看)表现为执行现有技术游戏引擎的现有技术客户端。视频服务器系统1420与游戏服务器1425之间的通信任选地通过网络1415发生。因此,游戏服务器1425可以是向多个客户端发送游戏状态信息的现有技术多玩家游戏服务器,所述客户端中的一个是视频服务器系统1420。视频服务器系统1420可以被配置来同时与游戏服务器1425的多个实例通信。例如,视频服务器系统1420可以被配置来向不同用户提供多个不同视频游戏。这些不同视频游戏中的每一个可由不同游戏服务器1425支持和/或由不同实体发行。在一些实施方案中,视频服务器系统1420的一些地理上分布式实例被配置来向多个不同用户提供游戏视频。视频服务器系统1420的这些实例中的每一个可与游戏服务器1425的相同实例通信。视频服务器系统1420与一个或多个游戏服务器1425之间的通信任选地通过专用通信信道发生。例如,视频服务器系统1420可通过高带宽信道连接到游戏服务器1425,所述高带宽信道专门用于这两个系统之间的通信。
视频服务器系统1420至少包括:视频源1430、I/O装置1445、处理器1450,以及非暂时性存储装置1455。视频服务器系统1420可包括一个计算装置或分布在多个计算装置当中。这些计算装置任选地通过如局域网的通信系统连接。
视频源1430被配置来提供视频流,例如,流式视频或形成运动图片的一系列视频帧。在一些实施方案中,视频源1430包括视频游戏引擎和呈现逻辑。视频游戏引擎被配置来:从玩家接收游戏命令,并且基于接收到的命令维持视频游戏的状态的拷贝。这个游戏状态包括游戏环境中的对象的定位,以及典型地视角。游戏状态还可以包括对象的性质、图像、色彩和/或纹理。通常基于游戏规则以及游戏命令(如,移动、转动、攻击、设置焦点、互动、使用和/或类似命令)来维持游戏状态。游戏引擎的部分任选地安置在游戏服务器1425内。游戏服务器1425可基于使用地理上分散的客户端从多个玩家接收到的游戏命令来维持游戏状态的拷贝。在这些情况下,游戏服务器1425将游戏状态提供给视频源1430,其中存储游戏状态的拷贝并且执行呈现。游戏服务器1425可通过网络1415直接从客户端1410接收游戏命令,和/或可通过视频服务器系统1420接收游戏命令。
视频源1430通常包括呈现逻辑,例如被存储在计算机可读介质如存储装置1455上的硬件、固件和/或软件。这个呈现逻辑被配置来基于游戏状态创建视频流的视频帧。所述呈现逻辑的全部或部分任选地安置在图形处理单元(GPU)内。呈现逻辑通常包括被配置来用于确定对象之间的三维空间关系且/或用于基于游戏状态和视角来应用适当的纹理等的处理级。呈现逻辑产生原始视频,然后常常对原始视频进行编码,然后传达给客户端1410。例如,可根据Adobe
Figure BDA0001255271350000411
标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3或类似标准对原始视频进行编码。编码过程产生视频流,任选地将所述视频流打包以便传达到远程装置上的解码器。视频流是由帧大小和帧速率来表征。典型的帧大小包括800x 600、1280x 720(例如720p)、1024x768,但是可使用任何其他帧大小。帧速率是每秒的视频帧数。视频流可包括不同类型的视频帧。举例来说,H.264标准包括“P”帧和“I”帧。I帧包括用来刷新显示装置上的全部宏块/像素的信息,而P帧包括用来刷新所述宏块/像素的子集的信息。P帧的数据大小通常小于I帧。如本文中所使用,术语“帧大小”意在指帧内的像素数。术语“帧数据大小”是用来指存储所述帧所需的字节数。
在替代实施方案中,视频源1430包括如相机的视频录制装置。此相机可用来产生可以包括在计算机游戏的视频流中的延迟视频或实况视频。所得的视频流任选地包括所呈现的图像与使用静态相机或视频相机录制的图像。视频源1430还可以包括被配置来存储将要包括在视频流中的先前录制视频的存储装置。视频源1430还可以包括:被配置来检测对象(例如,人)的运动或定位的运动或定位传感装置;以及被配置来基于所检测运动和/或定位来确定游戏状态或产生视频的逻辑。
视频源1430任选地被配置来提供被配置来放在其他视频上的叠加。例如,这些叠加可包括命令界面、登入指令、发给游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频馈送(例如网络相机视频)。在客户端1410A包括触摸屏界面或注视检测界面的实施方案中,所述叠加可包括虚拟的键盘、操纵杆、触摸板和/或类似物。在叠加的一个实例中,将玩家的语音叠加在音频流上。视频源1430任选地还包括一个或多个音频源。
在视频服务器系统1420被配置来基于来自一个以上的玩家的输入来维持游戏状态的实施方案中,每个玩家可以有不同视角,视角包括观察的位置和方向。视频源1430任选地被配置来基于玩家的视角给每个玩家提供单独的视频流。此外,视频源1430可以被配置来向客户端1410中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源1430任选地被配置来提供3-D视频。
I/O装置1445被配置用于视频服务器系统1420,用来发送和/或接收信息,所述信息如:视频、命令、对信息的请求、游戏状态、注视信息、装置运动、装置位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频和/或类似信息。I/O装置1445通常包括如网卡或调制解调器的通信硬件。I/O装置1445被配置来与游戏服务器1425、网络1415和/或客户端1410通信。
处理器1450被配置来执行本文中讨论的视频服务器系统1420的各种部件内所包括的逻辑,例如软件。例如,处理器1450可编程有软件指令,以便执行视频源1430、游戏服务器1425和/或客户端限定器1460的功能。视频服务器系统1420任选地包括处理器1450的一个以上的实例。处理器1450还可以编程有软件指令,以便执行视频服务器系统1420所接收的命令或协调本文中讨论的游戏系统1400的各种元件的操作。处理器1450可包括一个或多个硬件装置。处理器1450是电子处理器。
存储装置1455包括非暂时性模拟和/或数字存储装置。例如,存储装置1455可包括被配置来存储视频帧的模拟存储装置。存储装置1455可包括计算机可读数字存储装置,例如,硬盘驱动器、光盘驱动器或固态存储装置。存储装置1415(例如由适当的数据结构或文件系统)被配置来存储视频帧、人工帧、包括视频帧与人工帧的视频流、音频帧、音频流和/或类似物。存储装置1455任选地分布在多个装置当中。在一些实施方案中,存储装置1455被配置来存储本文中其他地方所讨论的视频源1430的软件部件。这些部件可以按需要时随时可以供应的格式来存储。
视频服务器系统1420任选地还包括客户端限定器1460。客户端限定器1460被配置用于远程确定如客户端1410A或1410B的客户端的能力。这些能力可包括客户端1410A本身的能力与介于客户端1410A与视频服务器系统1420之间的一个或多个通信信道的能力。例如,客户端限定器1460可以被配置来测试通过网络1415的通信信道。
客户端限定器1460可手动或自动地确定(例如,发现)客户端1410A的能力。手动确定包括:与客户端1410A的用户通信,以及要求用户提供能力。例如,在一些实施方案中,客户端限定器1460被配置来在客户端1410A的浏览器上显示图像、文字和/或类似物。在一个实施方案中,客户端1410A是包括浏览器的HMD。在另一实施方案中,客户端1410A是具有浏览器的游戏控制台,所述浏览器可显示在HMD上。所显示的对象请求用户输入客户端1410A的信息,如操作系统、处理器、视频解码器类型、网络连接类型、显示器分辨率等。向客户端限定器1460传达回用户所输入的信息。
自动确定可例如通过在客户端1410A上执行代理程序和/或通过向客户端1410A发送测试视频来进行。代理程序可包括嵌入网页中或安装为加载项的计算指令,如java脚本。代理程序任选地由客户端限定器1460提供。在各种实施方案中,代理程序可发现:客户端1410A的处理能力、客户端1410A的解码和显示能力、客户端1410A与视频服务器系统1420之间的通信信道的滞后时间可靠性和带宽、客户端1410A的显示器类型、客户端1410A上存在的防火墙、客户端1410A的硬件、在客户端1410A上执行的软件、客户端1410A内的注册表项和/或类似物。
客户端限定器1460包括硬件、固件和/或存储在计算机可读介质上的软件。客户端限定器1460任选地放置在与视频服务器系统1420的一个或多个其他元件分开的计算装置上。例如,在一些实施方案中,客户端限定器1460被配置来确定客户端1410与视频服务器系统1420的一个以上的实例之间的通信信道的特性。在这些实施方案中,客户端限定器所发现的信息可以用来确定视频服务器系统1420的哪个实例最适合于向客户端1410中的一个传达流式视频。
本发明的实施方案可以通过各种计算机系统配置来实践,包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等。本发明也可以在分布式计算环境下实践,其中由通过基于有线或无线的网络链接的远程处理装置来执行任务。
考虑到以上实施方案,应理解,本发明可以采用涉及存储于计算机系统中的数据的各种计算机实施的操作。这些操作是需要对物理量进行物理操作的操作。本文所述的形成本发明的一部分的任何操作都是有用的机器操作。本发明还涉及用于执行这些操作的装置或设备。所述装置可出于所要求的目的而专门构造而成,或所述装置可为由存储于计算机中的计算机程序选择性地激活或配置的通用计算机。具体来说,各种通用机器可以与根据本文的教示所编写的计算机程序一起使用,或者可以更方便地构造更专门的装置来执行所要求的操作。
本发明也可以体现为计算机可读介质上的计算机可读代码。所述计算机可读介质是可以存储数据的任何数据存储装置,所述数据随后可由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储装置。所述计算机可读介质可以包括分布在网络耦合计算机系统上的计算机可读有形介质,使得计算机可读代码以分布式方式存储和执行。
尽管以特定顺序描述了所述方法操作,但应理解,其他内务处理操作可以在操作之间执行,或者可以调整操作以使得它们在略微不同的时间发生,或者可以分布在系统中,所述系统允许处理操作以与所述处理相关的各种时间间隔发生,只要重叠操作的处理以所需方式执行即可。
尽管为了理解的清楚性目的而略微详细地描述了前述发明,但很显然,可以在所附权利要求的范围内做出某些变化和修改。因此,本发明的实施方案被认为是说明性的而非限制性的,并且本发明不限于本文给出的细节,而可以在所附权利要求的范围和等效范围内进行修改。

Claims (31)

1.一种用于在虚拟现实空间中呈现内容的方法,其包括:
响应于检测到对第一用户所发起的内容的请求,提供用于在与所述第一用户相关联的头戴式显示器的显示屏幕上呈现的虚拟环境场景的内容,所述虚拟环境场景的所述内容由应用提供并且在所述第一用户的虚拟现实空间中展示;
检测对共享所述第一用户的所述虚拟现实空间的请求,所述请求以第二用户为目标;
响应于检测到接受所述共享请求的信号,提供所述第一用户的所述虚拟现实空间的所述内容以用于在所述第二用户的所述头戴式显示器的所述显示屏幕上呈现,所述内容呈现在与所述第二用户相关联的所述头戴式显示器上限定的第二虚拟现实空间中,
其中提供所述内容包括在所述第二虚拟现实空间中展示代表所述第一用户的图像,以使得根据所述第二用户的透视图展示所述内容以及所述第一用户的图像与所述内容进行交互;以及
响应于检测到接受所述共享请求的信号,更新所述第一用户的虚拟现实空间中展示的内容以包括代表所述第二用户的图像与所述内容进行交互,以使得根据所述第一用户的透视图展示所述内容和所述第二用户的图像,以及其中在所述虚拟现实空间和所述第二虚拟现实空间中呈现的所述内容基本上实时同步,
其中方法操作由服务器计算机的一个或多个处理器执行。
2.如权利要求1所述的方法,其中所述共享请求由所述第一用户发起并且扩展到所述第二用户。
3.如权利要求1所述的方法,其中所述第二用户向所述第一用户发起所述共享请求。
4.如权利要求3所述的方法,其中从所述第二用户的社交联系人识别所述第一用户。
5.如权利要求1所述的方法,其中以所述第二用户为目标包括:
响应于检测到所述共享请求,从与所述第一用户相关联的一个或多个社交网络检索所述第一用户的社交联系人,在所述头戴式显示器处展示所述社交联系人以供选择;以及
接收从所述社交联系人选择所述第二用户。
6.如权利要求1所述的方法,其还包括提供对在所述第一用户和所述第二用户的所述头戴式显示器中呈现的所述内容的访问,所述访问允许所述第一用户和所述第二用户与所述应用交互,所述交互用作输入以便动态地影响所述应用的结果,以使得基本上实时地调整在所述第一用户和所述第二用户的所述头戴式显示器处展示的所述虚拟环境场景以便反映所述结果。
7.如权利要求1所述的方法,其还包括,
从所述第一用户和所述第二用户附近内的现实世界场景识别一个或多个现实世界对象;
将所述现实世界对象的位置协调到所述虚拟环境场景中的特定对象或位置;以及
将与所述现实世界对象相关的所采取的动作转换成所述虚拟环境场景中的所述应用所采取的动作,所述动作用于动态地调整所述第一用户和所述第二用户的所述头戴式显示器上展示的所述虚拟环境场景的内容。
8.如权利要求7所述的方法,其中协调位置还包括:
使用一个或多个相机跟踪所述现实世界对象的所述位置;以及
使所述现实世界对象的所述位置与所述虚拟环境场景中的所述特定对象或位置同步。
9.如权利要求1所述的方法,其还包括在所述第一用户的所述虚拟现实空间内展示与所述第二用户相关联的用户相关信息,以及在所述第二用户的所述虚拟现实空间内展示与所述第一用户相关联的所述用户相关信息。
10.如权利要求9所述的方法,其中展示所述用户相关信息包括使所述第一用户和所述第二用户的所述用户相关信息在所述相应的虚拟现实空间内逐渐聚焦。
11.如权利要求1所述的方法,其还包括,
生成暂停在检测到授予所述共享请求的所述信号之前所述第二用户参与的活动的信号,所述活动提供用于在所述第二用户的所述头戴式显示器处呈现的第二内容,其中所述第二内容与所述第一用户的所述头戴式显示器处呈现的内容不同;以及
展示来自所述第一用户的所述虚拟环境场景的所述内容。
12.如权利要求11所述的方法,其还包括,
检测对离开所述第一用户的所述虚拟现实空间的请求,所述离开请求由所述第二用户发起;
响应于所述离开请求,停止在所述第二用户的所述头戴式显示器的所述显示屏幕上呈现来自所述第一用户的所述虚拟现实空间的内容;以及
从所述第二用户参与的活动被暂停的点恢复所述活动,所述恢复致使在所述第二用户的所述头戴式显示器的所述显示屏幕上呈现所述第二内容。
13.如权利要求12所述的方法,其中所述离开请求还包括从所述第一用户的所述虚拟现实空间移除所述第二用户的用户相关信息,通过使所述第二用户的所述用户相关信息从所述第一用户的所述虚拟现实空间逐渐淡出来进行所述移除。
14.如权利要求1所述的方法,其还包括,
检测离开所述虚拟现实空间的请求,所述请求由所述第一用户发起;以及
响应于所述离开请求,停止在所述第一用户和所述第二用户的所述虚拟现实空间中呈现所述内容。
15.如权利要求14所述的方法,其中停止还包括,
向所述第二用户提供所述应用的部分以便允许所述第二用户继续与所述应用交互,所述应用的所述部分提供用于在所述第二用户的所述头戴式显示器上呈现的内容,
其中所述部分是所述应用的简略版本、小于整个应用的部分、或具有较少特征的所述应用中的一个。
16.一种用于在虚拟现实空间中呈现内容的方法,其包括:
从第一用户接收对地理位置的虚拟旅游的请求;
响应于所述请求,返回与所述虚拟旅游相关联的视频内容以用于在与所述第一用户相关联的头戴式显示器的显示屏幕上限定的虚拟现实空间中展示,所述视频内容在三维空间中展示;
检测共享所述地理位置的所述虚拟旅游的邀请,其中所述邀请被所述第一用户扩展到第二用户;
在所述第二用户接受所述邀请时,将所述视频内容从所述第一用户的所述虚拟现实空间提供到所述第二用户,所述接受加入致使在所述第二用户的所述头戴式显示器的所述显示屏幕上呈现与所述地理位置的所述虚拟旅游相关联的所述视频内容,
其中提供到所述第二用户的视频内容包括根据所述第二用户的透视图与所述视频内容进行交互的代表所述第一用户的图像;以及
在所述第二用户接受所述邀请时,更新在所述第一用户的虚拟现实空间中呈现的视频内容,以包括代表所述第二用户的图像与所述视频内容进行交互,以使得根据所述第一用户的透视图展示所述视频内容和所述第二用户的图像,
其中方法操作由服务器计算机的一个或多个处理器执行。
17.如权利要求16所述的方法,其中在所述虚拟现实空间中展示的所述视频内容包括在接收所述请求时采取所述地理位置的所述虚拟旅游的其他用户的一个或多个用户相关信息。
18.如权利要求17所述的方法,其中扩展所述邀请还包括,
通过查询所述第一用户的一个或多个社交网络来检索所述第一用户的社交联系人,在所述显示屏幕上向所述第一用户展示所述社交联系人以用于选择;
检测从所述第一用户的所述社交联系人选择所述第二用户,所述第二用户与在所述虚拟现实空间中呈现其用户相关信息的所述其他用户不同。
19.如权利要求16所述的方法,其中所述虚拟现实空间包括已经接受加入所述虚拟旅游的所述邀请的其他用户的一个或多个用户相关信息。
20.如权利要求16所述的方法,其中在所述地理位置的所述虚拟旅游中展示的所述视频内容包括由所述第一用户或一个其他用户预先记录的并且可用于共享的内容。
21.如权利要求16所述的方法,其中响应于所述第二用户接受所述加入邀请,所述第一用户捕获在所述地理位置的所述虚拟旅游中展示的所述视频内容并且基本上实时地将所述视频内容传输到所述第二用户。
22.如权利要求16所述的方法,其中共享所述虚拟现实空间还包括,
生成用于暂停在接受所述邀请之前所述第二用户参与的活动的信号,
识别用于恢复所述活动的重启点;
停止在所述第二用户的所述头戴式显示器处呈现与所述活动相关联的所述内容,并且提供在所述第一用户的所述虚拟现实空间中展示的所述视频内容以用于在所述第二用户的所述虚拟现实空间处呈现;以及
将所述第二用户的用户相关信息插入所述第一用户所共享的所述虚拟现实空间中。
23.如权利要求22所述的方法,其还包括,
检测离开所述虚拟旅游的请求,所述离开请求由所述第二用户发起;
响应于检测到对离开所述虚拟旅游的所述请求,停止在所述第二用户的所述头戴式显示器的所述显示屏幕上呈现所述虚拟旅游的视频内容;
从与所述第一用户共享的所述虚拟现实空间移除所述第二用户的所述用户相关信息;以及
恢复所述第二用户在加入所述虚拟旅游之前参与的所述活动,从所述重启点恢复所述活动。
24.一种用于在虚拟现实空间中呈现内容的方法,其包括:
识别佩戴第一头戴式显示器的第一用户的第一虚拟现实空间,在用于展示来自第一应用的内容的所述第一头戴式显示器的显示屏幕上限定所述第一虚拟现实空间;
识别佩戴第二头戴式显示器的第二用户的第二虚拟现实空间,在用于展示来自第二应用的内容的所述第二头戴式显示器的显示屏幕上限定所述第二虚拟现实空间,其中在所述第一虚拟现实空间中展示的所述内容与在所述第二虚拟现实空间中展示的所述内容不同;
检测加入所述第一用户的所述第一虚拟现实空间的邀请,所述邀请被所述第一用户扩展到所述第二用户;以及
当所述第二用户接受所述邀请时,与所述第二用户共享来自所述第一用户的所述第一虚拟现实空间的所述内容,其中更新提供到所述第二用户的所述内容以包括根据所述第二用户的透视图的代表所述第一用户的图像与所述内容进行交互的图像,以及其中更新在所述第一用户的所述第一虚拟现实空间中展示的内容以包括根据所述第一用户的透视图的代表所述第二用户的图像与所述内容进行交互的图像,所述共享致使在所述第一虚拟现实空间和所述第二虚拟现实空间中呈现的所述内容同步,
其中方法操作由服务器计算机的一个或多个处理器执行。
25.如权利要求24所述的方法,其中所述检测还包括,
通过查询与所述第一用户相关联的一个或多个社交网络来检索所述第一用户的社交联系人,在所述第一头戴式显示器的所述显示屏幕上向所述第一用户展示所述社交联系人以供选择;
检测从所述第一头戴式显示器的所述显示屏幕上展示的所述第一用户的所述社交联系人选择所述第二用户,以用于扩展所述加入邀请。
26.如权利要求24所述的方法,其中共享包括,
生成用于暂停所述第二应用的执行的信号,所述暂停识别用于恢复所述第二应用的重启点;以及
停止在所述第二虚拟现实空间中呈现来自所述第二应用的所述内容,并且开始呈现在所述第一虚拟现实空间中展示的所述第一应用的所述内容。
27.如权利要求26所述的方法,其中当所述第一用户选择离开所述第一应用时,
停止在所述第一虚拟现实空间和所述第二虚拟现实空间中呈现所述第一应用的所述内容。
28.如权利要求27所述的方法,其还包括,
在所述第二用户的所述第二虚拟现实空间中展示所述第一应用的部分;以及
提供对所述第一应用的所述部分的访问以便使得所述第二用户能够与所述第一应用的所述部分交互,所述第一应用的所述部分处的所述交互提供用于在所述第二虚拟现实空间中展示的所述内容,响应于所述交互而动态调整所述内容。
29.如权利要求26所述的方法,其还包括,
当所述第一用户选择离开所述第一应用时,
停止在所述第二虚拟现实空间中呈现所述第一应用的所述内容;以及
从所述重启点恢复所述第二应用的执行,所述第二应用的所述恢复导致在所述第二虚拟现实空间中呈现来自所述第二应用的所述内容。
30.如权利要求24所述的方法,其中当所述第一用户或所述第二用户移动时,动态调整在所述第一虚拟现实空间和所述第二虚拟现实空间中展示的所述内容,以便与所述第一用户或所述第二用户的所述移动相关的新位置或新方向协调。
31.一种用于在虚拟现实空间中呈现内容的方法,其包括:
提供用于在与第一用户相关联的头戴式显示器的显示屏幕上呈现的虚拟环境场景的内容,所述虚拟环境场景的所述内容由应用提供,所述显示屏幕限定所述第一用户的第一虚拟现实空间;
检测从第二用户到所述第一用户的请求加入所述第一用户的所述第一虚拟现实空间以观看所述内容的请求;
检测来自所述第一用户的对所述请求的接受;以及
响应于检测到接受所述请求,通过提供用于在所述第二用户的所述头戴式显示器的所述显示屏幕上呈现的所述内容,将所述第二用户转换到所述第一用户的所述第一虚拟现实空间,在与所述第二用户相关联的所述头戴式显示器上限定的第二虚拟现实空间中呈现所述内容,其中更新用于在所述第二虚拟现实空间中进行展示的提供的所述内容以包括根据所述第二用户的透视图的代表所述第一用户的图像与所述内容进行交互的图像,以及更新在所述第一虚拟现实空间中展示的所述内容以包括根据所述第一用户的透视图的代表所述第二用户的图像与所述内容进行交互,其中在所述第二虚拟现实空间中呈现的所述内容与在所述第一虚拟现实空间中呈现的内容基本上实时地同步,
其中方法操作由服务器计算机的一个或多个处理器执行。
CN201580052166.0A 2014-09-30 2015-09-28 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联 Active CN106716306B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462058066P 2014-09-30 2014-09-30
US62/058,066 2014-09-30
US14/866,700 2015-09-25
US14/866,700 US9818225B2 (en) 2014-09-30 2015-09-25 Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
PCT/US2015/052733 WO2016053906A1 (en) 2014-09-30 2015-09-28 Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space

Publications (2)

Publication Number Publication Date
CN106716306A CN106716306A (zh) 2017-05-24
CN106716306B true CN106716306B (zh) 2020-06-02

Family

ID=55585028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580052166.0A Active CN106716306B (zh) 2014-09-30 2015-09-28 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联

Country Status (4)

Country Link
US (1) US9818225B2 (zh)
EP (1) EP3201731A1 (zh)
CN (1) CN106716306B (zh)
WO (1) WO2016053906A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022115662A3 (en) * 2020-11-28 2022-07-21 Sony Interactive Entertainment LLC Frame of reference for motion capture

Families Citing this family (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10209771B2 (en) * 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US9274340B2 (en) * 2014-02-18 2016-03-01 Merge Labs, Inc. Soft head mounted display goggles for use with mobile computing devices
US10725298B2 (en) 2014-03-26 2020-07-28 Mark D. Wieczorek, P.C. Virtual reality devices and accessories
US11137601B2 (en) * 2014-03-26 2021-10-05 Mark D. Wieczorek System and method for distanced interactive experiences
CN104102349B (zh) * 2014-07-18 2018-04-27 北京智谷睿拓技术服务有限公司 内容分享方法和装置
US10235714B2 (en) * 2014-12-01 2019-03-19 Verizon Patent And Licensing Inc. Customized virtual reality user environment control
US20160301690A1 (en) * 2015-04-10 2016-10-13 Enovate Medical, Llc Access control for a hard asset
US9734682B2 (en) 2015-03-02 2017-08-15 Enovate Medical, Llc Asset management using an asset tag device
US10062208B2 (en) 2015-04-09 2018-08-28 Cinemoi North America, LLC Systems and methods to provide interactive virtual environments
KR102349716B1 (ko) * 2015-06-11 2022-01-11 삼성전자주식회사 영상 공유 방법 및 이를 수행하는 전자 장치
WO2017056632A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置及び情報処理方法
US10511895B2 (en) * 2015-10-09 2019-12-17 Warner Bros. Entertainment Inc. Cinematic mastering for virtual reality and augmented reality
JP6601136B2 (ja) * 2015-10-13 2019-11-06 富士通株式会社 反応出力システム、反応出力プログラム、反応出力方法
US20170146800A1 (en) * 2015-11-23 2017-05-25 Gulfstream Aerospace Corporation System and method for facilitating cross-checking between flight crew members using wearable displays
CN108780228B (zh) * 2016-01-19 2021-04-20 奇跃公司 利用映像的增强现实系统和方法
CN108604439B (zh) 2016-02-04 2021-12-28 奇跃公司 增强现实系统中定向音频的技术
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
EP3206121A1 (en) * 2016-02-09 2017-08-16 Nokia Technologies Oy Methods and apparatuses relating to the handling of visual virtual reality content
EP3216502A1 (en) * 2016-02-22 2017-09-13 Nintendo Co., Ltd. Information processing apparatus, information processing system, information processing method, and information processing program
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US9823477B1 (en) * 2016-05-02 2017-11-21 Futurewei Technologies, Inc. Head mounted display content capture and sharing
US10198874B2 (en) * 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10722800B2 (en) * 2016-05-16 2020-07-28 Google Llc Co-presence handling in virtual reality
JP2017216667A (ja) * 2016-05-31 2017-12-07 フォーブ インコーポレーテッド 画像提供システム
US10134190B2 (en) * 2016-06-14 2018-11-20 Microsoft Technology Licensing, Llc User-height-based rendering system for augmented reality objects
WO2018005692A1 (en) * 2016-06-28 2018-01-04 Against Gravity Corp . Systems and methods for detecting collaborative virtual gestures
EP3264371B1 (en) 2016-06-28 2021-12-29 Nokia Technologies Oy Apparatus for sharing objects of interest and associated methods
US10905956B2 (en) 2016-06-28 2021-02-02 Rec Room Inc. Systems and methods providing temporary decoupling of user avatar synchronicity for presence enhancing experiences
EP3264783B1 (en) 2016-06-29 2021-01-06 Nokia Technologies Oy Rendering of user-defined messages having 3d motion information
US11354863B2 (en) * 2016-06-30 2022-06-07 Honeywell International Inc. Systems and methods for immersive and collaborative video surveillance
CN106200944A (zh) * 2016-06-30 2016-12-07 联想(北京)有限公司 一种对象的控制方法、控制装置和控制系统
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
CN106215418B (zh) * 2016-07-06 2017-11-21 深圳超多维科技有限公司 一种应用的显示控制方法及其装置、终端
US10242643B2 (en) * 2016-07-18 2019-03-26 Microsoft Technology Licensing, Llc Constrained head-mounted display communication
CN107678715A (zh) * 2016-08-02 2018-02-09 北京康得新创科技股份有限公司 虚拟信息的共享方法,装置和系统
US10272329B2 (en) * 2016-08-10 2019-04-30 Google Llc Cooperative immersive live action 360-degree video and virtual reality
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
WO2018048814A1 (en) * 2016-09-06 2018-03-15 Russell-Hampson, Inc. Virtual reality motion simulation system
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
GB2555410B (en) 2016-10-25 2020-11-04 Sony Interactive Entertainment Inc Video content synchronisation method and apparatus
CN106528285A (zh) * 2016-11-11 2017-03-22 上海远鉴信息科技有限公司 虚拟现实中多个合作调度方法及系统
US10049437B2 (en) 2016-11-21 2018-08-14 Microsoft Technology Licensing, Llc Cleartype resolution recovery resampling
EP3548958A4 (en) * 2016-12-05 2020-07-29 Case Western Reserve University SYSTEMS, METHODS AND MEDIA FOR DISPLAYING INTERACTIVE AUGMENTED REALITY PRESENTATIONS
US11002967B2 (en) * 2016-12-08 2021-05-11 Darwin Hu Method and system for communication between a wearable display device and a portable device
GB2558278A (en) * 2016-12-23 2018-07-11 Sony Interactive Entertainment Inc Virtual reality
CN108073273A (zh) * 2016-12-27 2018-05-25 北京市商汤科技开发有限公司 业务对象的操作方法、装置和电子设备
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
CN106897157A (zh) * 2017-01-18 2017-06-27 北京商询科技有限公司 一种基于混合现实共享内容的方法
KR102308937B1 (ko) * 2017-02-28 2021-10-05 매직 립, 인코포레이티드 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩
WO2018158818A1 (ja) * 2017-02-28 2018-09-07 日本電気株式会社 点検支援装置、点検支援方法および記録媒体
EP3370367A1 (en) * 2017-03-03 2018-09-05 Iristick nv System comprising a headset and a communication unit
US10169973B2 (en) * 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
US10235965B2 (en) * 2017-03-15 2019-03-19 Kuato Games (UK) Limited Virtual reality system using an actor and director model
US10282909B2 (en) * 2017-03-23 2019-05-07 Htc Corporation Virtual reality system, operating method for mobile device, and non-transitory computer readable storage medium
TW201835878A (zh) * 2017-03-24 2018-10-01 美商外科劇院有限責任公司 用於在虛擬環境中進行訓練和協作的系統和方法
US10585470B2 (en) 2017-04-07 2020-03-10 International Business Machines Corporation Avatar-based augmented reality engagement
US10430147B2 (en) * 2017-04-17 2019-10-01 Intel Corporation Collaborative multi-user virtual reality
US11474354B2 (en) * 2017-04-25 2022-10-18 Ati Technologies Ulc Display pacing in multi-head mounted display virtual reality configurations
WO2018199948A1 (en) * 2017-04-27 2018-11-01 Siemens Aktiengesellschaft Authoring augmented reality experiences using augmented reality and virtual reality
US11782669B2 (en) 2017-04-28 2023-10-10 Microsoft Technology Licensing, Llc Intuitive augmented reality collaboration on visual data
US10688396B2 (en) * 2017-04-28 2020-06-23 Sony Interactive Entertainment Inc. Second screen virtual window into VR environment
CN107087152B (zh) * 2017-05-09 2018-08-14 成都陌云科技有限公司 三维成像信息通信系统
CN107066224B (zh) * 2017-05-09 2019-04-02 成都陌云科技有限公司 3d影像vr交互方法
CN107066225B (zh) * 2017-05-09 2019-04-02 成都陌云科技有限公司 三维投影设备的信号同步方法
CN110637274B (zh) * 2017-05-24 2022-05-03 索尼公司 信息处理设备、信息处理方法以及程序
CN107080943A (zh) * 2017-05-26 2017-08-22 段玉箫 行走式虚拟现实黑暗乘骑系统
CN107242882A (zh) * 2017-06-05 2017-10-13 上海瓴舸网络科技有限公司 一种b超显示辅助设备及其控制方法
US10891798B2 (en) 2017-06-05 2021-01-12 2689090 Canada Inc. System and method for displaying an asset of an interactive electronic technical publication synchronously in a plurality of extended reality display devices
CN109005099B (zh) * 2017-06-06 2022-05-27 深圳脸网科技有限公司 一种现实场景共享方法及其社交、游戏方法
CN107197342B (zh) * 2017-06-16 2019-12-13 深圳创维数字技术有限公司 一种数据处理方法、智能终端及存储介质
CN110770785B (zh) * 2017-06-29 2023-10-13 皇家Kpn公司 用于在vr中显示的屏幕共享
CN107481324B (zh) * 2017-07-05 2021-02-09 微幻科技(北京)有限公司 一种虚拟漫游的方法及装置
DE102017211527A1 (de) * 2017-07-06 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Brille zur Darstellung einer virtuellen Realität (VR-Brille)
CN107272907B (zh) * 2017-07-10 2020-08-07 三星电子(中国)研发中心 一种基于虚拟现实技术的场景中断衔接方法和装置
US10691945B2 (en) 2017-07-14 2020-06-23 International Business Machines Corporation Altering virtual content based on the presence of hazardous physical obstructions
US11184574B2 (en) * 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
CN107368193B (zh) * 2017-07-19 2021-06-11 讯飞幻境(北京)科技有限公司 人机操作交互方法和系统
US10521096B2 (en) * 2017-07-24 2019-12-31 Disney Enterprises, Inc. Virtual reality experience control system
US9992449B1 (en) * 2017-08-10 2018-06-05 Everysight Ltd. System and method for sharing sensed data between remote users
WO2019028855A1 (zh) * 2017-08-11 2019-02-14 深圳前海达闼云端智能科技有限公司 一种虚拟显示装置、智能交互方法和云端服务器
US10565802B2 (en) * 2017-08-31 2020-02-18 Disney Enterprises, Inc. Collaborative multi-modal mixed-reality system and methods leveraging reconfigurable tangible user interfaces for the production of immersive, cinematic, and interactive content
US11308686B1 (en) * 2017-09-29 2022-04-19 Apple Inc. Captured image data in a computer-generated reality environment
WO2019067476A2 (en) 2017-09-29 2019-04-04 Apple Inc. PLATFORM OF REALITY GENERATED BY COMPUTER
US10341537B2 (en) * 2017-09-29 2019-07-02 Sony Interactive Entertainment America Llc Spectator view into an interactive gaming world showcased in a live event held in a real-world venue
WO2019095131A1 (zh) * 2017-11-15 2019-05-23 腾讯科技(深圳)有限公司 通话方法、客户端及存储介质
US10373390B2 (en) * 2017-11-17 2019-08-06 Metatellus Oü Augmented reality based social platform
CN107943293B (zh) * 2017-11-24 2021-01-15 联想(北京)有限公司 一种信息交互方法及信息处理装置
CN109842792B (zh) * 2017-11-27 2021-05-11 中兴通讯股份有限公司 视频播放方法、装置、系统及存储介质
EP3489882A1 (en) * 2017-11-27 2019-05-29 Nokia Technologies Oy An apparatus and associated methods for communication between users experiencing virtual reality
US20190163434A1 (en) * 2017-11-27 2019-05-30 Marxent Labs, LLC Technologies for networked virtual content in a mobile computing environment
JP6981214B2 (ja) * 2017-12-05 2021-12-15 富士通株式会社 画像生成プログラム、画像生成装置及び画像生成方法
EP3495921A1 (en) * 2017-12-11 2019-06-12 Nokia Technologies Oy An apparatus and associated methods for presentation of first and second virtual-or-augmented reality content
US10523606B2 (en) 2018-01-02 2019-12-31 Snap Inc. Generating interactive messages with asynchronous media content
US10567321B2 (en) * 2018-01-02 2020-02-18 Snap Inc. Generating interactive messages with asynchronous media content
US10976982B2 (en) * 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
JP6801106B2 (ja) * 2018-02-02 2020-12-16 株式会社Nttドコモ 情報処理装置
KR20200115631A (ko) * 2018-02-02 2020-10-07 인터디지털 씨이 페이튼트 홀딩스 멀티뷰잉 가상 현실 사용자 인터페이스
JP6908573B2 (ja) * 2018-02-06 2021-07-28 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
US10981067B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
CN110115842B (zh) 2018-02-06 2023-01-13 日本聚逸株式会社 应用处理系统、应用处理方法以及应用处理程序
EP3520868A1 (en) * 2018-02-06 2019-08-07 Gree, Inc. Game processing system, method of processing game, and program for processing game
CN108446063B (zh) * 2018-02-09 2021-07-27 腾讯科技(深圳)有限公司 对象的处理方法、装置、存储介质和电子装置
WO2019160955A1 (en) * 2018-02-13 2019-08-22 SentiAR, Inc. Augmented reality display sharing
CN110166764B (zh) * 2018-02-14 2022-03-01 阿里巴巴集团控股有限公司 虚拟现实vr直播中的视角同步方法及装置
CN111869222B (zh) * 2018-03-22 2022-05-17 华为技术有限公司 基于http的dash客户端网元、方法及介质
CN109840012A (zh) * 2018-04-02 2019-06-04 张鸿勋 一种超脑管理系统及其方法
EP3553629B1 (en) 2018-04-12 2024-04-10 Nokia Technologies Oy Rendering a message within a volumetric data
EP3557559A1 (en) 2018-04-20 2019-10-23 TMRW Foundation IP & Holding S.A.R.L. Sports events broadcasting systems and methods
US10607572B2 (en) * 2018-05-01 2020-03-31 Qualcomm Incorporated Frequency synchronization and phase correction
WO2019212902A1 (en) * 2018-05-03 2019-11-07 Pcms Holdings, Inc. Systems and methods for physical proximity and/or gesture-based chaining of vr experiences
US10650118B2 (en) * 2018-05-04 2020-05-12 Microsoft Technology Licensing, Llc Authentication-based presentation of virtual content
CN110196494B (zh) * 2018-06-03 2022-01-11 胡大文 可穿戴显示系统和用于输送光学图像的方法
CN110297327A (zh) * 2018-06-03 2019-10-01 胡大文 采用有源光缆的轻质显示装置
JP7136931B2 (ja) * 2018-06-05 2022-09-13 マジック リープ, インコーポレイテッド 空間3d環境へのコンテンツのマッチング
CN108919945A (zh) * 2018-06-07 2018-11-30 佛山市长郡科技有限公司 一种虚拟现实设备工作的方法
US11054638B2 (en) 2018-06-13 2021-07-06 Reavire, Inc. Tracking pointing direction of device
EP3584692A1 (en) * 2018-06-19 2019-12-25 InterDigital CE Patent Holdings Sharing virtual content in a mixed reality scene
US10732710B2 (en) * 2018-06-26 2020-08-04 Sony Interactive Entertainment Inc. Privacy chat trigger using mutual eye contact
US10712901B2 (en) * 2018-06-27 2020-07-14 Facebook Technologies, Llc Gesture-based content sharing in artificial reality environments
CN108919951B (zh) * 2018-06-28 2020-11-20 联想(北京)有限公司 一种信息交互方法及装置
US10388255B2 (en) 2018-06-29 2019-08-20 Intel Corporation Computers for supporting multiple virtual reality display devices and related methods
EP3599544A1 (en) * 2018-07-25 2020-01-29 Nokia Technologies Oy An apparatus, method, computer program for enabling access to mediated reality content by a remote user
JP6745301B2 (ja) * 2018-07-25 2020-08-26 株式会社バーチャルキャスト コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム
US10581940B1 (en) * 2018-08-20 2020-03-03 Dell Products, L.P. Head-mounted devices (HMDs) discovery in co-located virtual, augmented, and mixed reality (xR) applications
US10832481B2 (en) * 2018-08-21 2020-11-10 Disney Enterprises, Inc. Multi-screen interactions in virtual and augmented reality
CN109240498B (zh) * 2018-08-30 2021-08-20 Oppo广东移动通信有限公司 交互方法、装置、穿戴式设备及存储介质
US11094127B2 (en) 2018-09-25 2021-08-17 Magic Leap, Inc. Systems and methods for presenting perspective views of augmented reality virtual object
WO2020139409A1 (en) * 2018-12-27 2020-07-02 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US10990171B2 (en) * 2018-12-27 2021-04-27 Facebook Technologies, Llc Audio indicators of user attention in AR/VR environment
US10921878B2 (en) * 2018-12-27 2021-02-16 Facebook, Inc. Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US11022794B2 (en) 2018-12-27 2021-06-01 Facebook Technologies, Llc Visual indicators of user attention in AR/VR environment
US11024074B2 (en) 2018-12-27 2021-06-01 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US20200241296A1 (en) * 2019-01-29 2020-07-30 New York University Synchronized Shared Mixed Reality for Co-Located Participants, Apparatus, System and Method
CN111510757A (zh) * 2019-01-31 2020-08-07 华为技术有限公司 一种共享媒体数据流的方法、装置以及系统
US10802579B2 (en) 2019-02-01 2020-10-13 Facebook Technologies, Llc Artificial reality system having multiple modes of engagement
CN109756511B (zh) * 2019-02-02 2021-08-31 珠海金山网络游戏科技有限公司 一种数据处理方法及装置、一种计算设备及存储介质
US10890992B2 (en) 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
US11150788B2 (en) * 2019-03-14 2021-10-19 Ebay Inc. Augmented or virtual reality (AR/VR) companion device techniques
CN109949183A (zh) * 2019-04-04 2019-06-28 河南城建学院 共享体验式旅游系统
CN113646731A (zh) 2019-04-10 2021-11-12 苹果公司 用于参与共享布景的技术
US11294453B2 (en) * 2019-04-23 2022-04-05 Foretell Studios, LLC Simulated reality cross platform system
US11182965B2 (en) * 2019-05-01 2021-11-23 At&T Intellectual Property I, L.P. Extended reality markers for enhancing social engagement
US11812194B1 (en) 2019-06-21 2023-11-07 Apple Inc. Private conversations in a virtual setting
CN110276840B (zh) * 2019-06-21 2022-12-02 腾讯科技(深圳)有限公司 多虚拟角色的控制方法、装置、设备及存储介质
US11023095B2 (en) 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
US11210856B2 (en) 2019-08-20 2021-12-28 The Calany Holding S. À R.L. System and method for interaction-level based telemetry and tracking within digital realities
US11107286B2 (en) * 2019-09-25 2021-08-31 Disney Enterprises, Inc. Synchronized effects for multi-user mixed reality experiences
US11521356B2 (en) * 2019-10-10 2022-12-06 Meta Platforms Technologies, Llc Systems and methods for a shared interactive environment
US11743064B2 (en) * 2019-11-04 2023-08-29 Meta Platforms Technologies, Llc Private collaboration spaces for computing systems
CN112783993B (zh) * 2019-11-08 2024-03-15 华为技术有限公司 基于数字地图的多个授权空间的内容同步方法
US11156830B2 (en) * 2019-11-14 2021-10-26 Facebook Technologies, Llc Co-located pose estimation in a shared artificial reality environment
CN111258420B (zh) * 2020-01-13 2023-02-21 维沃移动通信有限公司 信息交互方法、头戴式设备及介质
US11107280B1 (en) * 2020-02-28 2021-08-31 Facebook Technologies, Llc Occlusion of virtual objects in augmented reality by physical objects
US11481965B2 (en) * 2020-04-10 2022-10-25 Samsung Electronics Co., Ltd. Electronic device for communicating in augmented reality and method thereof
CN111530089B (zh) * 2020-04-23 2023-08-22 深圳市朗形数字科技有限公司 一种多媒体vr互动方法及系统
US11805176B1 (en) * 2020-05-11 2023-10-31 Apple Inc. Toolbox and context for user interactions
US11388116B2 (en) 2020-07-31 2022-07-12 International Business Machines Corporation Augmented reality enabled communication response
CN112203114B (zh) * 2020-09-07 2022-07-12 佛山创视嘉科技有限公司 协同演奏方法、系统、终端设备及存储介质
US11380022B2 (en) 2020-10-22 2022-07-05 Sony Group Corporation Content modification in a shared session among multiple head-mounted display devices
KR20230100744A (ko) 2020-11-16 2023-07-05 구글 엘엘씨 콘텐츠 캐스팅을 위한 시스템 및 방법
US11481983B2 (en) * 2020-11-25 2022-10-25 At&T Intellectual Property I, L.P. Time shifting extended reality media
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
US11790908B2 (en) * 2021-02-09 2023-10-17 International Business Machines Corporation Extended reality based voice command device management
JP7248720B2 (ja) * 2021-02-16 2023-03-29 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US20220257332A1 (en) * 2021-02-17 2022-08-18 Derek Duong Augmented reality dental surgery
JP2022134182A (ja) * 2021-03-03 2022-09-15 ヤマハ株式会社 映像出力方法、映像出力装置および映像出力システム
CN113262465A (zh) * 2021-04-27 2021-08-17 青岛小鸟看看科技有限公司 一种虚拟现实交互方法、设备及系统
WO2022259253A1 (en) * 2021-06-09 2022-12-15 Alon Melchner System and method for providing interactive multi-user parallel real and virtual 3d environments
US11887267B2 (en) 2021-07-07 2024-01-30 Meta Platforms Technologies, Llc Generating and modifying representations of hands in an artificial reality environment
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
CN113672087A (zh) * 2021-08-10 2021-11-19 Oppo广东移动通信有限公司 远程交互方法、装置、系统、电子设备以及存储介质
US11567572B1 (en) * 2021-08-16 2023-01-31 At&T Intellectual Property I, L.P. Augmented reality object manipulation
GB202111902D0 (en) * 2021-08-19 2021-10-06 British Telecomm Collaborative virtual reality system
US11831814B2 (en) * 2021-09-03 2023-11-28 Meta Platforms Technologies, Llc Parallel video call and artificial reality spaces
US11921970B1 (en) 2021-10-11 2024-03-05 Meta Platforms Technologies, Llc Coordinating virtual interactions with a mini-map
WO2023087005A1 (en) * 2021-11-12 2023-05-19 Case Western Reserve University Systems, methods, and media for controlling shared extended reality presentations
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230274504A1 (en) * 2022-02-28 2023-08-31 Apple Inc. System and method of three-dimensional immersive applications in multi-user communication sessions
NO20220341A1 (en) * 2022-03-21 2023-09-22 Pictorytale As Multilocation augmented reality
CN114760507B (zh) * 2022-04-21 2023-02-28 广东悦伍纪网络技术有限公司 一种可实现无缝切换的盒子端、云手机客户端及其系统、方法
WO2024020489A1 (en) * 2022-07-21 2024-01-25 Virginia Tech Intellectual Properties, Inc. System and method for efficient pairing of mixed-reality devices using gaze tracking
US11947862B1 (en) * 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
CN117170504B (zh) * 2023-11-01 2024-01-19 南京维赛客网络科技有限公司 在虚拟人物交互场景中带人观看的方法、系统及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051745A1 (en) * 2002-09-18 2004-03-18 Ullas Gargi System and method for reviewing a virtual 3-D environment
US8167724B2 (en) * 2007-12-10 2012-05-01 Gary Stephen Shuster Guest management in an online multi-player virtual reality game
EP3654147A1 (en) 2011-03-29 2020-05-20 QUALCOMM Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US20140125698A1 (en) 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
EP2951811A4 (en) 2013-01-03 2016-08-17 Meta Co DIGITAL EYES FOR EXTRAMISSIVE SPATIAL IMAGING, PROCESSES AND SYSTEMS FOR VIRTUAL OR ENLARGED VISIBILITY, MANIPULATION, PRODUCTION OR INTERACTION WITH OBJECTS, MATERIALS, OR OTHER UNITS

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022115662A3 (en) * 2020-11-28 2022-07-21 Sony Interactive Entertainment LLC Frame of reference for motion capture

Also Published As

Publication number Publication date
CN106716306A (zh) 2017-05-24
WO2016053906A1 (en) 2016-04-07
US9818225B2 (en) 2017-11-14
EP3201731A1 (en) 2017-08-09
US20160093108A1 (en) 2016-03-31

Similar Documents

Publication Publication Date Title
CN106716306B (zh) 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
JP7419460B2 (ja) Vr観戦のための拡大された視野再レンダリング
JP6700463B2 (ja) ヘッドマウントディスプレイ上の視覚的作用を制限するためのフィルタリング及びペアレンタルコントロール法
US10843088B2 (en) Sharing recorded gameplay
JP6663505B2 (ja) Vr環境における観客ビュー視点
US11389726B2 (en) Second screen virtual window into VR environment
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
JP6679747B2 (ja) 仮想現実(vr)ユーザインタラクティブ性に関連付けられた仮想現実環境の観戦
US10388071B2 (en) Virtual reality (VR) cadence profile adjustments for navigating VR users in VR environments
JP7249975B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
US11468605B2 (en) VR real player capture for in-game interaction view
EP4124365A1 (en) Sharing movement data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant