CN110227258A - 在头戴式显示器上转变游戏过程 - Google Patents

在头戴式显示器上转变游戏过程 Download PDF

Info

Publication number
CN110227258A
CN110227258A CN201910482344.3A CN201910482344A CN110227258A CN 110227258 A CN110227258 A CN 110227258A CN 201910482344 A CN201910482344 A CN 201910482344A CN 110227258 A CN110227258 A CN 110227258A
Authority
CN
China
Prior art keywords
game
game process
home environment
video
talker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910482344.3A
Other languages
English (en)
Other versions
CN110227258B (zh
Inventor
S.奥斯曼
X.毛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to CN201910482344.3A priority Critical patent/CN110227258B/zh
Publication of CN110227258A publication Critical patent/CN110227258A/zh
Application granted granted Critical
Publication of CN110227258B publication Critical patent/CN110227258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/493—Resuming a game, e.g. after pausing, malfunction or power failure
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/497—Partially or entirely replaying previous game actions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了一种用于转变游戏过程的方法，所述方法包括：接收信号以中断视频游戏的游戏过程，所述游戏过程被呈现在头戴式显示器上，响应于接收所述信号，将所述游戏过程从活动状态转变到暂停状态；其中转变所述游戏过程包括识别游戏过程方面的强度，并且在进入所述暂停状态之前逐渐降低所述游戏过程方面的所述强度。

Description

在头戴式显示器上转变游戏过程
本分案申请是申请日为2014年6月6日、申请号为201480039341.8、发明名称为“在头戴式显示器上转变游戏过程”的分案申请。
技术领域
本发明涉及用于在头戴式显示器上转变游戏过程的方法和系统。
背景技术
视频游戏产业多年来已发生了许多变化。随着计算能力的扩展，视频游戏的开发者同样已经创建了利用这些提高的计算能力的游戏软件。为此目的，视频游戏开发者一直在译码并入有复杂操作和数学运算的游戏，以产生非常逼真的游戏体验。
示例的游戏平台可以是SonySony (PS2)以及Sony(PS3)，每一种游戏平台都以游戏控制台的形式出售。众所周知，游戏控制台被设计成连接到监视器(通常是电视)，并且通过手持式控制器实现用户交互。游戏控制台被设计成具有专门处理硬件，所述专门处理硬件包括CPU、用于处理密集图形操作的图形合成器、用于执行几何变换的向量单元以及其他胶连硬件(glue hardware)、固件和软件。游戏控制台被进一步设计成具有用于接纳游戏压缩光盘的光盘托盘，以便通过游戏控制台进行本地游戏。在线游戏也是可能的，其中用户可通过互联网与其他用户交互地比赛或一起玩游戏。随着游戏复杂性不断地激起玩家的兴趣，游戏和硬件制造商不断进行革新以实现额外的交互性和计算机程序。
计算机游戏产业的发展趋势在于开发增加用户与游戏系统之间的交互的游戏。实现更丰富的交互体验的一种方法是使用由游戏系统跟踪移动的无线游戏控制器，以便跟踪玩家的移动并将这些移动用作为游戏的输入。一般来说，示意动作输入涉及使具有如计算系统、视频游戏控制台、智能器具等电子装置对玩家做出的以及电子装置捕捉的一些示意动作做出反应。
实现更具沉浸式交互体验的另一种方式是使用头戴式显示器。头戴式显示器由用户佩戴，并且可被配置来呈现各种图形，如虚拟空间的视图。呈现在头戴式显示器上的图形可覆盖用户视场的很大一部分或甚至全部。因此，头戴式显示器可向用户提供视觉上的沉浸式体验。
所述产业的另一个发展趋势涉及基于云端游戏系统的开发。此类系统可包括执行游戏应用程序的远程处理服务器，并且与可被配置来从用户接收输入并在显示器上呈现视频的本地瘦客户端通信。
正是在这种情况下，本发明的实施方案应运而生。
发明内容
本发明的实施方案提供用于转变视频游戏的游戏过程的方法和系统。应当理解，本发明可以多种方式来实行，如方法、设备、系统、装置或计算机可读介质上的方法。本发明的若干发明实施方案在下文进行描述。
在一个实施方案中，提供了一种方法，包括：通过头戴式显示器呈现视频游戏的游戏过程，所述头戴式显示器设置在本地环境中；检测在本地环境中说话的人，其中检测说话的人包含通过所述头戴式显示器从所述本地环境捕捉音频，并分析所捕捉的音频以识别在本地环境中说话的人；响应于检测到所述在本地环境中说话的人，通过所述头戴式显示器呈现通知，所述通知提供暂停所述视频游戏的游戏过程的选项；响应于接收到指示所述选项的选择的命令，暂停所述视频游戏的游戏过程并通过所述头戴式显示器呈现通过所述头戴式显示器的面向外部的摄像机提供的视图，所述视图使得能够观看所述在本地环境中说话的人。
在一个实施方案中，提供了一种方法，包括：通过头戴式显示器呈现视频游戏的游戏过程，所述头戴式显示器设置在本地环境中；检测在本地环境中说话的人，其中，检测说话的人包含通过所述头戴式显示器从所述本地环境捕捉音频、通过所述头戴式显示器的面向外部的摄像机捕捉图像、以及分析所捕捉的音频和所捕捉的图像以识别所述在本地环境中说话的人的身份；响应于检测到所述在本地环境中说话的人，通过所述头戴式显示器呈现通知，所述通知提供暂停所述视频游戏的游戏过程的选项；响应于接收到指示所述选项的选择的命令，暂停所述视频游戏的游戏过程并通过所述头戴式显示器呈现通过所述头戴式显示器的面向外部的摄像机提供的视图，所述视图使得能够观看所述在本地环境中说话的人。
在一个实施方案中，提供了一种方法，包括：通过头戴式显示器呈现视频游戏的游戏过程，所述头戴式显示器设置在本地环境中；从所述本地环境捕捉音频，并且分析所捕捉的音频以检测在本地环境中说话的人；响应于检测到所述在本地环境中说话的人，通过所述头戴式显示器呈现通知，所述通知提供暂停所述视频游戏的游戏过程的选项；响应于接收到指示所述选项的选择的命令，暂停所述视频游戏的游戏过程。
在一个实施方案中，提供了一种方法，包括：通过头戴式显示器呈现视频游戏的游戏过程，所述头戴式显示器设置在本地环境中；捕捉所述本地环境的图像，并分析所捕捉的图像以检测在本地环境中说话的人；响应于检测到所述在本地环境中说话的人，通过所述头戴式显示器呈现通知，所述通知提供暂停所述视频游戏的游戏过程的选项；响应于接收到指示所述选项的选择的命令，暂停所述视频游戏的游戏过程，捕捉所述本地环境的图像并分析所捕捉的图像以检测在本地环境中说话的人。
在一个实施方案中，提供了用于转变游戏过程的方法，所述方法包括：接收信号以中断视频游戏的游戏过程，所述游戏过程被呈现在头戴式显示器上；响应于接收信号，将游戏过程从活动状态转变到暂停状态；其中转变游戏过程包括识别游戏过程方面的强度，并且在进入暂停状态之前逐渐降低游戏过程方面的强度。
在一个实施方案中，游戏过程方面的强度由虚拟元件的速度限定；并且逐渐降低游戏过程方面的强度包括逐渐降低虚拟元件的速度。
在一个实施方案中，在虚拟空间中的虚拟元件的位置限定在头戴式显示器上呈现的虚拟空间的视图；所述虚拟空间的视图根据虚拟元件的速度变化。
在一个实施方案中，游戏过程方面的强度由呈现在头戴式显示器上的虚拟元件的密度限定；并且逐渐降低游戏过程方面的强度包括逐渐降低呈现在头戴式显示器上的虚拟元件的密度。
在一个实施方案中，游戏过程方面的强度由呈现在头戴式显示器上的图形的复杂度限定；并且逐渐降低游戏过程方面的强度包括逐渐简化呈现在头戴式显示器上的图形。
在一个实施方案中，所述方法还包括如下：接收信号以恢复视频游戏的游戏过程；响应于接收信号以恢复游戏过程，将游戏过程从暂停状态转变到活动状态；其中将游戏过程从暂停状态转变到活动状态包括逐渐增加游戏过程方面的强度。
在一个实施方案中，将游戏过程从暂停状态转变到活动状态包括识别早于在游戏过程暂停时的游戏过程时间点的游戏过程时间点，并且从更早的游戏过程时间点启动从暂停状态转变到活动状态。
在另一个实施方案中，提供了具有用于转变体现在其上的游戏过程的程序指令的非暂时性计算机可读介质，所述程序指令包括：用于接收信号以中断视频游戏的游戏过程的程序指令，所述游戏过程被呈现在头戴式显示器上；用于响应于接收信号而将游戏过程从活动状态转变到暂停状态的程序指令；其中转变游戏过程包括识别游戏过程方面的强度，并且在进入暂停状态之前逐渐降低游戏过程方面的强度。
在另一个实施方案中提供了包括至少一个计算装置的系统，所述至少一个计算装置具有用于转变游戏过程的逻辑，所述逻辑包括：用于接收信号以中断视频游戏的游戏过程的逻辑，所述游戏过程被呈现在头戴式显示器上；用于响应于接收信号而将游戏过程从活动状态转变到暂停状态的逻辑；其中转变游戏过程包括识别游戏过程方面的强度，并且在进入暂停状态之前逐渐降低游戏过程方面的强度。
结合附图来阅读以下详细描述，本发明的其他方面将变得显而易见，以下详细描述通过实例的方式来说明本发明的原理。
附图说明
结合附图来参阅以下描述可以最好地理解本发明，在附图中：
图1示出根据本发明的实施方案的用于视频游戏的交互游戏过程的系统。
图2示出根据本发明的实施方案的头戴式显示器(HMD)。
图3概念性地示出根据本发明的实施方案的结合执行视频游戏的HMD的功能。
图4示出根据本发明的实施方案的正佩戴与移动装置配对的头戴式显示器的用户。
图5示出根据本发明的实施方案的交互环境，所述交互环境具有可致使用户的游戏过程中断的对象。
图6A、6B和6C示出根据本发明的实施方案的在HMD上呈现的视频游戏的视图。
图7A、7B和7C示出根据本发明的实施方案的在HMD上呈现的视频游戏的视图。
图8A、8B和8C示出根据本发明的实施方案的在HMD上呈现的视频游戏的视图。
图9A、9B和9C示出根据本发明的实施方案的在HMD上呈现的视频游戏的视图。
图10示出根据本发明的实施方案的展示随时间的游戏过程最大允许强度的曲线图。
图11示出根据本发明的实施方案的与两个不同用户相关联的最大强度的两条曲线。
图12示出根据本发明的实施方案的展示强度对于游戏过程时间线的曲线图。
图13示出根据本发明的实施方案的头戴式显示器的部件。
图14是根据本发明的各种实施方案的游戏系统的框图。
具体实施方式
以下实施方案描述用于转变头戴式显示器上的游戏过程的方法和设备。
然而，对于本领域技术人员将显而易见的是，可以在没有这些特定细节中的一些或全部的情况下实践本发明。在其他情况下，众所周知的过程操作尚未进行详细描述，以免不必要地混淆本发明。
图1示出根据本发明的实施方案的用于视频游戏的交互游戏过程的系统。示出用户100正佩戴着头戴式显示器(HMD)102。以类似于眼镜、护目镜或头盔的方式佩戴HMD 102，并且所述HMD 102被配置来向用户100显示视频游戏或其他内容。HMD 102借助其紧密靠近于用户的眼睛的显示机制的提供而向用户提供非常沉浸式体验。因此，HMD 102可向用户眼睛中的每一只提供显示区，所述显示区占据用户视场的大部分或甚至全部。
在一个实施方案中，HMD 102可连接到计算机106。到计算机106的连接可以是有线或无线的。计算机106可以是本领域已知的任何通用或专用计算机，包括但不限于：游戏控制台、个人计算机、膝上型计算机、台式计算机、移动装置、蜂窝电话、平板计算机、瘦客户端、机顶盒、媒体流式传输装置等。在一个实施方案中，计算机106可被配置来执行视频游戏，并且输出来自所述视频游戏的视频和音频，以供HMD 102呈现。
用户100可操作控制器104来提供视频游戏的输入。此外，摄像机108可被配置来捕捉用户100位于其中的交互环境的图像。可分析这些所捕捉的图像来确定用户100、HMD 102和控制器104的位置和移动。在一个实施方案中，控制器104包括灯，所述灯可被跟踪来确定它的位置和定向。此外，如下文更详细地描述，HMD 102可包括一个或多个灯，所述一个或多个灯可被跟踪以确定HMD 102的位置和定向。摄像机108可包括用来捕捉来自交互环境的声音的一个或多个麦克风。可处理麦克风阵列所捕捉的声音来识别声源的位置。可选择性地利用或处理来自所识别位置的声音，以便排除不是来自所识别位置的其他声音。此外，摄像机108可被定义成包括多个图像捕捉装置(例如，立体摄像机对)、IR摄像机、深度摄像机及其组合。
在另一个实施方案中，计算机106充当通过网络与云端游戏提供商112通信的瘦客户端。云端游戏提供商112维护并且执行用户102正在玩的视频游戏。计算机106将来自HMD102、控制器104和摄像机108的输入传输给云端游戏提供商，云端游戏提供商处理所述输入以影响正执行的视频游戏的游戏状态。来自正执行的视频游戏的输出(如视频数据、音频数据和触觉反馈数据)被传输到计算机106。计算机106在传输之前可进一步处理所述数据，或可将数据直接传输到相关装置。例如，将视频流和音频流提供到HMD 102，而将振动反馈命令提供到控制器104。
在一个实施方案中，HMD 102、控制器104和摄像机108本身可以是连接到网络110的联网装置，以便与云端游戏提供商112通信。例如，计算机106可以是不另外执行视频游戏处理但促进通路网络流量的本地网络装置(如路由器)。HMD 102、控制器104和摄像机108到网络的连接可以是有线或无线的。
图2示出根据本发明的实施方案的头戴式显示器(HMD)。如图所示，HMD 102包括多个灯200A-H。这些灯中的每一个可被配置来具有特定形状，并且可被配置来具有相同或不同颜色。灯200A、200B、200C和200D被布置在HMD 102的前表面上。灯200E和200F被布置在HMD 102的侧表面上。而且，灯200G和200H被布置在HMD 102的隅角处，从而跨越HMD 102的前表面和侧表面。应当理解，可在用户使用HMD 102的交互环境的所捕捉图像中识别所述灯。基于对灯的识别和跟踪，可确定HMD 102在交互环境中的位置和定向。将进一步理解，所述灯中的一些灯可见或不可见，此取决于HMD 102相对于图像捕捉装置的具体定向。并且，可暴露灯(例如，灯200G和200H)的不同部分以用于图像捕捉，此取决于HMD 102相对于图像捕捉装置的定向。
在一个实施方案中，灯可被配置来向附近其他人指示HMD的当前状态。例如，所述灯中的一些或全部可被配置来具有某一颜色布置、密度布置，所述灯被配置成闪烁、具有某一开/关配置，或指示HMD 102的当前状态的其他布置。作为实例，所述灯可被配置来显示视频游戏的活动游戏过程(通常是发生在活动时间轴期间或游戏场景内的游戏过程)相对视频游戏的其他不活动游戏过程方面期间的不同配置，如导航菜单界面或配置游戏设置(在所述设置期间，游戏时间轴或场景可不活动或暂停)。所述灯还可被配置来指示游戏过程的相对强度等级。例如，灯的强度或闪烁速率在游戏过程的强度增加时可增加。以这种方式，用户之外的人可以查看在HMD 102上的灯并了解到用户正积极地参与激烈游戏过程，并且可能不希望在那一刻被打扰。
HMD 102可另外包括一个或多个麦克风。在所示出的实施方案中，HMD 102包括限定于HMD 102的前表面上的麦克风204A和204B，以及限定于HMD 102的侧表面上的麦克风204C。通过利用麦克风阵列，可处理来自麦克风中的每一个的声音以确定声源的位置。可以各种方式利用此信息，所述方式包括排除不想要的声源、使声源与视觉识别相关联等。
HMD 102还可包括一个或多个图像捕捉装置。在所示出的实施方案中，HMD 102被示出为包括图像捕捉装置202A和202B。通过利用立体图像捕捉装置对，可从HMD 102的视角捕捉环境的三维(3D)图像和视频。可将此类视频呈现给用户，以在用户佩戴HMD 102时向用户提供“视频透视”能力。就是说，虽然严格意义上来说，用户不能透视HMD 102，但是图像捕捉装置202A和202B所捕捉的视频可提供功能均等物，其能够如同看穿HMD 102一样看见HMD102外部的环境。此类视频可利用虚拟元素来扩增，以便提供扩增实境体验，或可与虚拟元素以其他方式组合或共混。虽然在所示出的实施方案中，在HMD 102的前表面上示出两个摄像机，但是应当理解，可存在任何数目的安装在HMD 102上的面向外部的摄像机，并且定向在任何方向上。例如，在另一个实施方案中，HMD 102的侧面上可安装有摄像机，以便提供对环境的额外全景图像捕捉。
图3概念性地示出根据本发明的实施方案的结合执行视频游戏的HMD 102的功能。执行视频游戏由游戏引擎320限定，所述游戏引擎320接收输入以更新视频游戏的游戏状态。可通过视频游戏的各种参数值至少部分地限定视频游戏的游戏状态，所述视频游戏的各种参数值限定当前游戏过程的各个方面，如对象的存在和位置、虚拟环境的条件、事件的触发、用户配置文件、视图角度等。
在示出的实施方案中，游戏引擎接收，例如，控制器输入314、音频输入316以及运动输入318。控制器输入314根据与HMD 102分离的游戏控制器(如控制器104)的操作限定。举例来说，控制器输入314可包括方向输入、按钮按压、触发器激活、移动、或由游戏控制器的操作处理的其他类型的输入。音频输入316可由HMD 102的麦克风302，或由包括在图像捕捉装置108中的麦克风处理。运动输入218可由包括在HMD 102中的运动传感器300，或由捕捉装置108(当其捕捉HMD 102的图像时)处理。游戏引擎320接收根据游戏引擎的配置而处理的输入以更新视频游戏的游戏状态。游戏引擎320将游戏状态数据输出到各个呈现模块，所述呈现模块处理游戏状态数据以限定将呈现给用户的内容。
在示出的实施方案中，视频呈现模块322被限定来呈现用于在HMD 102上呈现的视频流。视频流可由显示器/投影仪机构310呈现，并且由用户的眼睛306通过光学器件308观察。音频呈现模块304被配置来呈现用于由用户收听的音频流。在一个实施方案中，音频流是通过与HMD 102相关联的扬声器304的输出。应当理解，扬声器304可采用户外扬声器、耳机或者能够呈现音频的任何其他类型的扬声器的形式。
在一个实施方案中，注视跟踪摄像机312包括在HMD 102中以允许跟踪用户的注视。注视跟踪摄像机捕捉用户眼睛的图像，分析所述图像以确定用户的注视方向。在一个实施方案中，可利用关于用户的注视方向的信息来影响视频呈现。例如，如果用户的眼睛被确定为正看着具体方向，那么可以优先或强调此方向的视频呈现，如通过对用户正在看的区域提供更详细的或更快的更新。
此外，触觉反馈模块326被配置来将信号提供到包括在由用户操作的HMD 102或另一个装置(如控制器104)中的触觉反馈硬件。触觉反馈可具有各种类型的触觉感觉的形式，如振动反馈、温度反馈、压力反馈等。
图4示出根据本发明的实施方案的正佩戴着与移动装置配对的头戴式显示器的用户。在示出的实施方案中，移动装置400可以是蜂窝电话，然而在其他实施方案中，移动装置可以是可与另一装置配对的任何其他类型的便携式装置。此外，移动装置可与HMD 102直接配对，或可与计算机(如将视频和/或音频数据传达到HMD 102以供呈现的计算机106)配对。不管特定配置如何，配对移动装置400的结果是使得可从HMD 102访问移动装置400的特征(如发送并接收电话呼叫、访问联系人、提供语音输入/命令等)。
在参考标号410处，示出了当由移动装置400接收来电呼叫时由HMD 102提供给用户100的视图。如图所示，将指示来电呼叫的消息呈现给用户，叠加在其中限定用户的游戏过程的虚拟场景上。在一个实施方案中，用户可通过按压在控制器104上的特定按钮来指示接受或拒绝呼叫。在另一个实施方案中，HMD 102包括可以以类似方式利用的一个或多个按钮。当用户接受来电呼叫时，然后如参考标号412所示，视频透明部分414在由HMD 102提供的视图中示出。视频透明部分414通过组合来自HMD 102的面向外部的摄像机的视频馈送与虚拟环境的现有显示来提供。此外，当用户100接受来电呼叫时，可暂停视频游戏。
在示出的实施方案中，所显示视图的下部呈现视频馈送，而所显示视图的上部仍然展示虚拟环境。然而，在其他实施方案中，视频透明部分可被配置来在显示视图的任何区域或定向中，包括整体视图。可以展示视频透明不包括任何其他内容。或者在另一个实施方案中，视频透明可与虚拟空间的现有视图混合。在一个实施方案中，虚拟空间的视图变成部分透明或以其他方式降低了强度，并且视频透明被叠加或与至少一部分虚拟空间视图混合。在呼叫完成之后，然后如参考标号416所示，消除了视频透明部分并且恢复了虚拟空间的视图
通过提供视频透明部分414，用户能够查看移动装置400。这允许用户100访问移动装置400上提供的功能性而无需移除HMD 102。举例来说，用户100可能希望访问移动装置的功能，如调整音量、静音呼叫、访问在移动装置上的其他应用程序等。尽管参考来电电话呼叫描述了本实施方案，但是设想了通过移动装置用于其他类型通信的类似概念。例如，文本消息、电子邮件或其他提醒的接收可触发将提醒用户通信的消息显示在HMD 102提供的视图中。并且可响应于由用户100积极接受的通信或一些指示的接收而提供视频透明，从而允许用户100能够查看移动装置并且访问其功能性而无需从他的/她的头部移除HMD 102。
图5示出根据本发明的实施方案的交互环境，所述交互环境具有可致使用户的游戏过程中断的对象。例如，当用户100参与在HMD 102上显示的视频游戏的游戏过程时，人500可能正在用户100的附近讲话。在一个实施方案中，可提醒用户100讲话的人500的存在。可利用由HMD 102和/或图像捕捉装置108捕捉的音频和/或图像数据基于声源定位和/或图像辨识来识别人500的位置。在一个实施方案中，可利用语音辨识技术或图像辨识技术来确定人500的身份。当提醒用户讲话的人500的存在时，可启动视频透明模式并且至少部分地显示在HMD 102上以使得用户100能够看到人500而无需移除HMD 102。
在图5还示出桌子502。在一个实施方案中，如果用户100移动太靠近对象(如桌子502)，并且因此有撞到对象的危险，还可以警告用户100。可通过HMD 102将提醒显示给用户，并且可启动视频透明模式以允许用户100看到在他附近的外部对象，如桌子502。可基于由HMD 102或独立的图像捕捉装置108所捕捉图像的图像分析来映射在用户100的本地环境中的对象。可处理环境的多个视图以定义在用户附近的对象的三维映射。此外，HMD 102和/或图像捕捉装置108可包括捕捉关于本地环境的深度信息的深度摄像机。可分析深度信息以支持定义前述在用户附近的对象的三维映射。
头戴式显示器可提供非常沉浸式体验，部分是由于它们可提供包括大部分用户的视场(如果不是其全部)的显示。因此，用户可凭借正观看到内容而体验运动、加速、方向改变以及其他类型的物理感觉，即使用户自己实际上不在移动。由于头戴式显示器可为用户提供非常沉浸式体验，突然从观看高强度的场景(可能表征为高水平运动或高密度对象)转变到观看停止的场景(如当游戏暂停时)或完全不同的场景可能令用户迷失方向感。在以下图中，提供了若干实例，其中视频游戏的游戏过程的强度逐渐降低，从而将游戏过程从较高强度转变到较低强度，并且因此使用户由于转变而产生的迷失方向感最小化。
图6A示出呈现在HMD上的视频游戏场景的视图，在所述视图中角色正在跑动。当角色正在跑动时，显示的场景(由虚拟视点限定)跟着角色移动，并且因此视图将这种移动的感觉提供给正通过HMD观看的用户。然而，当另一个人在用户的附近说话时已被识别。展示的消息指示有人正在说话，并且呈现暂停游戏过程的选项。如图6B所示，如果用户选择暂停游戏过程，那么角色的移动逐渐减慢直到角色停止。
在一个实施方案中，视频透明部分在用户的视野内从另一个人定位的方向打开。如前所述，可基于声音定位和图像分析/辨识来确定另一个人的位置。如图6C所示，视频透明部分已从视图的右侧打开，以显示另一个人正在说话。
图7A示出根据本发明的实施方案的通过HMD呈现的视频游戏的视图。在图7A所示的视图中，用户正在玩篮球游戏，并且刚刚进篮得分。将选项呈现给用户以共享(例如，在社交网络上)篮球投篮的剪辑。然而，篮球视频游戏的游戏过程可能由于有许多玩家同时在篮球场上移动而是激烈的。因此，如果用户如所建议选择分享先前投篮，那么游戏过程的强度被逐渐降低。举例来说，在篮球游戏的环境中，玩家可停止移动，或可从场景移出，并且视觉元件可被简化或者也可从场景移出。如图7B所示，玩家已停止移动，并且某些视觉元件已从场景移出，如玩家中的一个以及一些地面标记。以这种方式，在转变出游戏过程之前，简化了场景并且降低了游戏的强度。
在游戏过程的强度被降低之后，然后如图7C所示，呈现了用于选择待共享的篮球投篮视频剪辑的开始点和结束点的界面。
图8A、8B和8C示出根据本发明的实施方案的赛车游戏的视图。在图8A，用户在视频游戏的环境中以高速驾车。如图8B所示，在转变出游戏之前，降低车的速度。并且如图8C所示，车已停止。因此，在移出场景的显示之前，车已转变成停止，或者用户转移观看HMD中的另一个场景。
图9A、9B和9C示出根据本发明的实施方案的虚拟场景的视图。在图9A，示出了具有高密度对象(例如，树)的山丘场景。如图9B所示，在从场景转变出之前，降低了场景中的对象的密度，从而简化场景的呈现。此外，已减少了地形的山丘。在图9C，所有对象已从场景移出，并且地形已进一步简化成为几乎平坦的地形。以这种方式，在从虚拟场景转变出之前，已简化了呈现给用户的图形。
如前述实例表明，游戏的游戏过程的强度的降低可与视频游戏的多个方面相关联。前述实施方案已大体描述了关于如对象的速度和密度的方面。然而，可以设想，当转变时，有助于游戏过程的整体强度的游戏过程的其他方面可以渐进的方式同样地降低。例如，在转变到暂停状态或其他操作状态之前，可全部调整如速度改变(加速度)、密度改变、声音(例如，某些频率范围的密度、音量、幅度、时间方差)、颜色(例如，饱和度、强度)、对比度、亮度、透明度、图形的复杂度等方面以降低视频游戏的强度。
因为突然转变出在HMD上提供的沉浸式体验可能令人迷失方向感，所以突然转变进此类沉浸式体验也是一样。因此，当启动活动游戏过程时，可逐渐增加游戏过程的强度。
图10示出根据本发明的实施方案的展示随时间的游戏过程最大允许强度的曲线图。在时间t0处，启动游戏过程，并且游戏过程的最大允许强度逐渐上升直到达到在时间t1处限定的上限。因此，根据用户的游戏过程的具体特性，由用户体验的实际游戏过程强度可在这段时间期间逐渐增加。在一个实施方案中，可允许导致游戏过程强度低于最大允许强度的在用户身体部位上的游戏过程动作，然而以其他方式导致游戏过程强度高于最大允许强度的游戏过程动作受到限制或下调到在该时间限定的最大允许强度。在另一个实施方案中，对由于游戏过程动作而产生的游戏过程强度进行缩放以配合在该时间所限定的最大允许强度。应当理解，缩放游戏过程强度以配合最大允许强度可限定线性缩放关系或一些其他非线性缩放关系。就此而言，在一个实施方案中，最大允许强度由缩放因子限定，所述缩放因子被应用到由于游戏过程动作而产生的游戏过程强度。
一些数字实例的解释将用于说明前述关系。例如，如果游戏过程活动导致游戏过程强度具有范围1-10的数值，并且最大允许强度为5，那么在一个实施方案中，允许游戏过程强度范围从1-5，而将从5-10范围的游戏过程强度调整到最大允许强度5。在另一个实施方案中，将0.5的标度因子应用于所有游戏过程强度，使得1-10范围的游戏过程强度现在有效地降低到范围1-5，并因此也限定最大允许强度。应当理解，前述数字实例仅以示例的方式提供。在各种实施方案中，标度因子的范围可以从零到一，或以百分数表示，标度因子的范围可以从0％到100％，从而限定游戏过程的一些方面的有效游戏过程强度。应当理解，可根据各种因数(如用户的经验等级)向上或向下调整标度因子。
继续参考图10，将最大允许强度的上限从时间t1保持到时间t2，由此发生游戏过程的中断并且接收命令以暂停游戏过程。这时，在进入游戏过程的暂停状态之前，在时间t3，最大允许强度逐渐降低到零。这将具有使游戏过程的实际强度降低到零的效果。举例来说，在时间t3和t4之间，视频游戏可处于暂停状态。在时间t4，重新启动游戏过程并且因此最大允许强度再次上升。在时间t5，最大强度等级再次达到上限。
当在给定的视频游戏的环境中应用时，逐渐增加或降低游戏过程强度或最大允许强度可导致用户体验的各种效果。例如，用户可体验给定输入(如运动输入或启动操纵杆或按钮的控制器输入)的灵敏度的逐渐增加或降低。或导致加速度、减速度、速度或方向改变的感觉的通过HMD提供给用户的视图的变化可逐渐增加或减少，从而导致这些感觉的相应的增加或减少。
如上所述，随时间限定的最大允许强度为用户限定最大强度包线。应当理解，如上所述的最大强度包线的提供允许用户以逐渐和渐进的方式适应游戏过程的强度和沉浸式特性。当转变进以及转变出活动游戏过程时，这可帮助用户避免迷失方向感、眩晕等的不舒服的感觉。
在一个实施方案中，在启动游戏过程之前或期间，可由用户手动调整游戏过程强度。可通过用户可调整设置来限定游戏过程强度的调整，所述游戏过程强度可响应于来自用户的对应命令而增加或减少。应当理解，可采用用于调整设置的任何类型的命令接口，包括按钮、语音命令、示意动作等。此外，用户可调整设置可由针对游戏过程强度的特性的参数限定，如前述最大允许强度和标度因子，或可有效地增加或降低用户的整个游戏过程强度的游戏过程强度的其他特性。
应当理解，游戏过程强度可根据游戏的环境由游戏限定，并且可进一步被限定以影响多种游戏过程方面中的任一种。此外，在游戏的不同部分期间，游戏过程强度可由与在游戏的不同部分期间相关的不同方面限定。例如，在一个实施方案中，强度可以被限定为由在游戏中的角色(例如，用户的角色、敌方角色、首领角色等)处理并接收的伤害值。因此，当用户转变进或转变出游戏过程时，用户的角色可将伤害递送到另一个角色并且从另一个角色遭受伤害，然而，在转变期间可降低所递送/遭受的伤害值。以这种方式，当在战斗的过程中转变进或转变出暂停状态时，用户的角色将不会死得过快。
应当理解，游戏过程强度可由各种可调整的游戏过程的方面的任一种限定，包括但不限于以下：递送的伤害值、攻击或武器的强度、利用的能量或资源量、健康损耗量、难度级别、动作频率、动作有效性等。受游戏过程强度变化影响的游戏过程的具体方面在上下文可特定于给定游戏以及在游戏过程强度变化时进行的游戏过程活动性。
图11示出根据本发明的实施方案的与两个不同用户相关联的最大强度的两条曲线。曲线1100示出有较多经验的用户的最大强度等级，而曲线1102示出有较少经验的用户的最大强度等级。可以看到，经验较多的用户的最大强度等级逐渐上升并且比经验较少的用户的最大强度等级下降的更快。这反映了经验较多的用户能够更好地处置在游戏过程的高强度和低强度之间的较快转变的事实。此外，在示出的实施方案中，有经验的用户的曲线1100表现出比曲线1102更高的上限。然而，在另一个实施方案中，与经验较少的用户相关联的曲线1102可达到(但更缓慢)相同的上限。
在一个实施方案中，各个用户可具有限定速率的相关联的用户配置文件，在所述速率下当转变进或转变出活动游戏过程时用户可增加或降低游戏过程的强度以及游戏过程的强度的上限。如上所讨论，这些参数可由应用于游戏过程的强度的标度因子限定。在一个实施方案中，当用户登录到视频游戏系统时，访问他们的配置文件以限定呈现给用户的游戏过程强度。此外，应当注意，配置文件可基于用户的经验以及用户限定的设置。用户的经验可基于用户玩视频游戏或使用HMD已花费的时间量以及此类游戏过程的新近性。在一个实施方案中，用户可改变(增加或降低)游戏过程强度的速率随着花费在活动游戏过程的时间量的增加而增加。在一个实施方案中，此速率可被配置来如果从用户的先前游戏过程会话算起的时间量超过一定阈值而降低。此外，一旦超过阈值时间周期，速率可随着从先前会话算起的时间周期的增加而进一步降低。以这种方式，还没有参与活动游戏过程一段时间的用户，可不能经受与他的先前会话期间相同的速率的强度变化，并且被允许更缓慢地适应游戏过程的强度。
图12示出根据本发明的实施方案的展示强度相对游戏过程时间线的曲线图。示出了在游戏过程时间线过程中用户的游戏过程的强度。用户的游戏过程强度根据曲线1200斜线下降，直到它沿着游戏过程时间线停止在参考标号1204处。然而，当游戏过程恢复时，它从参考标号1206处指示的游戏过程时间线中的较早的时间点启动。以这种方式，当用户决定恢复活动游戏过程时，提供给用户重新进入视频游戏的游戏过程的环境。
本文所述的各种实施方案已参考呈现在头戴式显示器装置上的视频游戏进行了描述。然而，应当理解，根据其他实施方案，描述的原理和方法因此也可在其他类型交互应用的环境中应用，以及在呈现在其他类型的装置上的环境中应用，其包括但不限于可在其上呈现交互应用的电视和其他类型的显示器。
参考图13，展示示出根据本发明的实施方案的头戴式显示器102的部件的图。头戴式显示器102包括用于执行程序指令的处理器1300。提供存储器1302用于存储目的，并且可包括易失性存储器和非易失性存储器。包括显示器1304，所述显示器1304提供用户可观看的视觉界面。蓄电池1306被提供为头戴式显示器102的电源。运动检测模块1308可包括各种运动敏感硬件中的任一种，如磁力计1310、加速度计1312和回转仪1314。
加速度计是用于测量加速度和重力引起的反作用力的装置。单轴和多轴模型可用于检测不同方向上的加速度的大小和方向。加速度计用于感测倾斜度、振动和冲击。在一个实施方案中，使用三个加速度计1312来提供重力方向，所述重力方向为两个角度(世界空间俯仰和世界空间翻滚)给出绝对参考。
磁力计测量头戴式显示器附近的磁场的强度和方向。在一个实施方案中，在头戴式显示器内使用三个磁力计1310，从而确保世界空间偏航角的绝对参考。在一个实施方案中，磁力计被设计来跨越地球磁场，地球磁场为±80微特斯拉。磁力计受金属影响，并且提供与实际偏航单调的偏航测量。磁场可由于环境中的金属而扭曲，从而导致偏航测量的偏差。如果必要的话，那么可使用来自其他传感器(如回转仪或摄像机)的信息来校准此偏差。在一个实施方案中，加速度计1312与磁力计1310一起使用，以便获得头戴式显示器102的倾斜度和方位角。
回转仪是用于基于角动量的原理来测量或维持定向的装置。在一个实施方案中，三个回转仪1314基于惯性感测提供关于越过相应轴线(x、y和z)的移动的信息。回转仪帮助检测快速旋转。然而，回转仪在不存在绝对参考的情况下可随时间而漂移。这需要定期重新设置回转仪，所述重新设置可使用其他可用的信息来完成，所述信息如基于对对象、加速度计、磁力计等的视觉跟踪的位置/定向确定。
提供摄像机1316来用于捕捉真实环境的图像和图像流。头戴式显示器102可包括一个以上摄像机，其包括后置摄像机(当用户正在观看头戴式显示器102的显示器时背离用户)，和前置摄像机(当用户正在观看头戴式显示器102的显示器时直接朝向用户)。此外，深度摄像机1318可被包括在头戴式显示器102中，以用于感测真实环境中的对象的深度信息。
头戴式显示器102包括用于提供音频输出的扬声器1320。此外，可包括麦克风1322，所述麦克风1322从真实环境中捕捉音频，包括来自周围环境的声音，用户发出的语音等。头戴式显示器102包括将触觉反馈提供给用户的触觉反馈模块1324。在一个实施方案中，触觉反馈模块1324能够引起头戴式显示器102的移动和/或振动，以便向用户提供触觉反馈。
LED 1326被提供为头戴式显示器102的状态的视觉指示器。例如，LED可指示蓄电池电量、电源接通等。提供读卡器1328来使头戴式显示器102能够从存储卡读取信息和将信息写入到存储卡。包括USB接口1330作为用于实现外围装置的连接或连接到如其他便携式装置、计算机等其他装置的接口的一个实例中。在头戴式显示器102的各个实施方案中，可包括各种类型界面中的任一种以使得头戴式显示器102有更好的连接性。
包括WiFi模块1332，以用于实现通过无线联网技术来连接到互联网。而且，头戴式显示器102包括用于实现无线连接到其他装置的蓝牙模块1334。还可包括通信链路1336，以用于连接到其他装置。在一个实施方案中，通信链路1336利用红外线传输来进行无线通信。在其他实施方案中，通信链路1336可利用用于与其他装置通信的各种无线或有线传输协议中的任一种。
包括输入按钮/传感器1338来提供用户的输入接口。可包括各种类型输入接口的任一种，如按钮、触摸板、操纵杆、轨迹球等。可在头戴式显示器102中包括超声通信模块1340以有助于通过超声技术与其他装置通信。
包括生物传感器1342来实现来自用户的生理数据的检测。在一个实施方案中，生物传感器1342包括一个或多个干电极，所述干电极用于通过用户皮肤来检测用户的生物电信号。
已将头戴式显示器102的前述部件描述为仅仅是可包括在头戴式显示器102中的示例性部件。在本发明的各个实施方案中，头戴式显示器102可或可不包括前面提及的各种部件中的一些部件。头戴式显示器102的实施方案可另外包括目前未描述、但在本领域已知的其他部件，以用于促进如本文所述的本发明的方面的目的。
本领域技术人员将理解，在本发明的各个实施方案中，可结合显示器上所显示的交互应用来利用前面提及的手持式装置，以提供各种交互功能。仅作为实例且不作为限制来提供本文所述的示例性实施方案。
图14是根据本发明的各种实施方案的游戏系统1400的框图。游戏系统1400被配置来通过网络1415提供视频流到一个或多个客户端1410。游戏系统1400通常包括视频服务器系统1420和任选的游戏服务器1425。视频服务器系统1420被配置来按最小服务质量提供视频流到一个或多个客户端1410。例如，视频服务器系统1420可接收改变视频游戏的状态或视频游戏内的视点的游戏命令，并以最小的滞后时间向客户端1410提供反映此状态改变的更新视频流。视频服务器系统1420可被配置来提供呈广泛多种替代视频格式(包括尚未限定的格式)的视频流。此外，视频流可包括经配置用于以广泛多种帧速率向用户呈现的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒1420帧。但在本发明的替代实施方案中包括较高或较低的帧速率。
本文中被个别称作1410A.、1410B.等的客户端1410可包括头戴式显示器、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、信息亭、无线装置、数字垫、独立装置、手持式游戏装置和/或类似者。通常，客户端1410被配置来接收所编码的视频流，解码视频流，以及将所得视频呈现给用户，例如游戏的玩家。接收经编码的视频流和/或解码视频流的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。可以在与客户端1410成一体的显示器上或在如监视器或电视等单独装置上将视频流呈现给用户。客户端1410任选地被配置来支持一个以上游戏玩家。例如，游戏控制台可被配置来支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可接收单独的视频流，或单个视频流可包括特别针对每个玩家所产生(例如，基于每个玩家的视角所产生)的帧的多个区域。客户端1410任选地在地理上分散开。游戏系统1400中所包括的客户端的数目可从一个或两个广泛变化到几千个、几万个或更多个。如本文所使用，术语“游戏玩家”用于指玩游戏的人，并且术语“玩游戏装置”用于指用于玩游戏的装置。在一些实施方案中，玩游戏装置可指多个计算装置，其进行合作来向用户传递游戏体验。例如，游戏控制台和HMD可与视频服务器系统1420合作来传递通过HMD观看的游戏。在一个实施方案中，游戏控制台从视频服务器系统1420接收视频流，且游戏控制台将视频流或对视频流的更新转发给HMD以便呈现。
客户端1410被配置来通过网络1415接收视频流。网络1415可以是任何类型的通信网络，其包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、专用网络和/或类似网络。在典型的实施方案中，通过如TCP/IP或UDP/IP的标准协议来传达视频流。或者，通过专有标准来传达视频流。
客户端1410的典型实例是个人计算机，其包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统在此项技术中是众所周知的，且取决于所使用的特定编码方案而变化。
客户端1410可(但不需要)还包括被配置用于修改接收到的视频的系统。例如，客户端可被配置来：执行进一步呈现，将一个视频图像叠加在另一个视频图像上，修剪视频图像，和/或类似操作。例如，客户端1410可被配置来接收各种类型的视频帧，如I帧、P帧和B帧，并且被配置来将这些帧处理成图像以向用户显示。在一些实施方案中，客户端1410的构件被配置来对视频流执行进一步呈现、阴影处理、转换成3-D或类似操作。客户端1410的构件任选地被配置来接收一个以上的音频或视频流。客户端1410的输入装置可包括：例如，单手游戏控制器、双手游戏控制器、示意动作辨识系统、注视辨识系统、语音辨识系统、键盘、操纵杆、指向装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏、神经接口、摄像机、还未开发出的输入装置，和/或类似装置。
客户端1410所接收的视频流(和任选的音频流)是由视频服务器系统1420产生并提供的。如在本文别处进一步描述，此视频流包括视频帧(以及音频流包括音频帧)。视频帧被配置(例如，其在适当数据结构中包括像素信息)以在很大程度上有助于向用户显示图像。如本文所使用，使用术语“视频帧”来指主要包括被配置来造成(例如实现)图像展示给用户的信息的帧。本文中关于“视频帧”的大部分教示也可适用于“音频帧”。
客户端1410通常被配置来接收来自用户的输入。这些输入可包括被配置来改变视频游戏的状态或以其他方式影响玩游戏的游戏命令。游戏命令可通过使用输入装置来接收和/或可通过计算在客户端1410上执行的指令而自动地产生。所接收的游戏命令是通过网络1415从客户端1410传达到视频服务器系统1420和/或游戏服务器1425。例如，在一些实施方案中，游戏命令通过视频服务器系统1420而传达到游戏服务器1425。在一些实施方案中，游戏命令的独立副本是从客户端1410传达到游戏服务器1425和视频服务器系统1420。游戏命令的传达任选地取决于命令的身份。通过用来向客户端1410A提供音频流或视频流的不同路线或通信信道，从客户端1410A任选地传达游戏命令。
游戏服务器1425任选地通过不同于视频服务器系统1420的实体来操作。例如，游戏服务器1425可通过多玩家游戏的发布服务器操作。在此实例中，视频服务器系统1420任选地被游戏服务器1425看作客户端，且任选地被配置来从游戏服务器1425的视点看起来是执行现有技术游戏引擎的现有技术客户端。视频服务器系统1420与游戏服务器1425之间的通信任选地通过网络1415而发生。因而，游戏服务器1425可以是发送游戏状态信息到多个客户端的现有技术多玩家游戏服务器，所述多个客户端中的一者是游戏服务器系统1420。视频服务器系统1420可被配置来同时与游戏服务器1425的多个实例通信。例如，视频服务器系统1420可被配置来向不同用户提供多个不同视频游戏。这些不同视频游戏中的每一个可由不同游戏服务器1425支持和/或由不同实体发行。在一些实施方案中，视频服务器系统1420的若干地理上分布式实例被配置来向多个不同用户提供游戏视频。视频服务器系统1420的这些实例中的每一个可与游戏服务器1425的相同实例通信。视频服务器系统1420与一个或多个游戏服务器1425之间的通信任选地通过专用通信信道发生。例如，视频服务器系统1420可通过高带宽信道连接到游戏服务器1425，所述高带宽信道专门用于这两个系统之间的通信。
视频服务器系统1420至少包括视频源1430、I/O装置1445、处理器1450和非暂时性存储设备1455。视频服务器系统1420可包括一个计算装置或分布在多个计算装置当中。这些计算装置任选地通过如局域网的通信系统连接起来。
视频源1430被配置来提供视频流，例如，流式传输视频或形成移动图片的一系列视频帧。在一些实施方案中，视频源1430包括视频游戏引擎和呈现逻辑。视频游戏引擎被配置来从玩家接收游戏命令，并基于所接收的命令来维持视频游戏的状态的副本。此游戏状态包括游戏环境中的对象的定位，以及通常包括视角。游戏状态还可包括对象的特性、图像、颜色和/或纹理。通常基于游戏规则以及游戏命令(如，移动、转动、攻击、设置焦点、交互、使用和/或类似命令)来维持游戏状态。游戏引擎的部分任选地安置在游戏服务器1425内。游戏服务器1425可基于使用地理上分散开的客户端从多个玩家接收到的游戏命令来维持游戏状态的副本。在这些情况下，游戏服务器1425将游戏状态提供给视频源1430，在视频源1430中存储游戏状态的副本并且执行呈现。游戏服务器1425可通过网络1415直接从客户端1410接收游戏命令，和/或可通过视频服务器系统1420接收游戏命令。
视频源1430通常包括呈现逻辑，例如存储在计算机可读介质如存储设备1455上的硬件、固件和/或软件。这个呈现逻辑被配置来基于游戏状态创建视频流的视频帧。所述呈现逻辑的全部或部分任选地安置在图形处理单元(GPU)内。呈现逻辑通常包括被配置用于确定对象之间的三维空间关系和/或用于基于游戏状态和视点来应用适当的纹理等的处理级。呈现逻辑产生原始视频，然后常常对原始视频进行编码，然后传达给客户端1410。例如，可根据Adobe 标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.、Xvid.、FFmpeg、x264、VP6-8、realvideo、mp3或类似标准对原始视频进行编码。编码过程产生视频流，任选地将所述视频流打包以便递送到远程装置上的解码器。视频流是由帧大小和帧速率来表征。典型的帧大小包括800×600、1280×720(例如，720p)、1024×768，但是可使用任何其他帧大小。帧速率是每秒的视频帧数目。视频流可包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用来刷新显示装置上的全部宏块/像素的信息，而P帧包括用来刷新所述宏块/像素的子集的信息。P帧的数据大小通常小于I帧。如本文中所使用，术语“帧大小”意在指帧内的像素数目。术语“帧数据大小”是用来指存储所述帧所需的字节数目。
在替代实施方案中，视频源1430包括如摄像机的视频录制装置。此摄像机可用来产生可以包括在计算机游戏的视频流中的延迟视频或实况视频。所得的视频流任选地包括所呈现的图像与使用静态摄像机或视频摄像机录制的图像。视频源1430还可包括被配置来存储将要包括在视频流中的先前录制视频的存储装置。视频源1430还可包括被配置来检测对象(例如，人)的运动或位置的运动或定位感测装置，以及被配置来基于所检测的运动和/或位置来确定游戏状态或产生视频的逻辑。
视频源1430任选地被配置来提供被配置来放在其他视频上的叠加。例如，这些叠加可包括命令接口、登入指令、发给游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频馈送(例如，网络摄像头视频)。在客户端1410A包括触摸屏接口或注视检测接口的实施方案中，所述叠加可包括虚拟键盘、操纵杆、触摸板和/或类似物。在叠加的一个实例中，将玩家的语音叠加在音频流上。视频源1430任选地还包括一个或多个音频源。
在视频服务器系统1420被配置来基于来自一个以上的玩家的输入来维持游戏状态的实施方案中，每个玩家可具有不同视角，视角包括位置和查看方向。视频源1430任选地被配置来基于玩家的视点给每个玩家提供独立的视频流。此外，视频源1430可被配置来向客户端1410中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源1430任选地被配置来提供3-D视频。
I/O装置1445被配置用于视频服务器系统1420，用来发送和/或接收信息，所述信息如：视频、命令、对信息的请求、游戏状态、注视信息、装置运动、设备定位、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频和/或类似信息。I/O装置1445通常包括如网卡或调制解调器的通信硬件。I/O装置1445被配置来与游戏服务器1425、网络1415和/或客户端1410通信。
处理器1450被配置来执行本文中讨论的视频服务器系统1420的各种部件内所包括的逻辑，例如软件。例如，处理器1450可用软件指令编程以便执行视频源1430、游戏服务器1425和/或客户端限定符1460的功能。视频服务器系统1420任选地包括处理器1450的一个以上实例。处理器1450还可用软件指令编程，以便执行视频服务器系统1420所接收的命令或协调本文中讨论的游戏系统1400的各种元件的操作。处理器1450可包括一个或多个硬件装置。处理器1450是电子处理器。
存储设备1455包括非暂时性模拟和/或数字存储装置。例如，存储设备1455可包括被配置来存储视频帧的模拟存储装置。存储设备1455可包括计算机可读数字存储设备，例如，硬盘驱动器、光学驱动器或固态存储设备。存储设备1415被配置(例如，借助于适当的数据结构或文件系统)以存储视频帧、人工帧、包括视频帧与人工帧的视频流、音频帧、音频流和/或类似物。存储设备1455任选地分布在多个装置当中。在一些实施方案中，存储设备1455被配置来存储本文中在别处所讨论的视频源1430的软件部件。这些部件可在需要时随时可以供应的格式来存储。
视频服务器系统1420任选地还包括客户端限定符1460。客户端限定符1460被配置用于远程地确定客户端的能力，如客户端1410A或1410B。这些能力可包括客户端1410A本身的能力以及介于客户端1410A与视频服务器系统1420之间的一个或多个通信信道的能力。例如，客户端限定符1460可被配置来测试经过网络1415的通信信道。
客户端限定符1460可手动或自动地确定(例如，发现)客户端1410A的能力。手动确定包括与客户端1410A的用户通信并请求用户提供能力。例如，在一些实施方案中，客户端限定符1460被配置来在客户端1410A的浏览器内显示图像、文字和/或类似物。在一个实施方案中，客户端1410A是包括浏览器的HMD。在另一实施方案中，客户端1410A是具有浏览器的游戏控制台，所述浏览器可显示在HMD上。所显示的对象请求用户输入客户端1410A的信息，如操作系统、处理器、视频解码器类型、网络连接类型、显示器分辨率等。向客户端限定符1460传达回用户所输入的信息。
自动确定可例如通过在客户端1410A上执行代理程序和/或通过向客户端1410A发送测试视频来进行。代理程序可包括嵌入网页中或安装为加载项的计算指令，如java脚本。代理程序任选地由客户端限定符1460提供。在各种实施方案中，代理程序可发现：客户端1410A的处理能力、客户端1410A的解码和显示能力、客户端1410A与视频服务器系统1420之间的通信信道的滞后时间可靠性和带宽、客户端1410A的显示器类型、客户端1410A的上存在的防火墙、客户端1410A的硬件、在客户端1410A的上执行软件、客户端1410A内的注册表项和/或类似物。
客户端限定符1460包括硬件、固件和/或存储在计算机可读介质上的软件。客户端限定符1460任选地安置在与视频服务器系统1420的一个或多个其他元件分开的计算装置上。例如，在一些实施方案中，客户端限定符1460被配置来确定客户端1410与视频服务器系统1420的一个以上的实例之间的通信信道的特性。在这些实施方案中，客户端限定符所发现的信息可用来确定视频服务器系统1420的哪个实例最适合于向客户端1410中的一个递送流式传输视频。
本发明的实施方案可以通过各种计算机系统配置来实践，包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机及类似者。本发明的若干实施方案还可以在分布式计算环境中实践，其中由通过有线或无线网络加以链接的远程处理装置执行任务。
考虑到以上实施方案，应理解的是，本发明的许多实施方案可采用各种计算机实施的操作，这些操作涉及存储在计算机系统中的数据。这些操作是需要对物理量进行物理操纵的操作。本文中描述的形成本发明的各种实施方案的部分的任何操作都是有用的机器操作。本发明的若干实施方案还涉及用于执行这些操作的装置或设备。所述设备可出于所需的目的而专门构造而成，或所述设备可为由存储于计算机中的计算机程序选择性地激活或配置的通用计算机。明确地说，各种通用机器可与根据本文的教示所撰写的计算机程序一起使用，或者可以更方便地构造更专门的设备来执行所需的操作。
本发明的各种实施方案也可体现为计算机可读介质上的计算机可读代码。所述计算机可读介质是可以存储数据的任何数据存储装置，所述数据随后可由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储设备(NAS)、只读存储器(ROM)、随机存取存储器、紧密光盘ROM(CD-ROM)、可录制CD(CD-R)、可重写CD(RW)、磁带以及其他光学和非光学数据存储装置。所述计算机可读介质可以包括分布在网络耦合计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。
尽管以特定顺序描述了方法操作，但应当理解，其他内务操作可以在操作之间执行，或者可以调整操作以使得它们在略微不同的时间发生，或者可以分布在系统中，所述系统允许处理操作以与所述处理相关联的各种时间间隔发生，只要重叠操作的处理以所需方式执行即可。
尽管为了理解的清楚性目的而略微详细地描述了前述发明，但很显然，可以在所附权利要求的范围内做出某些变化和修改。因此，本发明的实施方案被认为是说明性的而非限制性的，并且本发明不限于本文所给出的细节，而可在所附权利要求书的范围和等效物内进行修改。

Claims (41)

1.一种方法，包括：
通过头戴式显示器呈现视频游戏的游戏过程，所述头戴式显示器设置在本地环境中；
检测在本地环境中说话的人，其中检测说话的人包含通过所述头戴式显示器从所述本地环境捕捉音频，并分析所捕捉的音频以识别在本地环境中说话的人；
响应于检测到所述在本地环境中说话的人，通过所述头戴式显示器呈现通知，所述通知提供暂停所述视频游戏的游戏过程的选项；
响应于接收到指示所述选项的选择的命令，暂停所述视频游戏的游戏过程并通过所述头戴式显示器呈现通过所述头戴式显示器的面向外部的摄像机提供的视图，所述视图使得能够观看所述在本地环境中说话的人。
2.如权利要求1所述的方法，其中，检测在本地环境中说话的人包含将语音辨识应用于所捕捉的音频以确定所述在本地环境中说话的人的身份。
3.如权利要求1所述的方法，其中，检测在本地环境中说话的人包含将声音定位应用于所捕捉的音频以确定所述在本地环境中说话的人的位置。
4.如权利要求3所述的方法，其中，通过所述头戴式显示器的面向外部的摄像机呈现所述视图被限定为从朝向所述在本地环境中说话的人的位置的方向打开。
5.如权利要求1所述的方法，其中，检测在本地环境中说话的人包含通过所述头戴式显示器的面向外部的摄像机捕捉图像并分析所捕捉的图像以识别所述在本地环境中说话的人。
6.如权利要求5所述的方法，其中，检测在本地环境中说话的人包含将图像辨识应用于所捕捉的图像以确定所述在本地环境中说话的人的身份。
7.如权利要求5所述的方法，其中，检测在本地环境中说话的人包含分析所捕捉的图像以确定所述在本地环境中说话的人的位置。
8.如权利要求7所述的方法，其中，通过所述头戴式显示器的面向外部的摄像机呈现所述视图被限定为从朝向所述在本地环境中说话的人的位置的方向打开。
9.如权利要求1所述的方法，
其中，暂停所述视频游戏的游戏过程包含识别游戏过程方面的强度，并且在进入暂停状态之前逐渐降低所述游戏过程方面的强度。
10.如权利要求9所述的方法，
其中，所述游戏过程方面的强度由虚拟元件的速度限定；并且
其中，逐渐降低所述游戏过程方面的强度包含逐渐降低所述虚拟元件的速度。
11.如权利要求10所述的方法，其中，在虚拟空间中的所述虚拟元件的位置限定呈现在所述头戴式显示器上的所述虚拟空间的视图，所述虚拟空间的视图根据所述虚拟元件的速度而变化。
12.如权利要求9所述的方法，
其中，所述游戏过程方面的强度由呈现在所述头戴式显示器上的虚拟元件的密度限定；并且
其中，逐渐降低所述游戏过程方面的强度包含逐渐降低呈现在所述头戴式显示器上的虚拟元件的密度。
13.如权利要求9所述的方法，
其中，所述游戏过程方面的强度由呈现在所述头戴式显示器上的图形的复杂度定义；并且
其中，逐渐降低所述游戏过程方面的强度包含逐渐简化呈现在所述头戴式显示器上的所述图形，其中简化所述图形包含从场景中移除一个或多个视觉元件。
14.如权利要求9所述的方法，还包括，
接收信号以恢复所述视频游戏的游戏过程；
响应于接收到恢复游戏过程的所述信号，将所述游戏过程从所述暂停状态转变到活动状态；
其中，将所述游戏过程从所述暂停状态转变到活动状态包含逐渐增加所述游戏过程方面的强度。
15.如权利要求14所述的方法，其中，将所述游戏过程从所述暂停状态转变到活动状态包含识别比所述游戏过程暂停时的第二游戏过程时间点更早的第一游戏过程时间点，并且从所述第一游戏过程时间点启动从所述暂停状态到活动状态的转变。
16.一种方法，包括：
通过头戴式显示器呈现视频游戏的游戏过程，所述头戴式显示器设置在本地环境中；
检测在本地环境中说话的人，其中，检测说话的人包含通过所述头戴式显示器从所述本地环境捕捉音频、通过所述头戴式显示器的面向外部的摄像机捕捉图像、以及分析所捕捉的音频和所捕捉的图像以识别所述在本地环境中说话的人的身份；
响应于检测到所述在本地环境中说话的人，通过所述头戴式显示器呈现通知，所述通知提供暂停所述视频游戏的游戏过程的选项；
响应于接收到指示所述选项的选择的命令，暂停所述视频游戏的游戏过程并通过所述头戴式显示器呈现通过所述头戴式显示器的面向外部的摄像机提供的视图，所述视图使得能够观看所述在本地环境中说话的人。
17.如权利要求16所述的方法，其中，检测在本地环境中说话的人包含将语音辨识应用于所捕捉的音频和/或将图像辨识应用于所捕捉的图像以确定所述在本地环境中说话的人的身份。
18.如权利要求16所述的方法，其中，检测在本地环境中说话的人包含将声音定位应用于所捕捉的音频和/或分析所捕捉的图像以确定所述在本地环境中说话的人的位置。
19.如权利要求18所述的方法，其中，通过所述头戴式显示器的面向外部的摄像机呈现所述视图被限定为从朝向所述在本地环境中说话的人的位置的方向打开。
20.如权利要求16所述的方法，
其中，暂停所述视频游戏的游戏过程包含识别游戏过程方面的强度，并且在进入暂停状态之前逐渐降低所述游戏过程方面的强度。
21.一种方法，包括：
通过头戴式显示器呈现视频游戏的游戏过程，所述头戴式显示器设置在本地环境中；
从所述本地环境捕捉音频，并且分析所捕捉的音频以检测在本地环境中说话的人；
响应于检测到所述在本地环境中说话的人，通过所述头戴式显示器呈现通知，所述通知提供暂停所述视频游戏的游戏过程的选项；
响应于接收到指示所述选项的选择的命令，暂停所述视频游戏的游戏过程。
22.如权利要求21所述的方法，其中，所捕捉的音频包含将语音辨识应用于所捕捉的音频以确定所述在本地环境中说话的人的身份。
23.如权利要求22所述的方法，其中，所述通知包含所述在本地环境中说话的人的身份。
24.如权利要求21所述的方法，其中，分析所捕捉的音频包含将声音定位应用于所捕捉的音频以确定所述在本地环境中说话的人的位置。
25.如权利要求21所述的方法，其中，从所述本地环境捕捉音频由所述头戴式显示器的麦克风执行。
26.如权利要求21所述的方法，其中，从所述本地环境捕捉音频由与所述头戴式显示器分开的麦克风执行。
27.如权利要求21所述的方法，还包括：
捕捉所述本地环境的图像，并且分析所捕捉的图像以检测所述在本地环境中说话的人。
28.如权利要求27所述的方法，其中，分析所捕捉的图像包含将图像辨识应用于所捕捉的图像以确定所述在本地环境中说话的人的身份。
29.如权利要求28所述的方法，其中，所述通知包含所述在本地环境中说话的人的身份。
30.如权利要求27所述的方法，其中，分析所捕捉的图像被配置为确定所述在本地环境中说话的人的位置。
31.如权利要求27所述的方法，其中，捕捉所述本地环境的图像由所述头戴式显示器的摄像机执行。
32.如权利要求27所述的方法，其中，捕捉所述本地环境的图像由与所述头戴式显示器分开的外部摄像机执行。
33.如权利要求21的方法，
其中，暂停所述视频游戏的游戏过程包含识别游戏过程方面的强度，并且在进入暂停状态之前逐渐降低所述游戏过程方面的强度。
34.如权利要求33所述的方法，还包括，
接收信号以恢复所述视频游戏的游戏过程；
响应于接收到恢复游戏过程的所述信号，将所述游戏过程从所述暂停状态转变到活动状态；
其中，将所述游戏过程从所述暂停状态转变到活动状态包含逐渐增加所述游戏过程方面的强度。
35.如权利要求34所述的方法，其中，将所述游戏过程从所述暂停状态转变到活动状态包含识别比所述游戏过程暂停时的第二游戏过程时间点更早的第一游戏过程时间点，并且从所述第一游戏过程时间点启动从所述暂停状态到活动状态的转变。
36.一种方法，包括：
通过头戴式显示器呈现视频游戏的游戏过程，所述头戴式显示器设置在本地环境中；
捕捉所述本地环境的图像，并分析所捕捉的图像以检测在本地环境中说话的人；
响应于检测到所述在本地环境中说话的人，通过所述头戴式显示器呈现通知，所述通知提供暂停所述视频游戏的游戏过程的选项；
响应于接收到指示所述选项的选择的命令，暂停所述视频游戏的游戏过程；
捕捉所述本地环境的图像并分析所捕捉的图像以检测在本地环境中说话的人。
37.如权利要求36所述的方法，其中，分析所捕捉的图像包含将图像辨识应用于所捕捉的图像以确定所述在本地环境中说话的人的身份。
38.如权利要求37所述的方法，其中，所述通知包含所述在本地环境中说话的人的身份。
39.如权利要求36所述的方法，其中，分析所捕捉的图像被配置为确定所述在本地环境中说话的人的位置。
40.如权利要求36所述的方法，其中，捕捉所述本地环境的图像由所述头戴式显示器的摄像机执行。
41.如权利要求36所述的方法，其中，捕捉所述本地环境的图像由与所述头戴式显示器分开的外部摄像机执行。
CN201910482344.3A 2013-06-07 2014-06-06 在头戴式显示器上转变游戏过程 Active CN110227258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910482344.3A CN110227258B (zh) 2013-06-07 2014-06-06 在头戴式显示器上转变游戏过程

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361832762P 2013-06-07 2013-06-07
US61/832,762 2013-06-07
US14/231,609 2014-03-31
US14/231,609 US9878235B2 (en) 2013-06-07 2014-03-31 Transitioning gameplay on a head-mounted display
PCT/US2014/041422 WO2014197873A2 (en) 2013-06-07 2014-06-06 Transitioning gameplay on a head-mounted display
CN201480039341.8A CN105377383B (zh) 2013-06-07 2014-06-06 在头戴式显示器上转变游戏过程
CN201910482344.3A CN110227258B (zh) 2013-06-07 2014-06-06 在头戴式显示器上转变游戏过程

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480039341.8A Division CN105377383B (zh) 2013-06-07 2014-06-06 在头戴式显示器上转变游戏过程

Publications (2)

Publication Number Publication Date
CN110227258A true CN110227258A (zh) 2019-09-13
CN110227258B CN110227258B (zh) 2023-04-07

Family

ID=52005892

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910482344.3A Active CN110227258B (zh) 2013-06-07 2014-06-06 在头戴式显示器上转变游戏过程
CN201480039341.8A Active CN105377383B (zh) 2013-06-07 2014-06-06 在头戴式显示器上转变游戏过程

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480039341.8A Active CN105377383B (zh) 2013-06-07 2014-06-06 在头戴式显示器上转变游戏过程

Country Status (5)

Country Link
US (3) US9878235B2 (zh)
EP (2) EP3003515B1 (zh)
JP (2) JP6266101B2 (zh)
CN (2) CN110227258B (zh)
WO (1) WO2014197873A2 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9555337B2 (en) * 2013-09-16 2017-01-31 Disney Enterprises, Inc. Method for tracking physical play objects by virtual players in online environments
US9987554B2 (en) 2014-03-14 2018-06-05 Sony Interactive Entertainment Inc. Gaming device with volumetric sensing
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9792757B2 (en) * 2014-09-16 2017-10-17 Igt Canada Solutions Ulc 3D enhanced gaming machine with selectable 3D intensity level
EP4236299A3 (en) 2015-02-27 2023-09-06 Sony Interactive Entertainment Inc. Display control program, dislay control device, and display control method
JP6693718B2 (ja) * 2015-02-27 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
KR20170051013A (ko) * 2015-11-02 2017-05-11 엘지전자 주식회사 테더링 형 hmd 및 그 hmd의 제어 방법
WO2017090298A1 (ja) * 2015-11-26 2017-06-01 株式会社コロプラ 仮想空間内オブジェクトへの動作指示方法、及びプログラム
JP6209252B1 (ja) * 2016-07-11 2017-10-04 株式会社コロプラ 仮想空間内のキャラクタを動作させる方法、当該方法をコンピュータに実行させるためのプログラム及びコンピュータ装置
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
CN105469004A (zh) * 2015-12-31 2016-04-06 上海小蚁科技有限公司 一种显示装置和显示方法
US10477006B2 (en) * 2016-01-22 2019-11-12 Htc Corporation Method, virtual reality system, and computer-readable recording medium for real-world interaction in virtual reality environment
KR20180101496A (ko) * 2016-02-18 2018-09-12 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
JP5996138B1 (ja) * 2016-03-18 2016-09-21 株式会社コロプラ ゲームプログラム、方法およびゲームシステム
CN105929949A (zh) * 2016-04-15 2016-09-07 北京小鸟看看科技有限公司 一种虚拟现实系统开机效果呈现方法和装置
KR101687174B1 (ko) * 2016-04-29 2016-12-16 주식회사 조이펀 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
US10471353B2 (en) * 2016-06-30 2019-11-12 Sony Interactive Entertainment America Llc Using HMD camera touch button to render images of a user captured during game play
US10521879B2 (en) * 2016-07-05 2019-12-31 Ubitus, Inc. Overlaying multi-source media in VRAM
US10332296B2 (en) * 2016-07-05 2019-06-25 Ubitus Inc. Overlaying multi-source media in VRAM
JP6216851B1 (ja) * 2016-09-12 2017-10-18 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018534529A (ja) * 2016-09-13 2018-11-22 ベーグル ラボズ カンパニー リミテッド 長さ測定装置およびその制御方法
US10055028B2 (en) * 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
US10705703B2 (en) * 2017-01-11 2020-07-07 Universal Entertainment Corporation Controlling electronic devices by operating head mounted display
US10482749B2 (en) * 2017-01-11 2019-11-19 Universal Entertainment Corporation Controlling electronic device alerts by operating head mounted display
JP6840548B2 (ja) * 2017-01-20 2021-03-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびゲーム画音生成方法
EP3367215B1 (en) * 2017-02-27 2019-09-18 LG Electronics Inc. Electronic device for providing virtual reality content
US10512846B2 (en) 2017-03-07 2019-12-24 Sony Interactive Entertainment LLC Emulating player behavior after player departure
US10946280B2 (en) * 2017-03-08 2021-03-16 Sony Interactive Entertainment LLC In-game reactions to interruptions
US10405374B2 (en) * 2017-03-17 2019-09-03 Google Llc Antenna system for head mounted display device
JP6714280B2 (ja) * 2017-03-28 2020-06-24 株式会社ノーニューフォークスタジオ 情報処理システム、情報処理方法、情報処理プログラム
TWI669657B (zh) 2017-05-17 2019-08-21 宏碁股份有限公司 具自適性控制之主機、頭戴式顯示裝置、攜帶式裝置、虛擬實境系統及其控制方法
JP6321263B1 (ja) * 2017-05-19 2018-05-09 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
WO2018227505A1 (en) * 2017-06-15 2018-12-20 Tencent Technology (Shenzhen) Company Limited System and method of connecting two different environments using hub
EP3639114B1 (en) 2017-06-15 2024-03-06 Tencent Technology (Shenzhen) Company Limited System and method of instantly previewing immersive content
DE102017211527A1 (de) * 2017-07-06 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Brille zur Darstellung einer virtuellen Realität (VR-Brille)
JP6603291B2 (ja) * 2017-10-30 2019-11-06 株式会社カプコン ゲームプログラムおよびゲームシステム
US10841533B2 (en) * 2018-03-23 2020-11-17 Raja Singh Tuli Telepresence system with virtual reality
CN108465242A (zh) * 2018-03-31 2018-08-31 丁超 网络游戏处理方法、装置及计算机存储介质
JP7278850B2 (ja) * 2018-05-04 2023-05-22 株式会社ユビタス ビデオランダムアクセスメモリにおけるマルチソースメディアをオーバーレイするシステム及び方法
CN112347273A (zh) * 2020-11-05 2021-02-09 北京字节跳动网络技术有限公司 音频播放方法、装置、电子设备及存储介质
EP4256391A1 (en) * 2020-12-07 2023-10-11 Snap Inc. Augmented reality spatial audio experience
JPWO2022244052A1 (zh) * 2021-05-17 2022-11-24
JP7216940B2 (ja) * 2021-06-02 2023-02-02 株式会社Ｎｔｔコノキュー 通信システム、通信方法及び通信プログラム
CN113900609B (zh) * 2021-09-24 2023-09-29 当趣网络科技(杭州)有限公司 大屏终端交互方法、大屏终端及计算机可读存储介质
CN114708866A (zh) * 2022-02-24 2022-07-05 潍坊歌尔电子有限公司 头戴显示设备的控制方法、装置、头戴显示设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001274918A (ja) * 2000-01-17 2001-10-05 Canon Inc テレビゲーム装置、テレビ制御装置、制御装置、テレビゲーム装置の着信通知方法、プログラムおよび記憶媒体
US20020103649A1 (en) * 2001-01-31 2002-08-01 International Business Machines Corporation Wearable display system with indicators of speakers
JP2003018076A (ja) * 2001-07-03 2003-01-17 Sanyo Electric Co Ltd 無線端末機
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2007256915A (ja) * 2006-02-22 2007-10-04 Konica Minolta Holdings Inc 映像表示装置、及び映像表示方法
CN101595504A (zh) * 2006-11-09 2009-12-02 索尼计算机娱乐美国公司 用于交互式内容的广告方案
US20120050141A1 (en) * 2010-08-25 2012-03-01 Border John N Switchable head-mounted display
JP2012165066A (ja) * 2011-02-03 2012-08-30 Junichi Okubo 外部音報知装置
CN102682571A (zh) * 2011-01-28 2012-09-19 索尼公司 信息处理装置、报警方法和程序
WO2013052855A2 (en) * 2011-10-07 2013-04-11 Google Inc. Wearable computer with nearby object response

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3506544B2 (ja) * 1994-09-12 2004-03-15 任天堂株式会社 画像表示装置および画像表示システム
JP3618488B2 (ja) * 1996-09-19 2005-02-09 株式会社ナムコ アトラクションゲームシステム
JP3712478B2 (ja) * 1996-09-30 2005-11-02 株式会社ナムコ ゲーム装置及びゲーム装置の制御方法
JP3731781B2 (ja) * 1997-07-26 2006-01-05 株式会社ナムコ ゲーム装置および該ゲーム装置に係るプログラムを記憶した記憶媒体
JP3442270B2 (ja) * 1997-11-25 2003-09-02 株式会社ナムコ 画像生成装置及び情報記憶媒体
JP2000339490A (ja) * 1999-05-28 2000-12-08 Mitsubishi Electric Corp Ｖｒ酔い低減方法
JP2001038049A (ja) * 1999-07-30 2001-02-13 Sega Corp ゲーム装置
JP2002306838A (ja) * 2001-04-18 2002-10-22 Sony Computer Entertainment Inc 情報表示方法、情報表示処理プログラムを情報処理装置に実行させる媒体、プログラム実行装置、情報表示処理プログラム
JP4314900B2 (ja) * 2003-06-25 2009-08-19 ソニー株式会社 生体情報適応制御装置、生体情報適応制御方法、プログラム、記録媒体
JP2008011940A (ja) * 2006-07-03 2008-01-24 Sony Computer Entertainment Inc ゲーム制御プログラム、ゲーム制御方法、及びゲーム装置
JP5030595B2 (ja) 2007-01-09 2012-09-19 スカラ株式会社 ヘッドマウントディスプレイ
WO2008149172A1 (en) * 2007-06-07 2008-12-11 Panagiotis Pavlopoulos An eyewear comprising at least one display device
JP2009247578A (ja) * 2008-04-04 2009-10-29 Namco Bandai Games Inc プログラム、情報記憶媒体、ゲーム装置及び移動玩具
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
GB2501768A (en) * 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Head mounted display
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001274918A (ja) * 2000-01-17 2001-10-05 Canon Inc テレビゲーム装置、テレビ制御装置、制御装置、テレビゲーム装置の着信通知方法、プログラムおよび記憶媒体
US20020103649A1 (en) * 2001-01-31 2002-08-01 International Business Machines Corporation Wearable display system with indicators of speakers
JP2003018076A (ja) * 2001-07-03 2003-01-17 Sanyo Electric Co Ltd 無線端末機
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2007256915A (ja) * 2006-02-22 2007-10-04 Konica Minolta Holdings Inc 映像表示装置、及び映像表示方法
CN101595504A (zh) * 2006-11-09 2009-12-02 索尼计算机娱乐美国公司 用于交互式内容的广告方案
US20120050141A1 (en) * 2010-08-25 2012-03-01 Border John N Switchable head-mounted display
CN102682571A (zh) * 2011-01-28 2012-09-19 索尼公司 信息处理装置、报警方法和程序
JP2012165066A (ja) * 2011-02-03 2012-08-30 Junichi Okubo 外部音報知装置
WO2013052855A2 (en) * 2011-10-07 2013-04-11 Google Inc. Wearable computer with nearby object response

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
耿建民等: "《教育技术实验指导书》", 30 September 2006 *

Also Published As

Publication number Publication date
WO2014197873A2 (en) 2014-12-11
JP6266101B2 (ja) 2018-01-24
JP2016525917A (ja) 2016-09-01
JP2018029968A (ja) 2018-03-01
US9878235B2 (en) 2018-01-30
EP3228371B1 (en) 2019-03-20
EP3003515B1 (en) 2019-08-07
US20180147483A1 (en) 2018-05-31
US10286299B2 (en) 2019-05-14
JP6616361B2 (ja) 2019-12-04
CN105377383B (zh) 2019-06-28
CN105377383A (zh) 2016-03-02
EP3228371A1 (en) 2017-10-11
US20140364197A1 (en) 2014-12-11
WO2014197873A3 (en) 2015-01-29
US20190314719A1 (en) 2019-10-17
US10870049B2 (en) 2020-12-22
EP3003515A2 (en) 2016-04-13
CN110227258B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN105377383B (zh) 在头戴式显示器上转变游戏过程
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
US10636217B2 (en) Integration of tracked facial features for VR users in virtual reality environments
US10617956B2 (en) Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
CN105358227B (zh) 分享三维游戏过程
JP6663505B2 (ja) Ｖｒ環境における観客ビュー視点
JP6679747B2 (ja) 仮想現実（ｖｒ）ユーザインタラクティブ性に関連付けられた仮想現実環境の観戦
JP6408634B2 (ja) 頭部装着ディスプレイ
CN107427722B (zh) 晕动病监测和补充声音对抗晕动病的应用
CN105573486B (zh) 具有与移动计算设备介接的接口的头戴式设备(hmd)系统
CN107735152A (zh) 用于虚拟现实(vr)观看的扩展视野重新渲染
CN109069934A (zh) 对虚拟现实环境(vr)中的vr用户的观众视图跟踪
CN110536726A (zh) Vr环境的第二屏幕虚拟窗口
US11826651B2 (en) Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
CN110270088A (zh) 异步虚拟现实交互
US11995233B2 (en) Biometric feedback captured during viewing of displayed content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant