JP2018029968A - ヘッドマウンテッドディスプレイ上でのゲームプレイの移行 - Google Patents

ヘッドマウンテッドディスプレイ上でのゲームプレイの移行 Download PDF

Info

Publication number
JP2018029968A
JP2018029968A JP2017165796A JP2017165796A JP2018029968A JP 2018029968 A JP2018029968 A JP 2018029968A JP 2017165796 A JP2017165796 A JP 2017165796A JP 2017165796 A JP2017165796 A JP 2017165796A JP 2018029968 A JP2018029968 A JP 2018029968A
Authority
JP
Japan
Prior art keywords
game play
game
video
transitioning
strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017165796A
Other languages
English (en)
Other versions
JP6616361B2 (ja
Inventor
オスマン、スティーヴン
Osman Steven
マオ、シャドン
Xiadong Mao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Publication of JP2018029968A publication Critical patent/JP2018029968A/ja
Application granted granted Critical
Publication of JP6616361B2 publication Critical patent/JP6616361B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • A63F13/49Saving the game status; Pausing or ending the game
    • A63F13/493Resuming a game, e.g. after pausing, malfunction or power failure
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • A63F13/49Saving the game status; Pausing or ending the game
    • A63F13/497Partially or entirely replaying previous game actions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5258Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M19/00Current supply arrangements for telephone systems
    • H04M19/02Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Abstract

【課題】ゲームプレイを移行する方法を提供する。【解決手段】方法は、ヘッドマウンテッドディスプレイ上に提示されているビデオゲームのゲームプレイを中断する信号を受信することと、信号の受信に応答して、ゲームプレイをアクティブ状態から一時停止状態に移行することと、を含み、ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、一時停止状態に入る前にゲームプレイの側面の強度を漸進的に低下させることと、を含む。【選択図】図1

Description

本発明は、ヘッドマウンテッドディスプレイ上でゲームプレイを移行する方法及びシステムに関する。
ビデオゲーム業界では、ここ何年かの間に多くの変化があった。演算能力の拡大に応じて、ビデオゲーム開発者は、その演算能力の向上を利用するゲームソフトウェアを作成してきた。この目的のために、ビデオゲーム開発者は、非常にリアルなゲーム体験を生み出す高度な操作及び数学を組み込んだゲームをコーディングしてきた。
ゲームプラットフォームの例は、ソニープレイステーション(登録商標)、ソニープレイステーション2(登録商標)(PS2)、及び、ソニープレイステーション3(登録商標)(PS3)であってよく、それらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールは、モニタ(通常は、テレビ)に接続して、ハンドヘルドコントローラを介してユーザインタラクションが可能なように設計されている。ゲームコンソールは、CPU、インテンシブなグラフィック操作を処理するためのグラフィックスシンセサイザ、ジオメトリ変換を行うベクトルユニット、及び、他のグルーハードウェアを含む専用処理ハードウェア、ファームウェア、並びに、ソフトウェアで設計される。ゲームコンソールは、ゲームコンソールを介してローカルでプレイするためにゲームコンパクトディスクを受け入れる光ディスクトレイを有するように、さらに設計される。オンラインゲームも可能であり、オンラインゲームでは、ユーザは、インターネット経由でインタラクティブに、他のユーザと対戦したり、他のユーザと共にプレイしたりできる。ゲームの複雑さがプレイヤーの興味を引き付け続けるので、ゲームやハードウェアの製造者は、追加の双方向性及びコンピュータプログラムが可能になるように革新し続けてきた。
コンピュータゲーム業界において増えている傾向は、ユーザとゲームシステムのインタラクションを増加させるゲームの開発である。より豊かな双方向体験を達成する1つの方法は、プレイヤーの動きを追跡し、その動きをゲームへの入力として用いるために、無線ゲームコントローラを使用して、ゲームコントローラの動きをゲームシステムが追跡することである。一般的に言うと、ジェスチャ入力は、プレイヤーが行い、電子デバイスが捕捉したジェスチャに、コンピュータシステム、ビデオゲームコンソール、スマート装置等の電子デバイスを反応させることを指す。
より没入型の双方向体験を達成する別の方法は、ヘッドマウンテッドディスプレイの使用である。ヘッドマウンテッドディスプレイは、ユーザが着用して、仮想空間のビュー等の様々なグラフィックスを提示するように構成することができる。ヘッドマウンテッドディスプレイ上に提示されたグラフィクスは、ユーザの視界の大部分または全てをカバーすることができる。よって、ヘッドマウンテッドディスプレイは、視覚的に没入型の体験をユーザに提供することができる。
同業界で増えている別の傾向は、クラウドベースのゲームシステムの開発を伴う。このようなシステムは遠隔処理サーバを含んでよく、遠隔処理サーバは、ゲームアプリケーションを実行し、ローカルシンクライアントと通信する。ローカルシンクライアントは、ユーザからの入力を受信し、ディスプレイにビデオをレンダリングするように構成することができる。
この文脈で発明の実施形態を記載する。
本発明の実施形態は、ビデオゲームのゲームプレイを移行する方法及びシステムを提供する。本発明は、コンピュータ可読媒体上でプロセス、装置、システム、デバイス、または、方法等の多くの手段で実施することができることは、理解されよう。本発明の幾つかの実施形態を以下に記載する。
一実施形態において、ゲームプレイを移行する方法を提供する。方法は、ヘッドマウンテッドディスプレイ上に提示されているビデオゲームのゲームプレイを中断する信号を受信することと、信号を受信したことに応答して、ゲームプレイをアクティブ状態から一時停止状態に移行することと、を含む。ゲームプレイの移行は、ゲームプレイの側面の強度を識別することと、一時停止状態に入る前に、ゲームプレイの側面の強度を漸進的に低下させることと、を含む。
一実施形態においては、ゲームプレイの側面の強度は、仮想要素の速度によって規定され、ゲームプレイの側面の強度を漸進的に低下させることは、仮想要素の速度を漸進的に低下させることを含む。
一実施形態においては、仮想空間における仮想要素の位置が、ヘッドマウンテッドディスプレイに提示される仮想空間のビューを規定し、仮想空間のビューは、仮想要素の速度に従って変化する。
一実施形態においては、ゲームプレイの側面の強度は、ヘッドマウンテッドディスプレイに提示される仮想要素の密度によって規定され、ゲームプレイの側面の強度を漸進的に低下させることは、ヘッドマウンテッドディスプレイに提示される仮想要素の密度を漸進的に低下させることを含む。
一実施形態においては、ゲームプレイの側面の強度は、ヘッドマウンテッドディスプレイに提示されるグラフィックスの複雑さによって規定され、ゲームプレイの側面の強度を漸進的に低下させることは、ヘッドマウンテッドディスプレイ上に提示されるグラフィックスを漸進的に単純にすることを含む。
一実施形態においては、方法は、ビデオゲームのゲームプレイを再開する信号を受信することと、ゲームプレイを再開する信号を受信したことに応答して、ゲームプレイを一時停止状態からアクティブ状態に移行することと、をさらに含み、ゲームプレイを一時停止状態からアクティブ状態に移行することは、ゲームプレイの側面の強度を漸進的に増加させることを含む。
一実施形態においては、ゲームプレイを一時停止状態からアクティブ状態に移行することは、ゲームプレイを一時停止したゲームプレイ時点以前のゲームプレイ時点を識別することと、一時停止状態からアクティブ状態への移行を当該以前のゲームプレイ時点から開始することと、を含む。
別の実施形態においては、ゲームプレイを移行するプログラム命令を具体化させる非一時的コンピュータ可読媒体を提供する。プログラム命令は、ビデオヘッドマウンテッドディスプレイに提示されているビデオゲームのゲームプレイを中断する信号を受信するプログラム命令と、信号を受信したことに応答して、ゲームプレイをアクティブ状態から一時停止状態に移行するプログラム命令と、を含み、ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、一時停止状態に入る前に、ゲームプレイの側面の強度を漸進的に低下させることと、を含む。
別の実施形態においては、ゲームプレイを移行するロジックを有する少なくとも1つのコンピュータ装置を備えるシステムを提供する。ロジックは、ヘッドマウンテッドディスプレイに提示されているビデオゲームのゲームプレイを中断する信号を受信するロジックと、信号を受信したことに応答して、ゲームプレイをアクティブ状態から一時停止状態に移行するロジックと、を含み、ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、一時停止状態に入る前に、ゲームプレイの側面の強度を漸進的に低下させることと、を含む。
発明の他の態様は、例を挙げて発明の原理を示す以下の詳細な記載を添付図面と共に、読むと明らかとなろう。
発明は、添付図面と共に以下の記載を参照することによってよく理解されよう。
発明の実施形態に係る、ビデオゲームの双方向ゲームプレイのシステムを示す図である。
発明の実施形態に係る、ヘッドマウンテッドディスプレイ(HMD)を示す図である。
発明の実施形態に係る、実行中のビデオゲームに関連してHMDの機能を概念的に示す図である。
発明の実施形態に係る、モバイルデバイスとペアリング設定のなされたヘッドマウンテッドディスプレイを装着しているユーザを示す図である。
発明の実施形態に係る、ユーザのゲームプレイを中断し得るオブジェクトを有する双方向環境を示す図である。
発明の実施形態に係る、HMDに提示されたビデオゲームのビューを示す図である。
発明の実施形態に係る、HMDに提示されたビデオゲームのビューを示す図である。
発明の実施形態に係る、HMDに提示されたビデオゲームのビューを示す図である。
発明の実施形態に係る、HMDに提示されたビデオゲームのビューを示す図である。
発明の実施形態に係る、ゲームプレイの最大許容強度を時間の推移と共に示すグラフである。
発明の実施形態に係る、2人の異なるユーザに関連付けられた最大強度を表す2つの曲線を示す図である。
発明の実施形態に係る、ゲームプレイタイムラインに対する強度を示すグラフである。
発明の実施形態に係る、ヘッドマウンテッドディスプレイのコンポーネントを示す図である。
発明の様々な実施形態に係る、ゲームシステムのブロック図である。
以下の実施形態は、ヘッドマウンテッドディスプレイ上でゲームプレイを移行する方法と装置を記載する。
しかしながら、これらの具体的な詳細の一部または全てを用いずに、本発明を実施してよいことは当業者には明らかである。他の例においては、周知のプロセスの動作については、本発明を不必要に曖昧にしないために、詳細には記載しなかった。
図1は、発明の実施形態に係る、ビデオゲームの双方向ゲームプレイのシステムを示す。ヘッドマウンテッドディスプレイ(HMD)102を装着しているユーザ100が示されている。HMD102は、眼鏡、ゴーグル、または、ヘルメットと同じように装着され、ビデオゲームまたは他のコンテンツをユーザ100に表示するように構成される。HMD102は、ユーザの眼のごく近くにディスプレイ機構を設けることによって、高度に没入型の体験をユーザに提供する。従って、HMD102は、ユーザの各眼に、ユーザの視界の大部分または全体を占める表示領域を提供することができる。
一実施形態においては、HMD102は、コンピュータ106に接続することができる。コンピュータ106への接続は、有線であっても無線であってもよい。コンピュータ106は、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイス等を含むが、それらに限られない、当分野で既知の任意の汎用または専用コンピュータであってよい。一実施形態においては、コンピュータ106は、ビデオゲームを実行し、HMD102でレンダリングするために、ビデオゲームからビデオ及び音声を出力するように構成することができる。
ユーザ100は、コントローラ104を操作して、ビデオゲームに入力を行ってよい。さらに、カメラ108は、ユーザ100がいる双方向環境の画像を撮影するように構成することができる。これらの撮影した画像を分析して、ユーザ100、HMD102、及び、コントローラ104の位置と動きを決定することができる。一実施形態においては、コントローラ104はライトを備え、そのライトを追跡してコントローラ104の位置と向きを決定することができる。さらに、以下に詳細に記載するように、HMD102は、1つまたは複数のライトを備えてよく、そのライトを追跡してHMD102の位置と向きを決定することができる。カメラ108は、1つまたは複数のマイクロフォンを備えて、双方向環境からの音を捕捉することができる。マイクロフォンアレイが捕捉した音を処理して、音源の位置を識別してよい。識別された位置からの音を選択的に利用または処理して、識別した位置以外の他の音を除くことができる。さらに、カメラ108は、複数の撮像装置(例えば、ステレオペアカメラ)、IRカメラ、デプスカメラ、及び、それらの組み合わせを含むように規定することができる。
別の実施形態においては、コンピュータ106は、クラウドゲームプロバイダ112とネットワークを介して通信するシンクライアントとして機能する。クラウドゲームプロバイダ112は、ユーザ102がプレイしているビデオゲームを維持、実行する。コンピュータ106は、HMD102、コントローラ104、及び、カメラ108からの入力を、クラウドゲームプロバイダに送信し、クラウドゲームプロバイダは、その入力を処理して、実行中のビデオゲームのゲーム状態に影響を与える。ビデオデータ、オーディオデータ、及び、触覚フィードバックデータ等の実行中のビデオゲームからの出力は、コンピュータ106に送信される。コンピュータ106は、送信前にデータをさらに処理してもよく、または、データを関連する装置に直接送信してもよい。例えば、ビデオストリーム及びオーディオストリームは、HMD102に提供され、振動フィードバックコマンドは、コントローラ104に提供される。
一実施形態においては、HMD102、コントローラ104、及び、カメラ108は、それ自体、ネットワーク110に接続してクラウドゲームプロバイダ112と通信するネットワーク化された装置であってよい。例えば、コンピュータ106は、そうでなければ、ビデオゲーム処理を行わず、通路ネットワークトラフィックを促進するルータ等のローカルネットワーク装置であってよい。HMD102、コントローラ104、及び、カメラ108のネットワークへの接続は、有線であっても無線であってもよい。
図2は、発明の実施形態に係る、ヘッドマウンテッドディスプレイ(HMD)を示す。図に示すように、HMD102は、複数のライト200A〜200Hを備える。これらのライトはそれぞれ、特定の形を有するように構成されてよく、同じまたは異なる色を有するように構成することができる。ライト200A、200B、200C、200Dは、HMD102の前面に配置される。ライト200E、200Fは、HMD102の側面に配置される。ライト200G、200Hは、HMD102の前面と側面に及ぶように、HMD102のコーナーに配置される。ライトは、ユーザがHMD102を使用する双方向環境を撮影した画像で識別できることは、理解されよう。ライトの識別及び追跡に基づいて、双方向環境におけるHMD102の位置と向きを決定することができる。それらのライトの一部は、撮像装置に対するHMD102の個々の向きに応じて、見える場合もあり、見えない場合もあることもさらに理解されよう。また、異なる部分のライト(例えば、ライト200G、200H)が、撮像装置に対するHMD102の向きに応じて、撮像のために露出されてよい。
一実施形態においては、ライトは、近くにいる他者に対してHMDの現在の状態を示すように構成することができる。例えば、ライトの一部または全ては、一定の配色、強度の組み合わせを有するように構成されてよく、点滅、一定のオン/オフ構成、または、HMD102の現在の状況を示す他の組み合わせを有するように構成されてよい。例を挙げると、ライトは、ビデオゲームのゲームプレイがアクティブな間(一般的に、ゲームプレイがアクティブタイムライン中またはゲームシーン内で行われている)と、メニューインタフェースのナビゲートまたはゲーム設定の構成等のビデオゲームの他の非アクティブなゲームプレイ態様(この間、ゲームのタイムラインまたはシーンは非アクティブまたは一時停止)とは、異なる構成を表示するように構成することができる。ライトは、ゲームプレイの相対強度レベルを示すように構成されてもよい。例えば、ゲームプレイの強度が増加すると、ライトの強度、または、点滅速度が増加してよい。こうすると、ユーザの外部の人は、HMD102のライトを見て、ユーザが、積極的に強度の強いゲームプレイに没頭しており、今は邪魔されたくないであろうことを理解し得る。
HMD102は、さらに、1つまたは複数のマイクロフォンを備えてよい。図示の実施形態においては、HMD102は、HMD102の前面に規定されたマイクロフォン204A、204Bと、HMD102の側面に規定されたマイクロフォン204Cとを備える。マイクロフォンアレイを利用することによって、各マイクロフォンからの音を処理して、音源の位置を決定することができる。この情報は、不要な音源を除くこと、音源を視覚的識別と関連付けることを含む、様々な方法で利用することができる。
HMD102は、また、1つまたは複数の撮像装置も含んでよい。図示の実施形態においては、撮像装置202A、202Bを備えるHMD102が示されている。ステレオペアの撮像装置を利用することによって、環境の三次元(3D)の画像及びビデオをHMD102の視点から撮影することができる。HMD102を装着したユーザにこのようなビデオを提示して、ユーザに「ビデオシースルー」能力を提供することができる。すなわち、ユーザは、厳密な意味では、HMD102を通して見ることはできないが、撮像装置202A、202Bが撮影したビデオは、HMD102を通して見るかのようにHMD102の外部の環境を見ることができるのと同等の機能を提供することができる。このようなビデオは、仮想要素を用いて拡張されて、拡張現実体験を提供することができる、または、他の方法においては、仮想要素と結合または融合させてもよい。図示の実施形態においては、2つのカメラは、HMD102の前面に示されているが、任意の数の外向きのカメラをHMD102上に任意の向きで設置してよいことは理解されよう。例えば、別の実施形態においては、環境の追加のパノラマ画像を撮影するためにHMD102の側面に搭載されたカメラがあってよい。
図3は、発明の実施形態に係る、実行中のビデオゲームに関連してHMD102の機能を概念的に示す図である。実行中のビデオゲームは、入力を受信してビデオゲームのゲーム状態を更新するゲームエンジン320によって規定される。ビデオゲームのゲーム状態は、オブジェクトの存在及び位置、仮想環境の条件、イベントのトリガ、ユーザプロフィール、ビューの遠近等の、現在のゲームプレイの様々な側面を規定するビデオゲームの様々なパラメータの値によって少なくとも部分的に規定することができる。
図示の実施形態においては、ゲームエンジンは、例として、コントローラ入力314、オーディオ入力316、及び、動作入力318を受信する。コントローラ入力314は、コントローラ104等の、HMD102とは別個のゲームコントローラの操作から規定されてよい。例として、コントローラ入力314は、方向入力、ボタンの押し下げ、トリガ起動、動き、または、ゲームコントローラの操作から処理される他の種類の入力を含んでよい。オーディオ入力316は、HMD102のマイクロフォン302、または、撮像装置108に含まれるマイクロフォンから処理できる。動作入力218は、HMD102に含まれる動作センサ300、または、撮像装置108がHMD102の画像を撮影すると撮像装置108から処理できる。ゲームエンジン320は、入力を受信し、入力は、ゲームエンジンの構成に従って処理されて、ビデオゲームのゲーム状態を更新する。ゲームエンジン320は、ゲーム状態データを様々なレンダリングモジュールに出力し、レンダリングモジュールは、ゲーム状態データを処理して、ユーザに提示するコンテンツを規定する。
図示の実施形態においては、ビデオレンダリングモジュール322は、HMD102に提示するためのビデオストリームをレンダリングすると規定される。ビデオストリームは、ディスプレイ/プロジェクタ機構310によって提示され、ユーザの眼306によってオプティクス308を介して見られてよい。オーディオレンダリングモジュール304は、ユーザが聞くために、オーディオストリームをレンダリングするように構成される。一実施形態においては、オーディオストリームは、HMD102に関連付けられたスピーカ304を介して出力される。スピーカ304は、オープンエアスピーカ、ヘッドフォーン、または、音声を出すことができる任意の他の種類のスピーカの形をとってよいことは、理解されたい。
一実施形態においては、視線追跡カメラ312が、ユーザの視線を追跡できるようにHMD102に備えられている。視線追跡カメラは、ユーザの眼の画像を撮影し、その画像は分析されて、ユーザの視線方向が決定される。一実施形態においては、ユーザの視線方向に関する情報を利用して、ビデオレンダリングに影響を与えることができる。例えば、ユーザの眼が特定の方向を見ていると決定されると、ユーザが見ている領域をより詳細に提供またはより速く更新することによって、その方向のビデオレンダリングを優先または強調することができる。
さらに、触覚フィードバックモジュール326は、HMD102またはコントローラ104等、ユーザが操作する別の装置に備えられた触覚フィードバックハードウェアに信号を供給するように構成される。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバック等、様々な種類の触感の形態をとってよい。
図4は、発明の実施形態に係る、モバイルデバイスとペアリング設定をなされているヘッドマウンテッドディスプレイを装着したユーザを示す。図示の実施形態においては、モバイルデバイス400は携帯電話であってよいが、他の実施形態においては、モバイルデバイスは、他の装置とペアリングし得る任意の他の種類のポータブルデバイスであってよい。さらに、モバイルデバイスは、HMD102と直接、ペアリングされてもよく、または、ビデオデータ及び/またはオーディオデータを提示のためにHMD102に通信するコンピュータ106等のコンピュータとペアリングされてもよい。具体的な構成に関わらず、モバイルデバイス400をペアリングする結果、モバイルデバイス400の特徴(電話の呼び出しの送信及び受信、連絡先の閲覧、音声入力/命令の提供等)にHMD102からアクセスできるようになる。
参照番号410において、モバイルデバイス400が着信を受けた時、HMD102がユーザ100に提供するビューが示されている。図に示すように、着信を示すメッセージがユーザのゲームプレイが規定される仮想シーン上に重ね合わせられて、ユーザに提示される。一実施形態においては、ユーザは、コントローラ104の特定のボタンを押すことによって、着信に応答するか拒絶するかを示してよい。別の実施形態においては、HMD102は、同様の方法で利用できる1つまたは複数のボタンを含む。ユーザが着信に応答すると、参照番号412に示すように、ビデオシースルー部分414をHMD102が提供するビュー内に示す。ビデオシースルー部分414は、HMD102の外部に向いているカメラからのビデオフィードを仮想環境の既存の表示に組み合わせることによって提供される。さらに、ビデオゲームは、ユーザ100が着信に応答すると、一時停止されてよい。
図示の実施形態においては、表示されたビューの下部はビデオフィードを提示し、表示されたビューの上部は、仮想環境を示したままである。しかしながら、他の実施形態においては、ビデオシースルー部分は、ビュー全体を含む表示されたビューの任意の領域または向きで構成することができる。ビデオシースルーは、任意の他のコンテンツを入れないで示すことができる。または、別の実施形態においては、ビデオシースルーは、仮想空間の既存のビューと組み合わせることができる。一実施形態においては、仮想空間のビューを部分的に透明にする、または、明度を低下させ、ビデオシースルーを仮想空間ビューの少なくとも一部に重ね合わせる、または、組み合せる。電話が終わると、参照番号416に示すように、ビデオシースルー部分は取り除かれて、仮想空間ビューを回復する。
ビデオシースルー部分414を提供することによって、ユーザは、モバイルデバイス400を見ることができる。これによって、ユーザ100は、HMD102を取り外すことなしに、モバイルデバイス400に与えられた機能にアクセスすることができる。例として、ユーザ100は、音量の調節、呼び出し音を消音にする、モバイルデバイスの他のアプリケーションにアクセスする等の、モバイルデバイスの機能にアクセスしたい場合がある。本実施形態は着信電話に関連して記載するが、類似の概念は、モバイルデバイスを介した他の種類の通信に対しても考えられる。例えば、テキストメッセージ、電子メール、または、他のアラートの受信が、HMD102が提供するビューへのメッセージの表示をトリガして、ユーザにその通信を知らせてよい。そして、その通信の受領、または、ユーザ100の肯定的な応答を示すものに応えて、頭からHMD102を取り外す必要なく、ユーザ100がモバイルデバイスを見て、その機能にアクセスするように、ビデオシースルーを提供してよい。
図5は、発明の実施形態に係る、ユーザのゲームプレイを中断し得るオブジェクトを有する双方向環境を示す。例えば、ユーザ100がHMD102に表示されたビデオゲームのゲームプレイを行っている時、人500が、ユーザ100の近くで話す場合がある。一実施形態においては、ユーザ100は、話している人500の存在を知らされてよい。人500の位置は、HMD102及び/または撮像装置108によって捕捉されたオーディオデータ及び/または画像データを利用して、音源位置特定及び/または画像認識に基づいて識別することができる。一実施形態においては、音声認識技術または画像認識技術を利用して、人500が誰であるかを決定することができる。ユーザが、話している人500の存在を知らされる時、ビデオシースルーモードが起動され、HMD102上に少なくとも部分的に表示されて、HMD102を取り外すことなく、ユーザ100は人500を見ることができる。
図5には、テーブル502も示されている。一実施形態においては、ユーザ100は、テーブル502等のオブジェクトに近づきすぎて、ぶつかる危険がある場合、警告を受けることができる。アラートは、HMD102を介してユーザに表示することができ、ビデオシースルーモードを起動させて、ユーザ100は、テーブル502等の自分の近くにある外部のオブジェクトを見ることができる。ユーザ100のローカル環境にあるオブジェクトは、HMD102または別個の撮像装置108によって撮影された画像の画像分析に基づいてマッピングすることができる。環境の複数のビューを処理して、ユーザの近くのオブジェクトの三次元マッピングを規定することができる。さらに、HMD102及び/または撮像装置108は、ローカル環境の奥行情報を捕捉するデプスカメラを備えることができる。奥行情報は、ユーザの近くのオブジェクトの上記三次元マッピングの規定を支援して、分析することができる。
ヘッドマウンテッドディスプレイは、1つには、ユーザの視界の全てではなくても大部分を含む表示を提供することができるので、高度に没入型の体験を提供することができる。従って、ユーザは、ユーザ自身が実際に動いていなくても、見ているものによって、動き、加速、方向転換、及び、他の種類の物理特性の感覚を体験することができる。ヘッドマウンテッドディスプレイは、高度に没入型の体験をユーザに提供することができるので、(おそらく、高レベルの動きまたはオブジェクトの高密度によって特徴付けられる)高強度のシーンの視聴から、停止したシーン(ゲームの一時停止時等)または、全く異なるシーンの視聴に突然移行することによって、ユーザの方向感覚を失わせる可能性がある。以下の図において、高強度から低強度にゲームプレイを移行させて、移行によって生じるユーザの方向感覚喪失を最小限にするようにビデオゲームのゲームプレイの強度を漸進的に低下させる幾つかの実施例を提供する。
図6Aは、HMDに提示された、キャラクタが走っているビデオゲームシーンのビューを示す。キャラクタは走っているので、(仮想視点によって画定される)表示されるシーンは、キャラクタに従って移動し、ビューはHMDを通して見ているユーザにこの移動の感覚を提供する。しかしながら、別の人が、ユーザの近くで話しているのが識別された。誰かが話していることを示すメッセージが示され、ゲームプレイを一時停止するオプションが提示される。ユーザがゲームプレイを一時停止することを選ぶ場合、図6Bに示すようにキャラクタの動きは、漸進的にゆっくりになって、停止する。
一実施形態においては、ビデオシースルー部分は、他の人が位置する方向からユーザのビュー内に開かれる。前述のように、他の人の位置は、音の位置特定と画像分析/認識に基づいて決定することができる。図6Cに示すように、ビデオシースルー部分は、話している他者が現れるように、ビューの右側から開かれる。
図7Aは、発明の実施形態に係る、HMDを通して提示されるビデオゲームのビューを示す。図7Aに示すビューにおいて、ユーザは、バスケットボールゲームをしていて、得点したところである。例として、ユーザがバスケットボールショットのクリップをソーシャルネットワーク上で共有するためのオプションを提示する。しかしながら、バスケットボールビデオゲームのゲームプレイは、多くのプレイヤーがバスケットボールコートで同時に動いており、ゲーム強度が高くなり得る。従って、ユーザが示唆されたように前のショットの共有を選択すると、ゲームプレイの強度を漸進的に低下させる。例としては、バスケットボールゲームの文脈においては、プレイヤーの動きを止めてよい、または、プレイヤーをシーンから取り除いてよく、そうして、視覚的な要素を単純化してよい、または、シーンから取り除いてもよい。図7Bに示すように、プレイヤーは、動きを止め、プレイヤーの1人や床のマーク等、一定の視覚的要素がシーンから取り除かれている。このようにして、シーンを単純化して、ゲームプレイから離れる方に移行する前にゲームの強度を低下させる。
ゲームプレイの強度が低下した後、図7Cに示すように、共有するバスケットボールショットのビデオクリップの開始点と終了点を選択するためのインタフェースが提示される。
図8A、8B、8Cは、発明の実施形態に係る、カーレースゲームのビューを示す。図8Aにおいて、ユーザは、ビデオゲームの文脈で、高速度で車を運転している。ゲームから離れる方に移行する前に、図8Bに示すように、車の速度を落とす。そして、図8Cに示すように、車は止まる。従って、シーンの表示が取り除かれる前に、または、ユーザがHMDで別のシーンを見る前に、車は停車状態になる。
図9A、9B、9Cは、発明の実施形態に係る、仮想シーンのビューを示す。図9Aにおいて、オブジェクト(例えば、木々)の密度が高い丘陵のシーンが示されている。このシーンから移行する前に、図9Bに示すように、シーン内のオブジェクトの密度を低下させ、シーンの提示を単純にする。さらに、地形の丘陵性を低下させる。図9Cで、全てのオブジェクトがシーンから取り除かれ、地形はさらに単純化されてほぼ平坦な地形になっている。このように、ユーザに提示されるグラフィックスは、仮想シーンから移行する前に単純化されている。
上記実施例で示すように、ゲームのゲームプレイ強度を低下させることは、ビデオゲームの様々な側面に関連付けることができる。上記実施形態は、オブジェクトの速度や密度等の側面に関して一般的に記載した。しかしながら、ゲームプレイの全体的な強度に寄与するゲームプレイの他の側面は、移行時、同様に漸進的な方法で低下させることができると考えている。例えば、速度の変化(加速度)、密度の変化、音(例えば、密度、音量、一定の周波数範囲の振幅、経時的なばらつき)、色(例えば、彩度、明度)、コントラスト、明るさ、透明度、グラフィクスの複雑さ等の側面は、一時停止状態または他の動作状態に移る前に、全て、調整して、ビデオゲームの強度を低下させることができる。
HMD上に提供される没入型体験からの突然の移行は、方向感覚を失わせる場合があるので、没入型体験への突然の移行でも同様の事が起こり得る。よって、ゲームプレイの強度は、アクティブなゲームプレイを開始する時、漸進的に強くすることができる。
図10は、本発明の実施形態に係る、ゲームプレイの最大許容強度を時間の経過と共に示すグラフである。時刻t0で、ゲームプレイを開始し、ゲームプレイの最大許容強度は漸進的に高められ、時刻t1で規定された上限に達する。従って、ユーザが体験する実際のゲームプレイ強度は、ユーザのゲームプレイの具体的な性質に応じて、この期間中、漸進的に増加してよい。一実施形態においては、ユーザの側で、最大許容強度未満のゲームプレイ強度になるゲームプレイアクションは、許可されてよく、最大許容強度を超えるゲームプレイ強度になるゲームプレイアクションは、その時刻に対して規定された最大許容強度に制限、または、下方制御される。別の実施形態においては、ゲームプレイアクションの結果として生じるゲームプレイ強度は、その時刻に対して規定された最大許容強度に適合するようにスケーリングされる。ゲームプレイ強度を最大許容強度に適合するようにスケーリングすることによって、線形のスケーリング関係または何らかの他の非線形スケーリング関係を規定することができることは理解されたい。この点に関して、一実施形態においては、最大許容強度は、倍率をゲームプレイアクションから生じるゲームプレイ強度に適用することによって規定される。
幾つかの数値例の説明は、上記関係を示すのに役立つ。例えば、ゲームプレイアクティビティの結果、1〜10の範囲の数値を有するゲームプレイ強度となり、最大許容強度が5の場合、一実施形態においては、1〜5の範囲のゲームプレイ強度は許可されるが、5〜10の範囲のゲームプレイ強度は、最大許容強度、すなわち、5に調整される。別の実施形態においては、0.5のスカラー因子を全てのゲームプレイ強度に適用して、1〜10のゲームプレイ強度範囲を1〜5の範囲に有効に低下させ、そうすることによって最大許容強度も規定する。上記数値例は、単に例として提供したことは理解されたい。様々な実施形態において、スカラー因子は、ゲームプレイの何らかの側面の有効なゲームプレイ強度を規定するように、ゼロから1の範囲であってよい、または、パーセンテージで表されてよく、0%〜100%の範囲であってよい。スカラー因子は、ユーザの体験レベル等の様々な因子に応じて、上方または下方に調整できることは、理解されよう。
図10を引き続き参照すると、最大許容強度の上限は、時刻t1から時刻t2まで維持され、時刻t2で、ゲームプレイの中断が生じ、ゲームプレイを一時停止するコマンドが受信される。この時点で、ゲームプレイの一時停止状態に入る前に、最大許容強度は漸進的に低下させられ、時刻t3でゼロになる。これは、ゲームプレイの実際の強度をゼロに低下させる効果がある。例としては、時刻t3とt4の間、ビデオゲームは、一時停止状態にあってよい。時刻t4で、ゲームプレイは再開され、最大許容強度も再び増加させる。時刻t5で、最大強度レベルは、再び、上限に達する。
所与のビデオゲームの文脈に適用して、ゲームプレイの強度または最大許容強度を漸進的に増加または低下させることによって、ユーザが体験する様々な効果を生じることができる。例えば、ユーザは、動作入力等の所与の入力、または、ジョイスティックやボタンの作動等のコントローラ入力の感度が徐々に増加または低下するのを体験し得る。あるいは、加速度、減速度、速度、または、方向の変化の感覚を生じる、HMDを介してユーザに提供されるビューの変化は、漸進的に増減してよく、その結果、これらの感覚も対応して増減する。
経時的に規定された最大許容強度は、上記のように、ユーザに対する最大強度包絡線を規定する。上記の最大強度包絡線の提供によって、ユーザは、ゲームプレイの強度及び没入型性質に徐々に及び漸進的に慣れることができることを理解されたい。これは、アクティブなゲームプレイに移行したり、アクティブなゲームプレイから移行するときに、ユーザが方向感覚喪失、めまい等の不快な感覚を避ける助けになる。
一実施形態においては、ゲームプレイ強度は、アクティブなゲームプレイの前または最中に、ユーザが手動で調整することができる。ゲームプレイ強度の調整は、ユーザからの対応するコマンドに応答して、増減することができるユーザが調整可能な設定によって規定することができる。ボタン、音声コマンド、ジェスチャ等を含む、設定を調整する任意の種類のコマンドインタフェースを採用することができることは理解されよう。さらに、ユーザが調整可能な設定は、上記最大許容強度及び倍率等のゲームプレイ強度のプロパティ、または、ゲームプレイ全体の強度をユーザのために有効に増減可能なゲームプレイ強度の他のプロパティ、のパラメータによって規定することができる。
ゲームプレイ強度は、ゲームの文脈に従ってゲームによって規定することができ、かつ、ゲームプレイの様々な側面の任意の側面に影響を与えるようにさらに規定されてよいことは、理解されよう。さらに、ゲームの異なる部分の間、ゲームプレイ強度は、ゲームの当該異なる部分の間に関連のある異なる側面によって規定することができる。例えば、一実施形態においては、強度は、ゲームのキャラクタ(例えば、ユーザのキャラクタ、敵のキャラクタ、ボスキャラクタ等)が加えた、または、受けたダメージの量として規定してよい。従って、ユーザがゲームプレイに移行またはゲームプレイから移行すると、ユーザのキャラクタは、別のキャラクタにダメージを与え、別のキャラクタからダメージを受けてよいが、与えた/受けたダメージの量は、移行中、低下させてよい。こうすると、ユーザのキャラクタは、戦いの途中で一時停止状態に移行したり、一時停止状態から移行する時、あまりにも急に死ぬことはない。
ゲームプレイ強度は、ゲームプレイの様々な調整可能な側面の任意の側面によって規定されてよく、これらの側面には、与えるダメージの量、攻撃または武器の強さ、利用するエネルギーまたはリソースの量、消耗する健康の量、難しさのレベル、アクションの頻度、アクションの有効性等を含むが、これらに限定されないことは理解されたい。ゲームプレイ強度への変化によって影響されるゲームプレイの具体的な側面は、所与のゲーム、及び、ゲームプレイ強度を変化させた時点で行われているゲームプレイアクティビティに文脈的に固有であってよい。
図11は、発明の実施形態に係る、2人の異なるユーザに関連付けられた最大強度の2つの曲線を示す。曲線1100は、経験豊富なユーザの最大強度レベルを示し、曲線1102は、経験の少ないユーザの最大強度レベルを示す。図から分かるように、経験豊富なユーザの最大強度レベルは、経験の少ないユーザの最大強度レベルより、速く漸進的に増加し、低下する。これは、経験豊富なユーザは、ゲームプレイの高い強度と低い強度との間のより速い移行により良く対処できるという事実を反映している。さらに、図示の実施形態においては、経験豊富なユーザの曲線1100は、曲線1102の上限より高くなっている。しかしながら、別の実施形態においては、経験の少ないユーザに関連付けられた曲線1102は、より徐々にではあるが、同じ上限に達してよい。
一実施形態においては、様々なユーザは、関連するユーザプロフィールを有してよい。ユーザプロフィールは、アクティブなゲームプレイに移行、及び、アクティブなゲームプレイから移行する時、ユーザがゲームプレイの強度を増減してよい速度と、ゲームプレイ強度の上限と、を規定する。上記のように、これらのパラメータは、ゲームプレイの強度に適用されるスカラー因子によって規定することができる。一実施形態においては、ユーザがビデオゲームシステムにログインすると、ユーザのプロフィールにアクセスして、ユーザに提示されるゲームプレイ強度を規定する。さらに、プロフィールは、ユーザの体験、及び、ユーザ定義の設定に基づいてよいことに留意する。ユーザの経験は、ユーザがビデオゲームをする、またはHMDを使用する、のに費やした時間量、及び、このようなゲームプレイがどれくらい最近であるかに基づいてよい。一実施形態においては、アクティブなゲームプレイに費やした時間量が増えるほど、ユーザがゲームプレイ強度を変化(増加または低下)させてよい速度は増加する。一実施形態においては、この速度は、ユーザの前回のゲームプレイセッション以降の時間量が一定の閾値を超える場合、低下するように構成されてよい。さらに、閾値時間を超えると、前回のセッション以降の時間が増加するほど、速度は、さらに低下してよい。このように、しばらくの間、アクティブなゲームプレイを行わなかったユーザは、前回のセッション中と同じ速度の強度変化は受けなくてよく、ゲームプレイの強度により徐々に慣れることが認められる。
図12は、本発明の実施形態に係る、ゲームプレイのタイムラインに対する強度を示すグラフである。ゲームプレイのタイムラインに亘るユーザのゲームプレイ強度を示す。ユーザのゲームプレイ強度は、曲線1200に従って低下し、ゲームプレイのタイムラインに沿って参照番号1204で停止する。しかしながら、ゲームプレイを再開すると、ゲームプレイは、参照番号1206で示す、ゲームプレイタイムラインの以前の時点から開始される。このように、ユーザがアクティブなゲームプレイの再開を決めると、ユーザがビデオゲームのゲームプレイに再度入るための文脈が与えられる。
本明細書に記載の様々な実施形態は、ヘッドマウンテッドディスプレイデバイスに提示されるビデオゲームに関して記載した。しかしながら、他の実施形態に従って、このように記載した原理及び方法も、他の種類のインタラクティブアプリケーションの文脈、並びに、テレビ及びインタラクティブアプリケーションを提示可能な他の種類のディスプレイを含むがそれに限定されない他の種類の装置への提示の文脈にも適用してよいことは、理解されよう。
図13を参照すると、本発明の実施形態に係る、ヘッドマウンテッドディスプレイ102のコンポーネントを表す図が示されている。ヘッドマウンテッドディスプレイ102は、プログラム命令を実行するプロセッサ1300を備える。メモリ1302が記憶のために提供され、メモリ1302は、揮発性及び不揮発性のメモリの両方を含んでよい。ユーザが見ることが可能な視覚的インタフェースを提供するディスプレイ1304を備える。バッテリ1306が、ヘッドマウンテッドディスプレイ102の電源として備えられる。動作検出モジュール1308は、磁力計1310、加速度計1312、及び、ジャイロスコープ1314等の様々な種類の動作検知ハードウェアのうちの任意のハードウェアを備えてよい。
加速度計は、加速度と、重力によって引き起こされた反力を測定する装置である。1つまたは複数の軸モデルが、異なる方向の加速度の大きさ及び方向の検出に利用できる。加速度計を用いて、傾き、振動、及び、衝撃を感知する。一実施形態においては、3つの加速度計1312を用いて、2つの角度(ワールド空間のピッチ角とワールド空間のロール角)に絶対参照を与える重力の方向を提供する。
磁力計は、ヘッドマウンテッドディスプレイの近くの磁場の強さと方向を測定する。一実施形態においては、3つの磁力計1310をヘッドマウンテッドディスプレイ内で用いて、ワールド空間のヨー角に対する絶対参照を確保する。一実施形態においては、磁力計は、±80マイクロテスラである地球の磁場に及ぶように設計される。磁力計は、金属の影響を受け、実際のヨーに対して単調なヨー測定を提供する。磁場は、環境に金属があるとゆがむ可能性があり、ヨー測定でゆがみをもたらす。必要に応じて、このゆがみは、ジャイロスコープまたはカメラ等の他のセンサからの情報を用いて較正することができる。一実施形態においては、加速度計1312を磁力計1310と共に用いて、ヘッドマウンテッドディスプレイ102の傾きと方位角を取得する。
ジャイロスコープは、角運動量の原理に基づいて、向きを測定または維持する装置である。一実施形態においては、3つのジャイロスコープ1314が、慣性感知に基づいて、各軸(x、y、z)に関する動きの情報を提供する。ジャイロスコープは、速い回転の検出を支援する。しかしながら、ジャイロスコープは、絶対参照が存在しなければ、時間と共にドリフトし得る。これは、ジャイロスコープの周期的なリセットを必要とし、リセットは、オブジェクトの視覚的追跡、加速度計、磁力計等に基づいた位置/向きの決定等、他の入手可能な情報を用いて行うことができる。
カメラ1316が、実環境の画像及び画像ストリームを撮影するために備えられている。後ろ向き(ユーザがヘッドマウンテッドディスプレイ102の表示を見ている時、ユーザから離れる方向)のカメラと、前向き(ユーザがヘッドマウンテッドディスプレイ102の表示を見ている時、ユーザの方に向かう方向)のカメラを含む複数のカメラをヘッドマウンテッドディスプレイ102に備えてよい。さらに、デプスカメラ1318が、実環境のオブジェクトの奥行情報を感知するためにヘッドマウンテッドディスプレイ102に備えられてよい。
ヘッドマウンテッドディスプレイ102は、音声出力を行うスピーカ1320を備える。また、実環境から、周囲環境の音、ユーザの発話等を含む、音声を捕捉するためにマイクロフォン1322を備えてよい。ヘッドマウンテッドディスプレイ102は、触覚フィードバックをユーザに提供する触覚フィードバックモジュール1324を備える。一実施形態においては、触覚フィードバックモジュール1324は、触覚フィードバックをユーザに提供するように、ヘッドマウンテッドディスプレイ102の動き、及び/または、振動を引き起こすことができる。
LED1326は、ヘッドマウンテッドディスプレイ102の状態を視覚的に示すものとして備えられている。例えば、LEDは、バッテリレベル、電源オン等を示してよい。カードリーダ1328は、ヘッドマウンテッドディスプレイ102がメモリーカードから情報を読み取ったり、メモリーカードに情報を書き込んだりできるように備えられている。USBインタフェース1330は、周辺装置の接続、または、他のポータブルデバイス、コンピュータ等の他の装置への接続を可能にするインタフェースの一例として、備えられている。ヘッドマウンテッドディスプレイ102の様々な実施形態において、様々な種類のインタフェースのうちの任意のインタフェースをヘッドマウンテッドディスプレイ102の接続性を向上させるために、備えてよい。
WiFi(登録商標)モジュール1332は、無線ネットワーク技術を介してインターネットへの接続を可能にするために備えられる。また、ヘッドマウンテッドディスプレイ102は、他の装置への無線接続を可能にするブルートゥース(登録商標)モジュール1334を備える。通信リンク1336が、他の装置への接続のために含まれてもよい。一実施形態においては、通信リンク1336は、無線通信のために赤外線伝送を利用する。他の実施形態においては、通信リンク1336は、他の装置との通信のために、様々な無線または有線の送信プロトコルのうちの任意のプロトコルを利用してよい。
入力ボタン/センサ1338は、入力インタフェースをユーザに提供するために備えられている。ボタン、タッチパッド、ジョイスティック、トラックボール等の様々な種類の入力インタフェースの任意のインタフェースを備えてよい。超音波技術を介した他の装置との通信を容易にするために、超音波通信モジュール1340をヘッドマウンテッドディスプレイ102に備えてよい。
バイオセンサ1342が、ユーザから生理学的データの検出を可能にするために備えられている。一実施形態においては、バイオセンサ1342は、ユーザの皮膚を通してユーザの生体電気信号を検出するために1つまたは複数のドライ電極を備える。
ヘッドマウンテッドディスプレイ102の上記コンポーネントは、ヘッドマウンテッドディスプレイ102に備えられてよい単に例示のコンポーネントとして記載した。本発明の様々な実施形態において、ヘッドマウンテッドディスプレイ102は、様々な上記コンポーネントの一部を備えてもよく、備えなくてもよい。ヘッドマウンテッドディスプレイ102の実施形態は、本明細書に記載の本発明の態様を容易にするために、ここに記載していないが当分野では既知の他コンポーネントをさらに備えてよい。
発明の様々な実施形態において、上記ハンドヘルドデバイスは、様々なインタラクティブ機能を提供するためにディスプレイに表示されたインタラクティブアプリケーションと共に利用されてよいことを、当業者は理解されよう。本明細書に記載の例示の実施形態は、例として記載しており、制限のために記載しているのではない。
図14は、本発明の様々な実施形態に係る、ゲームシステム1400のブロック図である。ゲームシステム1400は、ネットワーク1415を介してビデオストリームを1つまたは複数のクライアント1410に提供するように構成される。ゲームシステム1400は、ビデオサーバシステム1420と、オプションのゲームサーバ1425とを典型的に備える。ビデオサーバシステム1420は、最小限の品質のサービスで、ビデオストリームを1つまたは複数のクライアント1410に提供するように構成されている。例えば、ビデオサーバシステム1420は、ビデオゲーム内のビューの状態または視点を変えるゲームコマンドを受信し、この状態の変化を反映した更新済みビデオストリームを最小の時間の遅れでクライアント1410に提供してよい。ビデオサーバシステム1420は、今後定義されるフォーマットを含む、多種多様の代替ビデオフォーマットのビデオストリームを提供するように構成されてよい。さらに、ビデオストリームは、多種多様なフレームレートでユーザに提示されるように構成されたビデオフレームを含んでよい。典型的なフレームレートは、毎秒30フレーム、毎秒60フレーム、及び、毎秒1420フレームであるが、より高いまたはより低いフレームレートが発明の代替実施形態に含まれる。
ここでは、それぞれ、1410A、1410B等として呼ばれるクライアント1410は、ヘッドマウンテッドディスプレイ、ターミナル、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線装置、デジタルパッド、スタンドアロンデバイス、ハンドヘルドゲームプレイデバイス等を含んでよい。典型的には、クライアント1410は、符号化されたビデオストリームを受信し、そのビデオストリームを復号し、結果として生じるビデオをユーザ、例えば、ゲームのプレイヤーに提示するように構成される。符号化されたビデオストリームの受信、及び/または、そのビデオストリームの復号のプロセスは、典型的には、クライアントの受信バッファに個々のビデオフレームを記憶することを含む。ビデオストリームは、クライアント1410に一体化されたディスプレイ上で、または、モニタまたはテレビ等の別個の装置上でユーザに提示されてよい。クライアント1410は、オプションで、複数のゲームプレイヤーをサポートするように構成される。例えば、ゲームコンソールは、2人、3人、4人、または、それ以上のプレイヤーを同時にサポートするように構成されてよい。これらのプレイヤーはそれぞれ、別個のビデオストリームを受信してよい、または、単一のビデオストリームは、特に各プレイヤー用に生成されたフレームの領域、例えば、各プレイヤーの視線に基づいて生成されたフレームの領域を備えてよい。クライアント1410は、オプションで、地理的に分散している。ゲームシステム1400に含まれるクライアントの数は、1または2、何千、何万、それ以上まで大きく異なってよい。本明細書では、「ゲームプレイヤー」という語は、ゲームをする人を指し、「ゲームプレイデバイス」という語は、ゲームをするのに用いるデバイスを指す。一部の実施形態においては、ゲームプレイデバイスは、ゲーム体験をユーザに与えるために協働する複数のコンピュータ装置を指してよい。例えば、ゲームコンソールとHMDは、HMDを通して見るゲームを配信するビデオサーバシステム1420と協働してよい。一実施形態においては、ゲームコンソールは、ビデオサーバシステム1420からビデオストリームを受信する、そして、ゲームコンソールは、ビデオストリームまたはビデオストリームへの更新をレンダリングのためにHMDに転送する。
クライアント1410は、ネットワーク1415を介してビデオストリームを受信するように構成される。ネットワーク1415は、電話網、インターネット、無線ネットワーク、パワーラインネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、プライベートネットワーク等を含む、任意の種類の通信ネットワークであってよい。典型的な実施形態においては、ビデオストリームは、TCP/IPまたはUDP/IP等の標準プロトコルを介して通信される。あるいは、ビデオストリームは、プロプリエタリ規格を介して通信される。
クライアント1410の典型的な例は、プロセッサ、不揮発メモリ、ディスプレイ、復号ロジック、ネットワーク通信能力、及び、入力装置を備える、パーソナルコンピュータである。復号ロジックは、ハードウェア、ファームウェア、及び/または、コンピュータ可読媒体に記憶されたソフトウェアを含んでよい。ビデオストリームを復号(及び符号化)するためのシステムは、当分野で周知であり、使用される具体的な符号化スキームに応じて変わる。
クライアント1410は、受信したビデオを修正するように構成されたシステムをさらに備えることを必要とはされないが、備えてよい。例えば、クライアントは、1つのビデオ画像を別のビデオ画像に重ね合わせる、ビデオ画像をトリミングする等、のために、さらなるレンダリングを行うように構成されてよい。例えば、クライアント1410は、Iフレーム、Pフレーム、及び、Bフレーム等の様々な種類のビデオフレームを受信し、これらのフレームを処理してユーザに表示する画像にするように構成されてよい。一部の実施形態においては、クライアント1410のメンバーは、レンダリング、シェーディング、3Dへの変換等のさらなる操作をビデオストリームに対して行うよう構成される。クライアント1410のメンバーは、オプションで、複数のオーディオストリームまたはビデオストリームを受信するように構成される。クライアント1410の入力装置は、例えば、片手ゲームコントローラ、両手ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、動作及び/または位置検出装置、マウス、タッチスクリーン、神経インタフェース、カメラ、今後開発される入力装置等を含んでよい。
クライアント1410が受信するビデオストリーム(及び、オプションで、オーディオストリーム)は、ビデオサーバシステム1420によって生成、提供される。本明細書の他の箇所でさらに記載するように、このビデオストリームは、ビデオフレームを含み(そして、オーディオストリームはオーディオフレームを含む)。ビデオフレームは、ユーザに表示される画像に有意義に寄与するように構成される(例えば、ビデオフレームは、適切なデータ構造で画素情報を含む)。本明細書では、「ビデオフレーム」という語は、ユーザに示される画像に寄与、例えば、影響を与えるように構成される情報を大部分に含むフレームを指す。「ビデオフレーム」に関する本明細書の教示の大部分は、「オーディオフレーム」にも適用できる。
クライアント1410は、典型的に、ユーザから入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変更、そうでなければ、ゲームプレイに影響を与えるように構成されるゲームコマンドを含んでよい。ゲームコマンドは、入力装置を用いて受信することができる、及び/または、クライアント1410上で実行されるコンピュータ命令によって自動的に生成されてもよい。受信されたゲームコマンドは、クライアント1410からネットワーク1415を介して、ビデオサーバシステム1420及び/またはゲームサーバ1425に通信される。例えば、一部の実施形態においては、ゲームコマンドは、ビデオサーバシステム1420を介してゲームサーバ1425に通信される。一部の実施形態においては、ゲームコマンドの別個のコピーは、クライアント1410からゲームサーバ1425及びビデオサーバシステム1420に通信される。ゲームコマンドの通信は、オプションで、コマンドIDに依存する。ゲームコマンドは、オプションで、オーディオストリームまたはビデオストリームをクライアント1410Aに提供するのに使用されるのと異なるルートまたは通信チャネルを介してクライアント1410Aから通信される。
ゲームサーバ1425は、オプションで、ビデオサーバシステム1420とは異なるエンティティによって運営される。例えば、ゲームサーバ1425は、マルチプレイヤーゲームのパブリッシャーによって運営されてよい。この実施例においては、ビデオサーバシステム1420は、オプションで、ゲームサーバ1425から見るとクライアントであり、オプションで、ゲームサーバ1425の視点からは、先行技術のゲームエンジンを実行する先行技術のクライアントに見えるように構成される。ビデオサーバシステム1420とゲームサーバ1425間の通信は、オプションで、ネットワーク1415を介して行われる。従って、ゲームサーバ1425は、ゲーム状態情報を複数のクライアントに送る先行技術のマルチプレイヤーゲームサーバであってよく、その複数のクライアントの1つは、ゲームサーバシステム1420である。ビデオサーバシステム1420は、ゲームサーバ1425の複数のインスタンスと同時に通信するように構成されてよい。例えば、ビデオサーバシステム1420は、複数の異なるビデオゲームを異なるユーザに提供するように構成することができる。これらの異なるビデオゲームのそれぞれは、異なるゲームサーバ1425によってサポートされてよく、及び/または、異なるエンティティがパブリッシュしてよい。一部の実施形態においては、ビデオサーバシステム1420の幾つかの地理的に分散したインスタンスが、複数の異なるユーザにゲームビデオを提供するように構成される。ビデオサーバシステム1420のこれらのインスタンスのそれぞれは、ゲームサーバ1425の同じインスタンスと通信してよい。ビデオサーバシステム1420と1つまたは複数のゲームサーバ1425との間の通信は、オプションで、専用通信チャネルを介して生じる。例えば、ビデオサーバシステム1420は、これらの2つのシステム間の通信に専用の高帯域チャネルを介してゲームサーバ1425に接続されてよい。
ビデオサーバシステム1420は、少なくともビデオソース1430、I/O装置1445、プロセッサ1450、及び、非一時的ストレージ1455を備える。ビデオサーバシステム1420は、1つのコンピュータ装置を含んでよい、または、複数のコンピュータ装置に分散されてよい。これらのコンピュータ装置は、オプションで、ローカルエリアネットワーク等の通信システムを介して接続される。
ビデオソース1430は、ビデオストリーム、例えば、ストリーミングビデオ、または、動画を形成する一連のビデオフレームを提供するように構成される。一部の実施形態においては、ビデオソース1430は、ビデオゲームエンジン及びレンダリングロジックを備える。ビデオゲームエンジンは、プレイヤーからゲームコマンドを受信し、受信したコマンドに基づいてビデオゲームの状態のコピーを維持するように構成される。このゲーム状態は、ゲーム環境内のオブジェクトの位置と、典型的には視点を含む。ゲーム状態は、オブジェクトのプロパティ、画像、色、及び/または、テクスチャも含んでよい。ゲーム状態は、典型的には、ゲーム規則と、移動(move)、回転(turn)、攻撃(attack)、〜にフォーカス設定(set focus to)、インタラクト(interact)、使用(use)等のゲームコマンドと、に基づいて維持されてよい。ゲームエンジンの一部は、オプションで、ゲームサーバ1425内に置かれる。ゲームサーバ1425は、地理的に分散したクライアントを用いて、複数のプレイヤーから受信したゲームコマンドに基づいて、ゲームの状態のコピーを維持してよい。これらの場合、ゲーム状態は、ゲームサーバ1425によってビデオソース1430に提供され、そこで、ゲーム状態のコピーが記憶され、レンダリングが行われる。ゲームサーバ1425は、クライアント1410からネットワーク1415を介して直接ゲームコマンドを受信してよく、及び/または、ビデオサーバシステム1420を介してゲームコマンドを受信してよい。
ビデオソース1430は、典型的には、レンダリングロジック、例えば、ハードウェア、ファームウェア、及び/または、ストレージ1455等のコンピュータ可読媒体に記憶されたソフトウェアを備える。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作成するように構成される。レンダリングロジックの全てまたは一部は、オプションで、グラフィックスプロセッシングユニット(GPU)内に配置される。レンダリングロジックは、典型的には、ゲーム状態及び視点に基づいて、オブジェクト間の三次元空間関係を決定するために、及び/または、適切なテクスチャ等を適用するために、構成された処理段階を含む。レンダリングロジックは、未加工のビデオを生成し、通常、それらは、クライアント1410に通信する前に符号化される。例えば、未加工のビデオは、Adobe Flash(登録商標)規格、.wav、H.264、H.263、On2、VP6、VC−1、WMA、Huffyuv、Lagarith、MPG−x.Xvid.FFmpeg、x264、VP6−8、リアルビデオ、mp3等に従って、符号化してよい。符号化プロセスによって、遠隔装置上のデコーダに送るためにオプションでパッケージ化されるビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。任意の他のフレームサイズを使用してよいが、典型的なフレームサイズは、800x600、1280x720(例えば、720p)、1024x768を含む。フレームレートは、秒あたりのビデオフレームの数である。ビデオストリームは、異なる種類のビデオフレームを含んでよい。例えば、H.264規格は、「P」フレームと「I」フレームを含む。Iフレームは、表示装置上の全てのマクロブロック/画素をリフレッシュする情報を含み、Pフレームは、そのサブセットをリフレッシュする情報を含む。Pフレームは、典型的に、Iフレームよりデータサイズが小さい。本明細書においては、「フレームサイズ」という語はフレーム内の画素数を指し、「フレームデータサイズ」という語は、フレームを記憶するのに必要なバイト数を指す。
代替実施形態においては、ビデオソース1430は、カメラ等のビデオ記録装置を備える。このカメラを用いて、コンピュータゲームのビデオストリームに含むことができる遅延ビデオまたはライブビデオを生成してよい。結果として生じるビデオストリームは、オプションで、レンダリングされた画像と、静止カメラまたはビデオカメラを用いて記録された画像の両方を含む。ビデオソース1430は、ビデオストリームに含むために以前記録したビデオを記憶するように構成された記憶装置も備えてよい。ビデオソース1430は、オブジェクト、例えば、人、の動作や位置を検出するように構成された動作または位置検出装置と、検出された動作及び/または位置に基づいて、ゲーム状態を決定、または、ビデオを生成するように構成されたロジックも備えてよい。
ビデオソース1430は、オプションで、他のビデオ上に配置するように構成されたオーバーレイを提供するように構成される。例えば、これらのオーバーレイは、コマンドインタフェース、ログイン命令、ゲームプレイヤーへのメッセージ、他のゲームプレイヤーの画像、他のゲームプレイヤーのビデオフィード(例えば、ウェブカムビデオ)を含んでよい。タッチスクリーンインタフェースまたは視線検出インタフェースを備えるクライアント1410Aの実施形態においては、オーバーレイは、仮想のキーボード、ジョイスティック、タッチパッド等を含んでよい。オーバーレイの一実施例においては、プレイヤーの音声がオーディオストリーム上に重ねられる。ビデオソース1430は、オプションで、1つまたは複数のオーディオソースをさらに含む。
ビデオサーバシステム1420が複数のプレイヤーからの入力に基づいてゲーム状態を維持するように構成される実施形態においては、各プレイヤーは、ビューの位置及び方向を含む異なる視点を有してよい。ビデオソース1430は、オプションで、各プレイヤーに、各プレイヤーの視点に基づいて別個のビデオストリームを提供するように構成される。さらに、ビデオソース1430は、異なるフレームサイズ、フレームデータサイズ、及び/または、符号化を各クライアント1410に提供するように構成されてよい。ビデオソース1430は、オプションで、3Dビデオを提供するように構成される。
I/O装置1445は、ビデオ、コマンド、情報のリクエスト、ゲーム状態、視線情報、装置の動き、装置の位置、ユーザの動作、クライアントID、プレイヤーID、ゲームコマンド、セキュリティ情報、音声等の情報をビデオサーバシステム1420が送信及び/または受信するように構成される。I/O装置1445は、典型的には、ネットワークカードまたはモデム等の通信ハードウェアを備える。I/O装置1445は、ゲームサーバ1425、ネットワーク1415、及び/または、クライアント1410と通信するように構成される。
プロセッサ1450は、本明細書に記載のビデオサーバシステム1420の様々なコンポーネント内に含まれるロジック、例えば、ソフトウェア、を実行するように構成される。例えば、プロセッサ1450は、ビデオソース1430、ゲームサーバ1425、及び/または、クライアントクオリファイア(Client Qualifier)1460の機能を行うために、ソフトウェア命令でプログラムされてよい。ビデオサーバシステム1420は、オプションで、プロセッサ1450の複数のインスタンスを含む。プロセッサ1450も、ビデオサーバシステム1420が受信したコマンドを実行するために、または、本明細書に記載のゲームシステム1400の様々な要素の動作を調整するために、ソフトウェア命令でプログラムされてよい。プロセッサ1450は、1つまたは複数のハードウェア装置を備えてよい。プロセッサ1450は電子プロセッサである。
ストレージ1455は、非一時的なアナログ及び/またはデジタル記憶装置を含む。例えば、ストレージ1455は、ビデオフレームを記憶するように構成されたアナログ記憶装置を含んでよい。ストレージ1455は、コンピュータ可読デジタルストレージ、例えば、ハードドライブ、光学式ドライブ、または、半導体ストレージを含んでよい。ストレージ1415は、(例えば、適切なデータ構造またはファイルシステムによって)ビデオフレーム、疑似フレーム、ビデオフレーム及び疑似フレームの両方を含むビデオストリーム、オーディオフレーム、オーディオストリーム等を記憶するように構成される。ストレージ1455は、オプションで、複数の装置に分散される。一部の実施形態においては、ストレージ1455は、本明細書の他の箇所に記載のビデオソース1430のソフトウェアコンポーネントを記憶するように構成される。これらのコンポーネントは、必要時にすぐに供給できるフォーマットで記憶されてよい。
ビデオサーバシステム1420は、オプションでクライアントクオリファイア1460をさらに備える。クライアントクオリファイア1460は、クライアント1410A、1410B等のクライアントの能力を遠隔で判定するように構成される。これらの能力は、クライアント1410A自体の能力と、クライアント1410Aとビデオサーバシステム1420との間の1つまたは複数の通信チャネルの能力の両方を含むことができる。例えば、クライアントクオリファイア1460は、ネットワーク1415を介して通信チャネルをテストするように構成されてよい。
クライアントクオリファイア1460は、クライアント1410Aの能力を手動または自動で判定(例えば、発見)することができる。手動の判定は、クライアント1410Aのユーザと通信することと、ユーザに能力を提供するように依頼することと、を含む。例えば、一部の実施形態においては、クライアントクオリファイア1460は、クライアント1410Aのブラウザ内に、画像、テキスト等を表示するように構成される。一実施形態においては、クライアント1410Aは、ブラウザを備えるHMDである。別の実施形態においては、クライアント1410Aは、ブラウザを有するゲームコンソールであり、ブラウザは、HMD上に表示されてよい。表示されたオブジェクトは、クライアント1410Aのオペレーティングシステム、プロセッサ、ビデオデコーダの種類、 ネットワーク接続の種類、ディスプレイ解像度等の情報をユーザが入力することを要求する。ユーザが入力した情報は、クライアントクオリファイア1460に返信される。
例えば、クライアント1410A上でエージェントを実行することにより、及び/または、テストビデオをクライアント1410Aに送信することにより、自動で判定してよい。エージェントは、ウェブページに埋め込まれた、または、アドオンとしてインストールされたJAVA(登録商標)スクリプト等のコンピュータ命令を含んでよい。エージェントは、オプションで、クライアントクオリファイア1460によって提供される。様々な実施形態において、エージェントは、クライアント1410Aの処理能力、クライアント1410Aの復号及び表示能力、クライアント1410Aとビデオサーバシステム1420の間の通信チャネルの遅延時間信頼性と帯域幅、クライアント1410Aのディスプレイの種類、クライアント1410Aに存在するファイヤフォール、クライアント1410Aのハードウェア、クライアント1410A上で実行されるソフトウェア、クライアント1410A内のレジストリエントリ等を見つけることができる。
クライアントクオリファイア1460は、ハードウェア、ファームウェア、及び/または、コンピュータ可読媒体に記憶されたソフトウェアを含む。クライアントクオリファイア1460は、オプションで、ビデオサーバシステム1420の1つまたは複数の他の要素とは別個のコンピュータ装置に配置される。例えば、一部の実施形態においては、クライアントクオリファイア1460は、クライアント1410と、ビデオサーバシステム1420の複数のインスタンスとの間の通信チャネルの特性を判定するように構成される。これらの実施形態においては、クライアントクオリファイアによって発見された情報を用いて、クライアント1410の1つにストリーミングビデオを配信するのに最も適しているのはビデオサーバシステム1420のどのインスタンスかを決定することができる。
本発明の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ等を含む様々なコンピュータシステム構成で実践されてよい。発明は、有線または無線ネットワークを介してリンクされる遠隔処理装置によってタスクを行う分散コンピュータ環境で実践することもできる。
上記実施形態に留意して、発明は、コンピュータシステムに記憶されたデータを伴う様々なコンピュータで実施される操作を採用することができることは理解されたい。これらの操作は、物理量の物理的操作を必要とする操作である。発明の一部を形成する本明細書に記載の操作はいずれも、有用な機械操作である。発明は、これらの操作を行うデバイスまたは装置にも関する。装置は、必要な目的のために特に構築することができる。または、装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または構成される汎用コンピュータであってよい。詳細には、様々な汎用機械が、本明細書の教示に従って書かれたコンピュータプログラムと共に用いることができる、または、要求された操作を行うためにより専門化した装置を構築するとより便利であろう。
発明は、コンピュータ可読媒体上で、コンピュータ可読コードとして具体化することもできる。コンピュータ可読媒体は、データを記憶することができる任意のデータ記憶装置で、そのデータは、後にコンピュータシステムによって読み取ることができる。コンピュータ可読媒体の例には、ハードドライブ、ネットワーク接続型ストレージ(NAS)、リードオンリメモリ、ランダムアクセスメモリ、CD−ROM、CD−R、CD−RW、磁気テープ、及び、他の光学データ記憶装置や非光学式のデータ記憶装置が含まれる。コンピュータ可読媒体は、コンピュータ可読コードが分散して記憶、実行されるように、ネットワーク接続されたコンピュータシステムを介して分散されたコンピュータ可読有形媒体を含むことができる。
方法操作を特定の順で記載したが、オーバーレイ操作の処理が所望のように行われる限り、他のハウスキーピング操作を操作と操作の間に行ってよく、操作は、少し時間を違えて生じるように調整されてよく、または、操作は、処理に関連付けられた様々な間隔で処理操作が行われるのを可能にするシステムに分散されてよいことは理解されたい。
上記発明は理解しやすいように詳細に記載したが、請求項の範囲内で一定の変更及び修正を行ってよいことは明らかである。従って、本実施形態は、例証的で、非制限的であるとみなすべきで、かつ、発明は、本明細書に記載の詳細に制限されず、請求項の範囲及び同等物の範囲内で修正してよい。

Claims (30)

  1. プロセッサと、少なくとも1つのディスプレイと、ゲームコンソールから受信したビデオストリームから画像を前記ディスプレイ上にレンダリングするビデオレンダラと、を備えるヘッドマウンテッドディスプレイデバイスにおいてゲームプレイを移行する方法であって、
    プロセッサが、ビデオゲームのゲームプレイであって、ヘッドマウンテッドディスプレイに表示されているゲームプレイを中断する信号を受信することと、
    プロセッサが、前記信号の受信に応答して、前記ゲームプレイをアクティブ状態から一時停止状態に移行することと、を含み、
    前記ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、前記一時停止状態に入る前に、前記ゲームプレイの側面の前記強度を漸進的に低下させることと、を含み、
    前記ゲームプレイの側面の前記強度は、仮想要素の速度によって規定され、
    前記ゲームプレイの側面の前記強度を漸進的に低下させることは、前記仮想要素の前記速度を漸進的に低下させることを含む、
    ゲームプレイを移行する方法。
  2. 仮想空間における前記仮想要素の位置が、前記ヘッドマウンテッドディスプレイに提示された前記仮想空間のビューであって、前記仮想要素の前記速度に従って変化する前記仮想空間のビューを規定する、請求項1に記載の方法。
  3. プロセッサが、前記ビデオゲームのゲームプレイを再開する信号を受信することと、
    プロセッサが、ゲームプレイを再開する前記信号を受信することに応答して、前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することと、をさらに含み、
    前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイの側面の前記強度を漸進的に増加させることを含む、請求項1に記載の方法。
  4. 前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイが一時停止されたゲームプレイ時点以前のゲームプレイ時点を識別することと、前記以前のゲームプレイ時点から、前記一時停止状態から前記アクティブ状態への移行を開始することと、を含む、請求項3に記載の方法。
  5. 前記ビデオストリームは、無線接続を介して前記ゲームコンソールから受信される、請求項1に記載の方法。
  6. ユーザの視線が追跡され、前記ユーザが見ている領域が前記ビデオストリームにおいてより詳細に提供される、請求項1に記載の方法。
  7. ユーザがアクティブなゲームプレイに費やした時間量が増えるほど、前記ゲームプレイの側面の前記強度が変化する速度が増加する、請求項1に記載の方法。
  8. プロセッサと、少なくとも1つのディスプレイと、ゲームコンソールから受信したビデオストリームから画像を前記ディスプレイ上にレンダリングするビデオレンダラと、を備えるヘッドマウンテッドディスプレイデバイスにおいてゲームプレイを移行する方法であって、
    プロセッサが、ビデオゲームのゲームプレイであって、ヘッドマウンテッドディスプレイに表示されているゲームプレイを中断する信号を受信することと、
    プロセッサが、前記信号の受信に応答して、前記ゲームプレイをアクティブ状態から一時停止状態に移行することと、を含み、
    前記ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、前記一時停止状態に入る前に、前記ゲームプレイの側面の前記強度を漸進的に低下させることと、を含み、
    前記ゲームプレイの側面の前記強度は、前記ヘッドマウンテッドディスプレイに提示された仮想要素の密度によって規定され、
    前記ゲームプレイの側面の前記強度を漸進的に低下させることは、前記ヘッドマウンテッドディスプレイに提示された仮想要素の前記密度を漸進的に低下させることを含む、
    ゲームプレイを移行する方法。
  9. プロセッサが、前記ビデオゲームのゲームプレイを再開する信号を受信することと、
    プロセッサが、ゲームプレイを再開する前記信号を受信することに応答して、前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することと、をさらに含み、
    前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイの側面の前記強度を漸進的に増加させることを含む、請求項8に記載の方法。
  10. 前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイが一時停止されたゲームプレイ時点以前のゲームプレイ時点を識別することと、前記以前のゲームプレイ時点から、前記一時停止状態から前記アクティブ状態への移行を開始することと、を含む、請求項9に記載の方法。
  11. 前記ビデオストリームは、無線接続を介して前記ゲームコンソールから受信される、請求項8に記載の方法。
  12. ユーザの視線が追跡され、前記ユーザが見ている領域が前記ビデオストリームにおいてより詳細に提供される、請求項8に記載の方法。
  13. ユーザがアクティブなゲームプレイに費やした時間量が増えるほど、前記ゲームプレイの側面の前記強度が変化する速度が増加する、請求項8に記載の方法。
  14. プロセッサと、少なくとも1つのディスプレイと、ゲームコンソールから受信したビデオストリームから画像を前記ディスプレイ上にレンダリングするビデオレンダラと、を備えるヘッドマウンテッドディスプレイデバイスにおいてゲームプレイを移行する方法であって、
    プロセッサが、ビデオゲームのゲームプレイであって、ヘッドマウンテッドディスプレイに表示されているゲームプレイを中断する信号を受信することと、
    プロセッサが、前記信号の受信に応答して、前記ゲームプレイをアクティブ状態から一時停止状態に移行することと、を含み、
    前記ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、前記一時停止状態に入る前に、前記ゲームプレイの側面の前記強度を漸進的に低下させることと、を含み、
    前記ゲームプレイの側面の前記強度は、前記ヘッドマウンテッドディスプレイに提示されたグラフィックスの複雑さによって規定され、
    前記ゲームプレイの側面の前記強度を漸進的に低下させることは、前記ヘッドマウンテッドディスプレイに提示された前記グラフィックスを漸進的に単純化することを含む、
    ゲームプレイを移行する方法。
  15. プロセッサが、前記ビデオゲームのゲームプレイを再開する信号を受信することと、
    プロセッサが、ゲームプレイを再開する前記信号を受信することに応答して、前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することと、をさらに含み、
    前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイの側面の前記強度を漸進的に増加させることを含む、請求項14に記載の方法。
  16. 前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイが一時停止されたゲームプレイ時点以前のゲームプレイ時点を識別することと、前記以前のゲームプレイ時点から、前記一時停止状態から前記アクティブ状態への移行を開始することと、を含む、請求項15に記載の方法。
  17. 前記ビデオストリームは、無線接続を介して前記ゲームコンソールから受信される、請求項14に記載の方法。
  18. ユーザの視線が追跡され、前記ユーザが見ている領域が前記ビデオストリームにおいてより詳細に提供される、請求項14に記載の方法。
  19. ユーザがアクティブなゲームプレイに費やした時間量が増えるほど、前記ゲームプレイの側面の前記強度が変化する速度が増加する、請求項14に記載の方法。
  20. ゲームプレイを移行するプログラム命令を具体化させる非一時的コンピュータ可読媒体であって、前記プログラム命令は、
    ビデオゲームのゲームプレイであって、ヘッドマウンテッドディスプレイに表示されたゲームプレイを中断する信号を受信するプログラム命令と、
    前記信号を受信することに応答して、前記ゲームプレイをアクティブ状態から一時停止状態に移行するプログラム命令と、を含み、
    前記ゲームプレイを移行することは、ゲームプレイの側面の強度を識別することと、前記一時停止状態に入る前に、前記ゲームプレイの側面の前記強度を漸進的に低下させることと、を含み、
    前記ゲームプレイの側面の前記強度は、前記ヘッドマウンテッドディスプレイに提示されたグラフィックスの複雑さによって規定され、
    前記ゲームプレイの側面の前記強度を漸進的に低下させることは、前記ヘッドマウンテッドディスプレイに提示された前記グラフィックスを漸進的に単純化することを含む、
    非一時的コンピュータ可読媒体。
  21. 前記ビデオゲームのゲームプレイを再開する信号を受信するプログラム命令と、
    ゲームプレイを再開する前記信号を受信することに応答して、前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行するプログラム命令と、をさらに含み、
    前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイの側面の前記強度を漸進的に増加させることを含む、請求項20に記載の非一時的コンピュータ可読媒体。
  22. 前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイが一時停止されたゲームプレイ時点以前のゲームプレイ時点を識別することと、前記以前のゲームプレイ時点から、前記一時停止状態から前記アクティブ状態への移行を開始することと、を含む、請求項21に記載の非一時的コンピュータ可読媒体。
  23. ユーザの視線が追跡され、前記ユーザが見ている領域がより詳細に提供される、請求項20に記載の非一時的コンピュータ可読媒体。
  24. ユーザがアクティブなゲームプレイに費やした時間量が増えるほど、前記ゲームプレイの側面の前記強度が変化する速度が増加する、請求項20に記載の非一時的コンピュータ可読媒体。
  25. プロセッサと、
    少なくとも1つのディスプレイと、
    ゲームコンソールから受信したビデオストリームから画像を前記ディスプレイ上にレンダリングするビデオレンダラと、
    を備えるヘッドマウンテッドディスプレイデバイスであって、
    前記ビデオストリームは、ビデオゲームのゲームプレイを、前記ゲームプレイを中断する信号に応答して、アクティブ状態から一時停止状態に移行することを含み、前記ゲームプレイの前記移行は、前記一時停止状態に入る前に、ゲームプレイの側面の強度の漸進的な低下を規定し、
    前記ゲームプレイの側面の前記強度は、前記少なくとも1つのディスプレイに提示された仮想要素の密度によって規定され、
    前記ゲームプレイの側面の前記強度の前記漸進的な低下は、前記ヘッドマウンテッドディスプレイに提示された仮想要素の前記密度の漸進的な低下を含む、
    ヘッドマウンテッドディスプレイデバイス。
  26. プロセッサが、前記ビデオゲームのゲームプレイを再開する信号を受信することと、
    プロセッサが、ゲームプレイを再開する前記信号を受信することに応答して、前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することと、をさらに含み、
    前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイの側面の前記強度を漸進的に増加させることを含む、請求項25に記載の方法。
  27. 前記ゲームプレイを前記一時停止状態から前記アクティブ状態に移行することは、前記ゲームプレイが一時停止されたゲームプレイ時点以前のゲームプレイ時点を識別することと、前記以前のゲームプレイ時点から、前記一時停止状態から前記アクティブ状態への移行を開始することと、を含む、請求項26に記載の方法。
  28. 前記ビデオストリームは、無線接続を介して前記ゲームコンソールから受信される、請求項25に記載の方法。
  29. ユーザの視線が追跡され、前記ユーザが見ている領域が前記ビデオストリームにおいてより詳細に提供される、請求項25に記載の方法。
  30. ユーザがアクティブなゲームプレイに費やした時間量が増えるほど、前記ゲームプレイの側面の前記強度が変化する速度が増加する、請求項25に記載の方法。
JP2017165796A 2013-06-07 2017-08-30 ヘッドマウンテッドディスプレイ上でのゲームプレイの移行 Active JP6616361B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361832762P 2013-06-07 2013-06-07
US61/832,762 2013-06-07
US14/231,609 US9878235B2 (en) 2013-06-07 2014-03-31 Transitioning gameplay on a head-mounted display
US14/231,609 2014-03-31

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016518054A Division JP6266101B2 (ja) 2013-06-07 2014-06-06 ヘッドマウンテッドディスプレイ上でのゲームプレイの移行

Publications (2)

Publication Number Publication Date
JP2018029968A true JP2018029968A (ja) 2018-03-01
JP6616361B2 JP6616361B2 (ja) 2019-12-04

Family

ID=52005892

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016518054A Active JP6266101B2 (ja) 2013-06-07 2014-06-06 ヘッドマウンテッドディスプレイ上でのゲームプレイの移行
JP2017165796A Active JP6616361B2 (ja) 2013-06-07 2017-08-30 ヘッドマウンテッドディスプレイ上でのゲームプレイの移行

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016518054A Active JP6266101B2 (ja) 2013-06-07 2014-06-06 ヘッドマウンテッドディスプレイ上でのゲームプレイの移行

Country Status (5)

Country Link
US (3) US9878235B2 (ja)
EP (2) EP3003515B1 (ja)
JP (2) JP6266101B2 (ja)
CN (2) CN110227258B (ja)
WO (1) WO2014197873A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019195163A (ja) * 2018-05-04 2019-11-07 ユビタス インコーポレイテッドUbitus Inc. ビデオランダムアクセスメモリにおけるマルチソースメディアをオーバーレイするシステム及び方法
JP2022185267A (ja) * 2021-06-02 2022-12-14 エヌ・ティ・ティ・コミュニケーションズ株式会社 通信システム、通信方法及び通信プログラム

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9555337B2 (en) * 2013-09-16 2017-01-31 Disney Enterprises, Inc. Method for tracking physical play objects by virtual players in online environments
WO2015139002A1 (en) 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9792757B2 (en) * 2014-09-16 2017-10-17 Igt Canada Solutions Ulc 3D enhanced gaming machine with selectable 3D intensity level
EP4236299A3 (en) 2015-02-27 2023-09-06 Sony Interactive Entertainment Inc. Display control program, dislay control device, and display control method
JP6693718B2 (ja) 2015-02-27 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
KR20170051013A (ko) * 2015-11-02 2017-05-11 엘지전자 주식회사 테더링 형 hmd 및 그 hmd의 제어 방법
CN108292168B (zh) * 2015-11-26 2021-04-06 日商可乐普拉股份有限公司 针对虚拟空间内对象的动作指示方法及介质
JP6209252B1 (ja) * 2016-07-11 2017-10-04 株式会社コロプラ 仮想空間内のキャラクタを動作させる方法、当該方法をコンピュータに実行させるためのプログラム及びコンピュータ装置
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
CN105469004A (zh) * 2015-12-31 2016-04-06 上海小蚁科技有限公司 一种显示装置和显示方法
CN106997241B (zh) * 2016-01-22 2020-04-21 宏达国际电子股份有限公司 虚拟现实环境中与真实世界互动的方法与虚拟现实系统
WO2017139871A1 (en) 2016-02-18 2017-08-24 Vrvana Inc. Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
JP5996138B1 (ja) * 2016-03-18 2016-09-21 株式会社コロプラ ゲームプログラム、方法およびゲームシステム
CN105929949A (zh) * 2016-04-15 2016-09-07 北京小鸟看看科技有限公司 一种虚拟现实系统开机效果呈现方法和装置
KR101687174B1 (ko) * 2016-04-29 2016-12-16 주식회사 조이펀 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
US10471353B2 (en) * 2016-06-30 2019-11-12 Sony Interactive Entertainment America Llc Using HMD camera touch button to render images of a user captured during game play
US10521879B2 (en) * 2016-07-05 2019-12-31 Ubitus, Inc. Overlaying multi-source media in VRAM
US10332296B2 (en) * 2016-07-05 2019-06-25 Ubitus Inc. Overlaying multi-source media in VRAM
JP6216851B1 (ja) * 2016-09-12 2017-10-18 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
EP3318835B1 (en) * 2016-09-13 2020-10-07 Bagel Labs Co., Ltd. Length measurement device and control method therefor
US10055028B2 (en) * 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
US10482749B2 (en) 2017-01-11 2019-11-19 Universal Entertainment Corporation Controlling electronic device alerts by operating head mounted display
US10705703B2 (en) * 2017-01-11 2020-07-07 Universal Entertainment Corporation Controlling electronic devices by operating head mounted display
JP6840548B2 (ja) * 2017-01-20 2021-03-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびゲーム画音生成方法
EP3367215B1 (en) * 2017-02-27 2019-09-18 LG Electronics Inc. Electronic device for providing virtual reality content
US10512846B2 (en) 2017-03-07 2019-12-24 Sony Interactive Entertainment LLC Emulating player behavior after player departure
US10946280B2 (en) * 2017-03-08 2021-03-16 Sony Interactive Entertainment LLC In-game reactions to interruptions
US10405374B2 (en) * 2017-03-17 2019-09-03 Google Llc Antenna system for head mounted display device
JP6714280B2 (ja) * 2017-03-28 2020-06-24 株式会社ノーニューフォークスタジオ 情報処理システム、情報処理方法、情報処理プログラム
TWI669657B (zh) 2017-05-17 2019-08-21 宏碁股份有限公司 具自適性控制之主機、頭戴式顯示裝置、攜帶式裝置、虛擬實境系統及其控制方法
JP6321263B1 (ja) * 2017-05-19 2018-05-09 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
WO2018227505A1 (en) * 2017-06-15 2018-12-20 Tencent Technology (Shenzhen) Company Limited System and method of connecting two different environments using hub
EP3639114B1 (en) 2017-06-15 2024-03-06 Tencent Technology (Shenzhen) Company Limited System and method of instantly previewing immersive content
DE102017211527A1 (de) * 2017-07-06 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Brille zur Darstellung einer virtuellen Realität (VR-Brille)
JP6603291B2 (ja) * 2017-10-30 2019-11-06 株式会社カプコン ゲームプログラムおよびゲームシステム
US10841533B2 (en) * 2018-03-23 2020-11-17 Raja Singh Tuli Telepresence system with virtual reality
CN108465242A (zh) * 2018-03-31 2018-08-31 丁超 网络游戏处理方法、装置及计算机存储介质
CN112347273A (zh) * 2020-11-05 2021-02-09 北京字节跳动网络技术有限公司 音频播放方法、装置、电子设备及存储介质
EP4256391A1 (en) * 2020-12-07 2023-10-11 Snap Inc. Augmented reality spatial audio experience
JPWO2022244052A1 (ja) * 2021-05-17 2022-11-24
CN113900609B (zh) * 2021-09-24 2023-09-29 当趣网络科技(杭州)有限公司 大屏终端交互方法、大屏终端及计算机可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1085450A (ja) * 1996-09-19 1998-04-07 Namco Ltd アトラクションゲームシステム
JPH11161814A (ja) * 1997-11-25 1999-06-18 Namco Ltd 画像生成装置、シミュレーション装置及び情報記憶媒体
JP2000339490A (ja) * 1999-05-28 2000-12-08 Mitsubishi Electric Corp Vr酔い低減方法
JP2001038049A (ja) * 1999-07-30 2001-02-13 Sega Corp ゲーム装置
JP2005013385A (ja) * 2003-06-25 2005-01-20 Sony Corp 生体情報適応制御装置、生体情報適応制御方法、プログラム、記録媒体
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2008011940A (ja) * 2006-07-03 2008-01-24 Sony Computer Entertainment Inc ゲーム制御プログラム、ゲーム制御方法、及びゲーム装置
JP2009247578A (ja) * 2008-04-04 2009-10-29 Namco Bandai Games Inc プログラム、情報記憶媒体、ゲーム装置及び移動玩具
JP2010509873A (ja) * 2006-11-09 2010-03-25 ソニー・コンピュータ・エンタテインメント・アメリカ・インク インタラクティブコンテンツとともに使用する広告スキーム
WO2013052855A2 (en) * 2011-10-07 2013-04-11 Google Inc. Wearable computer with nearby object response
US20130293688A1 (en) * 2012-05-04 2013-11-07 Sony Computer Entertainment Europe Limited Head mountable display system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3506544B2 (ja) * 1994-09-12 2004-03-15 任天堂株式会社 画像表示装置および画像表示システム
JP3712478B2 (ja) * 1996-09-30 2005-11-02 株式会社ナムコ ゲーム装置及びゲーム装置の制御方法
JP3731781B2 (ja) * 1997-07-26 2006-01-05 株式会社ナムコ ゲーム装置および該ゲーム装置に係るプログラムを記憶した記憶媒体
JP2001274918A (ja) * 2000-01-17 2001-10-05 Canon Inc テレビゲーム装置、テレビ制御装置、制御装置、テレビゲーム装置の着信通知方法、プログラムおよび記憶媒体
US6975991B2 (en) * 2001-01-31 2005-12-13 International Business Machines Corporation Wearable display system with indicators of speakers
JP2002306838A (ja) * 2001-04-18 2002-10-22 Sony Computer Entertainment Inc 情報表示方法、情報表示処理プログラムを情報処理装置に実行させる媒体、プログラム実行装置、情報表示処理プログラム
JP2003018076A (ja) * 2001-07-03 2003-01-17 Sanyo Electric Co Ltd 無線端末機
JP5286667B2 (ja) * 2006-02-22 2013-09-11 コニカミノルタ株式会社 映像表示装置、及び映像表示方法
JP5030595B2 (ja) * 2007-01-09 2012-09-19 スカラ株式会社 ヘッドマウントディスプレイ
EP2165234A1 (en) * 2007-06-07 2010-03-24 Panagiotis Pavlopoulos An eyewear comprising at least one display device
US8780014B2 (en) * 2010-08-25 2014-07-15 Eastman Kodak Company Switchable head-mounted display
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP5691568B2 (ja) * 2011-01-28 2015-04-01 ソニー株式会社 情報処理装置、報知方法及びプログラム
JP2012165066A (ja) * 2011-02-03 2012-08-30 Junichi Okubo 外部音報知装置
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1085450A (ja) * 1996-09-19 1998-04-07 Namco Ltd アトラクションゲームシステム
JPH11161814A (ja) * 1997-11-25 1999-06-18 Namco Ltd 画像生成装置、シミュレーション装置及び情報記憶媒体
JP2000339490A (ja) * 1999-05-28 2000-12-08 Mitsubishi Electric Corp Vr酔い低減方法
JP2001038049A (ja) * 1999-07-30 2001-02-13 Sega Corp ゲーム装置
JP2005013385A (ja) * 2003-06-25 2005-01-20 Sony Corp 生体情報適応制御装置、生体情報適応制御方法、プログラム、記録媒体
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2008011940A (ja) * 2006-07-03 2008-01-24 Sony Computer Entertainment Inc ゲーム制御プログラム、ゲーム制御方法、及びゲーム装置
JP2010509873A (ja) * 2006-11-09 2010-03-25 ソニー・コンピュータ・エンタテインメント・アメリカ・インク インタラクティブコンテンツとともに使用する広告スキーム
JP2009247578A (ja) * 2008-04-04 2009-10-29 Namco Bandai Games Inc プログラム、情報記憶媒体、ゲーム装置及び移動玩具
WO2013052855A2 (en) * 2011-10-07 2013-04-11 Google Inc. Wearable computer with nearby object response
US20130293688A1 (en) * 2012-05-04 2013-11-07 Sony Computer Entertainment Europe Limited Head mountable display system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019195163A (ja) * 2018-05-04 2019-11-07 ユビタス インコーポレイテッドUbitus Inc. ビデオランダムアクセスメモリにおけるマルチソースメディアをオーバーレイするシステム及び方法
JP7278850B2 (ja) 2018-05-04 2023-05-22 株式会社ユビタス ビデオランダムアクセスメモリにおけるマルチソースメディアをオーバーレイするシステム及び方法
JP2022185267A (ja) * 2021-06-02 2022-12-14 エヌ・ティ・ティ・コミュニケーションズ株式会社 通信システム、通信方法及び通信プログラム
JP7216940B2 (ja) 2021-06-02 2023-02-02 株式会社Nttコノキュー 通信システム、通信方法及び通信プログラム

Also Published As

Publication number Publication date
US20190314719A1 (en) 2019-10-17
CN105377383A (zh) 2016-03-02
US10870049B2 (en) 2020-12-22
US20140364197A1 (en) 2014-12-11
EP3228371A1 (en) 2017-10-11
JP6266101B2 (ja) 2018-01-24
EP3003515B1 (en) 2019-08-07
CN105377383B (zh) 2019-06-28
CN110227258B (zh) 2023-04-07
US20180147483A1 (en) 2018-05-31
EP3003515A2 (en) 2016-04-13
JP2016525917A (ja) 2016-09-01
CN110227258A (zh) 2019-09-13
US9878235B2 (en) 2018-01-30
WO2014197873A3 (en) 2015-01-29
EP3228371B1 (en) 2019-03-20
WO2014197873A2 (en) 2014-12-11
US10286299B2 (en) 2019-05-14
JP6616361B2 (ja) 2019-12-04

Similar Documents

Publication Publication Date Title
JP6616361B2 (ja) ヘッドマウンテッドディスプレイ上でのゲームプレイの移行
JP7132280B2 (ja) Vr観戦のための拡大された視野再レンダリング
US10445925B2 (en) Using a portable device and a head-mounted display to view a shared virtual reality space
US10268438B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
US10388071B2 (en) Virtual reality (VR) cadence profile adjustments for navigating VR users in VR environments
US9984505B2 (en) Display of text information on a head-mounted display
JP6321150B2 (ja) 三次元ゲームプレイの共有
JP2019537087A (ja) Hmdユーザを現実世界空間内で安全に案内するために、仮想現実シーンにおいて対話型コンテンツを提供する方法
US11806615B2 (en) Asynchronous virtual reality interactions
US11833430B2 (en) Menu placement dictated by user ability and modes of feedback

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191107

R150 Certificate of patent or registration of utility model

Ref document number: 6616361

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250