JP2018099523A - 物理オブジェクトの画像をフェードアウトする方法 - Google Patents

物理オブジェクトの画像をフェードアウトする方法 Download PDF

Info

Publication number
JP2018099523A
JP2018099523A JP2018005646A JP2018005646A JP2018099523A JP 2018099523 A JP2018099523 A JP 2018099523A JP 2018005646 A JP2018005646 A JP 2018005646A JP 2018005646 A JP2018005646 A JP 2018005646A JP 2018099523 A JP2018099523 A JP 2018099523A
Authority
JP
Japan
Prior art keywords
hmd
user
game
video
physical object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018005646A
Other languages
English (en)
Inventor
ロジャー スタッフォード ジェフリー
Jeffrey Roger Stafford
ロジャー スタッフォード ジェフリー
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201361884900P priority Critical
Priority to US61/884,900 priority
Priority to US14/170,470 priority
Priority to US14/170,470 priority patent/US9729864B2/en
Priority to US14/333,500 priority
Priority to US14/333,500 priority patent/US9630105B2/en
Application filed by 株式会社ソニー・インタラクティブエンタテインメント, Sony Interactive Entertainment LLC filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Publication of JP2018099523A publication Critical patent/JP2018099523A/ja
Application status is Pending legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • A63F13/49Saving the game status; Pausing or ending the game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with three-dimensional environments, e.g. control of viewpoint to navigate in the environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A63F2300/306Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display for displaying a marker associated to an object or location in the game field
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering

Abstract

【課題】HMDの位置状態が変化したときにHMDの画面にレンダリングされるゲームのコンテンツを調整する。
【解決手段】ゲームは、当該ゲームのインタラクティブシーンを、ユーザーによって装着されているヘッドマウントディスプレイ(HMD)の表示部にレンダリングするように実行される。ユーザーがゲームと対話している間、ユーザーによって装着されているHMDの位置状態の変化を検出する。この位置状態の変化を評価する。その評価に応じて、HMDの画面にレンダリングされているゲームのインタラクティブシーンの輝度を徐々に低下させ、あるいは、HMDの画面を半透過モードまたは透過モードに遷移させる。
【選択図】図11F

Description

本開示は、一般に、ヒューマン−コンピュータインターフェースに関し、より具体的には、ユーザーがカメラの視野の外に移動するとき、あるいはユーザーが1つ以上の現実の障害物に接近するときに、当該ユーザーに警告することに関する。

本節に記載された手法は、実現可能な手法であるが、必ずしも従来において着想または実現済みの手法であるとは限らない。従って、特に断りのない限り、本節に記載された如何なる手法も、単に本節に含まれるという点から従来技術であると考えられるべきではない。

ヒューマン−コンピュータインタラクションの分野で急速に発展している技術の1つとして、種々のヘッドマウントディスプレイまたはヘッドカップルディスプレイがある。これらのディスプレイは、ユーザーの頭部への装着が可能であり、ユーザーの片目または両目の前に1つまたは2つのディスプレイを有する。この種類のディスプレイは、ビデオゲーム、医学、スポーツトレーニング、エンターテイメントアプリケーションなどを含む仮想現実のシミュレーションに関する多数の民生用途及び市販用途を有する。ゲーム分野では、これらのディスプレイを使用して、例えば、3次元(3D)の仮想ゲーム世界をレンダリングすることができる。これらのディスプレイの重要な態様は、ユーザーが、キーボードやトラックボールなどの従来の入力装置の利用に加えて、自身の頭部を回すことにより、仮想世界内で表示可能な視野を変えることができる点にある。

しかしながら、従来のヘッドマウントディスプレイでは、ユーザーが、ヘッドマウントディスプレイを装着してモーションの作成などの動作を行ったり、コーヒーテーブルや椅子などの現実の障害物に向かって移動したりするときにケガをしやすい。加えて、ヘッドマウントディスプレイを含むいくつかのヒューマン−コンピュータインターフェースでは、ユーザーは、専用のビデオカメラまたは深度センサの視野内に存在しなければならない。このことは、ユーザーにとって悩みの種となっている場合がある。何故なら、ユーザーが視野の外に移動するとヒューマン−コンピュータインタラクションが中断されるためである。

この「発明の概要」は、以下の「発明を実施するための形態」でさらに説明されるコンセプトを抜粋して簡素化された形式で紹介するために提供される。この「発明の概要」は、請求の範囲の内容における重要な特徴または本質的な特徴を特定することを意図するものではなく、請求される内容の範囲を定める際の一助として使用することを意図するものでもない。

全体として、本開示は、ヘッドマウントディスプレイ(HMD)のユーザーがカメラの視野によって定められるシーンの端に接近していること、または1つ以上の現実の障害物に接近していることを当該ユーザーに警告する技術に関連する。この警告は、音声メッセージ及び/もしくは表示可能メッセージをユーザーに提示し、またはヘッドマウントディスプレイのディスプレイ(単数または複数)をユーザーの目から遠ざかるように移動させることを含む。警告を提供することのほかに、本開示を利用して、HMDを装着しているユーザーによる、視野の端に向かう移動や現実の障害物に向かう移動などの動作に基づき、HMDの表示部にレンダリングされているコンテンツを調節してもよい。いくつかの実施形態では、コンテンツを調節することは、ユーザーの直近にある現実世界の物体をHMDの表示部にレンダリングすることを含む。ユーザーがシーンの端または現実の障害物に接近しているとの判定は、画像センサ(単数または複数)及び/または深度センサ(単数または複数)から得られた画像及び/または深度データの解析を通じて、当該ユーザーの動きを動的に追跡することによってなされる。これらのセンサは、ヘッドマウントに固定されているか、またはシーン内もしくはシーン外に配置されてヘッドマウントディスプレイには固定されていない、あるいはその両方を組み合わせた構成になっている。

シーンの端には、現実の障害物があり得る。画像には、シーンの深度情報がさらに含まれる。シーンは、少なくとも1つの画像センサまたは少なくとも1つの深度センサの視野によって定めることができる。上記警告は、プロセッサにより、シーンの中央に向かって戻るようにユーザーを導くことを含む。

ある実施形態では、上記方法は、プロセッサにより、シーン外に配置され、ヘッドマウントディスプレイに固定されていない1つ以上の副センサからシーンの副画像を受け取ることをさらに含む。ユーザーが1つ以上の現実の障害物に向かって接近しているとの判定は、さらに、少なくとも副画像に基づいている。ある実施形態では、1つ以上の現実の障害物は、シーン内に存在する。いくつかの実施形態では、1つ以上の現実の障害物はシーンの端にある。

一実施形態によれば、方法が提供される。この方法は、ゲームを実行することを含む。この実行により、当該ゲームのインタラクティブゲームシーンを、ユーザーによって装着されているヘッドマウントディスプレイの表示部にレンダリングする。ユーザーがゲームと対話している間、ユーザーによって装着されているHMDの位置状態の変化を検出する。このHMDの位置状態の変化を評価する。その評価に基づき、上記変化が所定閾値を超えているときには信号を生成する。上記信号が生成されると、データを送出して、HMDの表示部にレンダリングされているインタラクティブシーンを中断する。HMDに送出されたデータは、上記信号の記述内容を与える。

別の実施形態では、方法が開示される。この方法は、ゲームを実行することを含む。この実行により、当該ゲームのインタラクティブシーンを、ユーザーによって装着されているヘッドマウントディスプレイ(HMD)の表示部にレンダリングする。ユーザーによって装着されているHMDを取り囲む容積は、例えば、カルテシアン(Cartesian)空間内の1つ以上の座標を用いて求められる。HMDを装着しているユーザーの動作を、ゲームのゲームプレイ中に監視する。この動作により、ユーザーによって装着されているHMDの位置状態が変化したときには、当該変化を評価する。この変化が所定閾値を超えているときには、上記評価によって信号を生成する。信号が生成されると、データを送出して、HMDの表示部にレンダリングされているインタラクティブシーンを中断する。送出されたデータは、上記信号の記述内容を与える。

いくつかの実施形態では、コンテンツの調節は、HMDの画面にレンダリングされているゲームのインタラクティブシーンの輝度を徐々に低下させること、及びHMDの画面を半透過モードまたは透過モードに遷移させることを含む。この遷移により、HMDを装着しているユーザーの直近にある現実世界の物体がレンダリングされる。インタラクティブシーンを背景にレンダリングしつつ現実世界の物体の画像を最前面にレンダリングしてもよく、現実世界の物体をHMDの表示画面の一部にレンダリングしつつ表示画面の残りの部分にインタラクティブシーンをレンダリングしてもよく、またはこれらの任意の組み合わせとしてもよい。

いくつかの実施形態では、コンテンツの調節は、HMDの表示部にレンダリングされているゲームのインタラクティブシーンの輝度を徐々に低下させる方式で行われてもよい。シーンの端または物体にユーザーが近づくにつれて、輝度をより強く低下させてもよい。

ある実施形態では、コンテンツの調節を指示することに加えて、上記信号によってユーザーに警告を出してもよい。この警告は、HMDにて、音声メッセージ、HMDの表示部にレンダリングするための表示可能なメッセージ、または振動などの触覚メッセージなどの形態をとってもよい。この警告は、プロセッサにより、ヘッドマウントディスプレイの少なくとも1つのディスプレイをユーザーの目から遠ざかるように移動させることも含む。

別の実施形態では、上記方法の動作は、1つ以上のプロセッサによって実施されるときにその動作を実行する命令を含むマシン可読媒体に記憶される。さらに別の例示的実施形態では、列挙された動作を実行するように、ハードウェアシステムまたはハードウェア装置を構成することができる。他の特徴、実施例及び実施形態については以下で説明する。

実施形態を、添付図面の各図において限定ではなく実施例によって示す。これらの図面では、同様の参照番号によって類似の要素が示される。

本開示の実施形態に係る、本技術の様々な態様の実装に適したシーンの実施例である。 本開示の実施形態に係る、ヘッドマウントディスプレイのユーザーに警告する方法の利用に適したシステムの実施例である。 本開示の実施形態に係る、ヘッドマウントディスプレイのユーザーに警告する方法の利用に適した別のシステムの実施例である。 本開示の実施形態に係る、ヘッドマウントディスプレイのユーザーに警告する方法の利用に適したさらに別のシステムの実施例である。 本開示の実施形態に係る、ヘッドマウントディスプレイのユーザーに警告する方法を示すプロセスフロー図である。 本明細書に述べた方法論のいずれか1つまたは複数を実施するマシン用の一組の命令が実行されるコンピュータシステムの形態をとったマシンの実施例の図表示である。 一実施形態に係る、ユーザーによって装着されている例示的なヘッドマウントディスプレイの異なる部分を示す図である。 本発明の一実施形態における、ユーザーによって装着/操作されているヘッドマウントディスプレイ及びコントローラの追跡を示す図である。 一実施形態に係る、ヘッドマウントディスプレイ、及びヘッドマウントディスプレイとクライアント装置/クラウドサーバとの間のデータフローの追跡に用いられる種々のモジュールを示す図である。 ユーザーによって装着/操作されているヘッドマウントディスプレイ及び/またはコントローラの位置状態を求める例示的実施形態を示す図である。 ユーザーによって装着されているヘッドマウントディスプレイの高さの変化を求める例示的実施形態を示す図である。 ユーザーによって装着されているヘッドマウントディスプレイの高さの変化を求める例示的実施形態を示す図である。 ユーザーによって装着されているヘッドマウントディスプレイの高さの変化を求める例示的実施形態を示す図である。 本発明の一実施形態における、安全性の問題を識別するためのヘッドマウントディスプレイの追跡を示す図である。 本発明の一実施形態における、安全性の問題を識別するためのヘッドマウントディスプレイの追跡を示す図である。 本発明の一実施形態における、安全性の問題を識別するためのヘッドマウントディスプレイの追跡を示す図である。 本発明の一実施形態における、安全性の問題を識別するためのヘッドマウントディスプレイの追跡を示す図である。 本発明の一実施形態における、安全性の問題を識別するためのヘッドマウントディスプレイの追跡を示す図である。 本発明の他の実施形態における、別の安全性の問題を識別するためのヘッドマウントディスプレイの追跡を示す図である。 本発明の他の実施形態に係る、ヘッドマウントディスプレイ上にレンダリングされているコンテンツを調節する方法を示すプロセスフロー図である。 本発明の一実施形態における、ゲームモジュールのシステムアーキテクチャ全体を示す図である。 本発明の実施形態に係る、ゲームシステムのブロック図を示す図である。

以下の詳細な説明では、この詳細な説明の一部を構成する添付図面が参照される。これらの図面は、例示的実施形態に係る説明を示している。これらの例示的実施形態は、本明細書では「実施例」とも呼ばれ、当業者が本主題を実施できる程度に十分詳細に説明されている。各実施形態を組み合わせることも可能であり、他の実施形態を利用することも可能であり、あるいは特許請求された範囲から逸脱することなく、構成的、論理的及び電気的変更を加えることも可能である。従って、以下の詳細な説明は、限定的な意味に解釈されるべきでなく、本発明の範囲は、添付の特許請求の範囲及びその均等物によって定められる。本文献において「a」または「an」という用語は、特許文献において一般的であるように、1つ以上を含むように用いられる。本文献において「または」という用語は、別段の指示がない限り、非排他的な「または」を指すために用いられる。例えば、「AまたはB」は、「AであるがBではない」、「BであるがAではない」、並びに「A及びB」を含む。

本明細書に開示された実施形態の技術は、様々な技術を用いて実装することができる。例えば、本明細書に記載された方法は、コンピュータシステム上で実行されるソフトウェアを用いて、あるいは、マイクロプロセッサの組み合わせもしくは他の特別に設計された特定用途向け集積回路(application−specific integrated circuit:ASIC)、プログラマブルロジックデバイス、またはそれらの様々な組み合わせを利用するハードウェアを用いて実装される。特に、本明細書に記載された方法は、ディスクドライブなどの記憶媒体またはコンピュータ可読媒体上にある一組のコンピュータ実行可能命令によって実装される。なお、本明細書に開示された方法は、モバイル端末、携帯電話、スマートフォン、コンピュータ(例えば、デスクトップコンピュータ、タブレットコンピュータ、ラップトップコンピュータ)、ゲーム機、ハンドヘルドゲーミングデバイスなどによって実装可能であることに留意すべきである。

全体として、本開示の実施形態は、ヘッドマウントディスプレイのユーザーに対し、ユーザーがシーンの端に接近していること、もしくはカメラの視野の外に移動していること、またはユーザーが1つ以上の現実の障害物に接近していることを警告する方法及びシステムを提供する。ユーザーが視野の端または障害物に接近しているとの判定は、画像及び/または深度データの解析に基づいてなされる。この画像及び/または深度データは、画像センサ(単数または複数)及び/もしくは深度センサ(単数または複数)から得ることができる。これらのセンサは、ヘッドマウントディスプレイに配置されているか、またはユーザーとは別個でヘッドマウントディスプレイには接続されていない、あるいはその両方を組み合わせた構成となっている。かかる警告には、音声メッセージ、表示可能メッセージもしくは可視メッセージ、LEDの高輝度表示、ヘッドマウントディスプレイの表示可能画像を徐々に退色させること、画像の輝度を低下させること、現実世界の光景にブレンドすること、ヘッドマウントディスプレイを振動させること、ヘッドマウントディスプレイもしくはその部品を取り外すこと、及びヘッドマウントディスプレイのディスプレイ(単数または複数)をユーザーの目から遠ざかるように移動させて、ユーザーが自分の移動する場所の現実世界及び障害物を見られるようにすることなどが含まれる。

本明細書で使用する場合、「ヘッドマウントディスプレイ」という用語は、ディスプレイを備えたウェアラブルコンピュータ、ヘッドマウント電子装置、ヘッドカップルディスプレイ、ヘルメットマウントディスプレイ、ディスプレイ付きのヘッドマウントコンピュータのうちの1つ以上を指す。ヘッドマウント装置は、ユーザーの頭部に装着されるか、またはヘルメットの一部であり、片目の前に(単眼ディスプレイ装置)、または両目の前に(両眼ディスプレイ装置)、小型ディスプレイ光学部品を有する。ヘッドマウント装置は、ヘルメットに組み込まれたレンズ及び半透過ミラーを備えた1つもしくは2つの小型ディスプレイ、アイグラス(データグラスとしても知られている)、またはバイザーを有する。表示部は、小型化が可能である。この表示部には、液晶ディスプレイ(Liquid Crystal Display:LCD)、有機発光ダイオード(Organic Light−Emitting Diode:OLED)ディスプレイなどが含まれ得る。一部の供給業者は、全分解能及び視野を向上するために複数のマイクロディスプレイを用いる。一部の他のヘッドマウント装置は、従来のディスプレイを全く使用せず、その代わりに、ユーザーの目に光を直接投射する。

本明細書で使用する場合、「深度センサ」という用語は、3D空間の深度マップ生成を作成可能な任意の適切な電子装置を指す。深度感知装置のいくつかの実施例には、画像を処理して深度マップなどを作成するように構成された深度感知カメラ、ステレオ3Dカメラ、深度センサ、ビデオカメラなどが含まれる。制御装置によって深度マップを処理することにより、3D空間内のユーザーの存在を位置付け、さらにはユーザーの頭部、胴及び手足を含む体の各部をも位置付けることができる。本明細書で使用する場合、「画像センサ」という用語は、3Dシーンの静止画像または動画像を生成可能な任意の適切な電子装置を指す。画像センサのいくつかの実施例には、ビデオカメラ、フォトカメラ、電荷結合デバイス(charged coupled device:CCD)などが含まれる。本明細書で使用する場合、「視野」という用語は、画像センサ及び/または深度センサによって対象とされ、かつ「視認される」3D空間の範囲を指す。

本明細書で使用する場合、「制御装置」という用語は、データ、画像、深度マップ、ユーザー入力などを処理するように構成された任意の適切なコンピューティング装置またはコンピューティングシステムを指す。制御装置のいくつかの実施例には、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ゲーム機、オーディオシステム、ビデオシステム、携帯電話、スマートフォン、セットトップボックス、テレビ受像機などが含まれる。ある実施形態では、この制御装置の少なくともいくつかの要素は、(例えば、ヘッドウェアラブルコンピュータの形態をとった)ディスプレイ装置に組み込まれる。制御装置は、深度センサ/画像センサ及びヘッドマウントディスプレイと無線または有線で通信することができる。制御装置は、ヘッドマウントディスプレイにさらに表示可能な画像を生成する役割も果たす(例えば、仮想現実を生成する)。ある実施形態では、「制御装置」という用語は、「コンピューティング装置」、「処理手段」、または単に「プロセッサ」を指す。

本開示の実施形態によれば、ヘッドマウントディスプレイは、家屋の居間といった特定の3D空間内でユーザーによって装着されている場合がある。ユーザーは、ユーザーの動きを追跡する深度センサ/画像センサの前方に存在する場合がある。制御装置は、深度センサ/画像センサから受け取ったデータを処理し、その処理結果により、ユーザー、ユーザーの動き/ジェスチャー、及び仮想スケルトンの追跡座標を当該3D空間内で識別する。

ここで図面を参照すると、図1は、本開示の実施形態に係る、本技術の様々な態様の実装に適したシーン100の実施例である。

特に、ヘッドマウントディスプレイ110を装着しているユーザー105が示されている。ユーザー105は、制御装置115の前方にある3D空間内に存在する。この制御装置115は、ユーザー105を容易に追跡できるように、深度センサ及び/または画像センサを備える。制御装置115は、ゲーミングデバイスまたはゲーム機120に接続されるか、またはその一部であり、ヘッドマウントディスプレイ110、及びTVディスプレイ130、オーディオシステムなどの他のいくつかの周辺装置と動作的に通信可能でもある。

制御装置115によって追跡を行うためには、ユーザー105は、制御装置115の画像センサ及び/または深度センサの視野内に存在しなければならない。本明細書では、この領域を「シーン」135とも呼ぶ。ユーザー105がシーン135の外に移動する場合、ユーザー105の追跡が行われなくなるため、ユーザー105と制御装置115とのインタラクションが中断される。あるいは、ユーザー105は、テーブル、椅子、玩具などの現実の障害物140に向かって移動する場合がある。ユーザー105は、ヘッドマウントディスプレイ110を装着している間は現実世界が見えない場合があるか、または現実世界の視野が小さくなっている場合があるため、ユーザー105は、障害物140にぶつかってケガをする恐れがある。従って、本技術は、ユーザー105がシーン135の端または1つ以上の障害物140に接近している場合、ユーザー105に警告することを対象とする。

図2は、本開示の実施形態に係る、ヘッドマウントディスプレイのユーザーに警告する方法の利用に適したシステム200の実施例である。

図2に示すように、システム200は、ヘッドマウントディスプレイ110及び制御装置115を含む。このヘッドマウントディスプレイ110は、1つ以上のディスプレイ250、通信モジュール260、及び省略可能な作動装置270を備える。

ある実施形態では、ディスプレイ250は、ユーザーの片目または両目の前に配置されている。ディスプレイ250は、ビデオゲーム、スポーツトレーニング、エンターテイメントアプリケーションなどを含む仮想現実をシミュレートするように構成されている。1つの例示的実施形態では、ディスプレイ250は、3次元(three−dimensional:3D)仮想ゲーム世界をレンダリングするように構成されている。ユーザーは、仮想世界内で表示可能な視野を、自身の頭部を回すことによって変えることができる。

ある例示的実施形態では、通信モジュール260は、制御装置115、及びTVディスプレイ130、オーディオシステムなどの他のいくつかの周辺装置と動作的に通信するように構成されている。

ある例示的実施形態では、作動装置270は、制御装置115によってヘッドマウントディスプレイに送出された警告信号を作動させるように構成されている。例えば、作動装置270は、ディスプレイ250に表示可能な画像の表示を開始させ、あるいはヘッドマウントディスプレイ110によってユーザーに表示可能な画像の輝度を低下させることができる。1つの例示的実施形態では、作動装置270は、ヘッドマウントディスプレイ110による画像の表示を停止させる。別の例示的実施形態では、作動装置270は、ヘッドマウントディスプレイ110の少なくとも1つのディスプレイ250をユーザーの目から遠ざかるように移動させる。

実施形態のいくつかの実施例では、制御装置115は、通信モジュール210、コンピューティングユニット220、深度センサ230、及び画像センサ240を備える。通信モジュール210は、ヘッドマウントディスプレイ110の通信モジュール260、及びTVディスプレイ130、オーディオシステムなどの他の周辺装置と動作的に通信するように構成されている。

ある実施形態では、通信モジュール210は、深度センサ230及び/または画像センサ240によって取得されたシーンの画像をコンピューティングユニット220に送信するように構成されている。ある実施形態では、コンピューティングユニット220は、深度センサ230及び/または画像センサ240から受け取ったシーンの画像を処理し、受け取った画像に基づいてユーザーの位置を追跡し、ユーザーが当該シーンの端に接近していることを判定するように構成されている。コンピューティングユニット220は、シーンの端に近接していることに関して、ヘッドマウントディスプレイ110に警告メッセージを送出するようにさらに構成されている。

ある実施形態では、コンピューティングユニット220は、シーンの処理済み画像に基づき、作動装置270に作動信号を送出する。ある実施形態では、深度センサ230は、任意の環境光条件下で3Dのビデオデータを取得する。深度センサ230の検出範囲は調節可能であり、家具または他の障害物の有無を基にした物理的環境に基づいて自動的に校正される。

ある実施形態では、画像センサ240は、光学画像を電子信号に変換する装置である。画像センサ240は、例えば、可視域に対する感度を有する1つ以上のビデオカメラ、IRバンドの1つに対する感度を有するIRカメラ、UVカメラ、または他の直接的もしくは間接的な画像生成センサシステム(例えば、レーダまたはレーザレーダ)を含むことができる。深度センサ230及び画像センサ240からの画像は、データフュージョンによって統合し、ユーザーに表示することができる。

図3は、本開示の実施形態に係る、ヘッドマウントディスプレイのユーザーに警告する方法の利用に適した別のシステム300の実施例である。システム300は、深度センサ280及び画像センサ290がヘッドマウントディスプレイ110に固定されていることを除き、図2に示したシステム200と同様である。

図4は、本開示の実施形態に係る、ヘッドマウントディスプレイのユーザーに警告する方法の利用に適したさらに別のシステム400の実施例である。システム400は、ヘッドマウントディスプレイ110が深度センサ280と画像センサ290の両方を備えていると共に、制御装置115が深度センサ230と画像センサ240の両方を備えていることを除き、図2に示したシステム200と同様である。

図5は、本開示の実施形態に係る、ヘッドマウントディスプレイのユーザーに警告する方法500を示すプロセスフロー図である。

方法500は、ハードウェア(例えば、専用ロジック、プログラマブルロジック、及びマイクロコード)、ソフトウェア(汎用コンピュータシステムもしくは専用マシン上で動作するソフトウェアなど)、またはその両方の組み合わせで構成される処理ロジックによって実行される。1つの例示的実施形態では、処理ロジックは、ヘッドマウントディスプレイに存在する。別の例示的実施形態では、処理ロジックは、制御装置に存在する。さらに別の例示的実施形態では、処理ロジックは、ヘッドマウントディスプレイと制御装置の両方に存在する。

図5に示すように、方法500は、シーンの画像及び/または深度データを受け取ることを伴う動作510から開始することができる。このシーン内には、ヘッドマウントディスプレイを利用するユーザーが存在する。このシーンは、所定の3次元領域を含む。シーンの画像は、1つ以上のセンサ(例えば、画像センサまたは深度センサ)によって取得される。従って、このシーンは、1つ以上のセンサの視野によって定めることができる。1つ以上のセンサは、ヘッドマウントディスプレイに接続することができる。ヘッドマウントディスプレイは、ディスプレイ付きのウェアラブルコンピュータ、ヘッドマウント電子装置、ヘッドカップルディスプレイ、ヘルメットマウントディスプレイなどである。あるいは、1つ以上のセンサは、制御装置に接続される。

方法500は、動作520にて、1つ以上のセンサから受け取ったシーンの画像及び/または深度データに少なくとも部分的に基づいてユーザーの位置情報を追跡することを進める。方法500はさらに、動作530にて、ユーザーがシーンの端に接近していることを動的に判定することを進める。この判定は、動作520にて行われた追跡に少なくとも部分的に基づいている。1つの例示的実施形態では、シーンの端には、コーヒーテーブル、椅子などの1つ以上の現実の障害物がある。

動作540にて、ユーザーは、動作530にて行われた判定に基づき、シーンの端に自身が接近しているとの警告を受ける。かかる警告としては、音声メッセージ、可視メッセージ、発光ダイオードの点灯、ヘッドマウントディスプレイに表示可能な画像を徐々に退色させること、現実世界の光景に表示画像をブレンドすること、ヘッドマウントディスプレイを振動させること、ヘッドマウントディスプレイもしくはその部品を取り外すこと、ヘッドマウントディスプレイをユーザーの目から遠ざかるように移動させることなどを挙げることができる。

1つの例示的実施形態では、方法500は、1つ以上の副センサからシーンの副画像を受け取ることをさらに含む。1つ以上の副センサは、制御装置に接続されている。ある実施形態では、1つ以上の副センサは、シーンの副画像に少なくとも部分的に基づき、ユーザーの位置を追跡する。副画像に基づき、シーンの端の方向にユーザーが移動し続けている場合にはヘッドマウントディスプレイに別の警告を提供してもよい。あるいは、ユーザーがシーンの端の方向に移動するのを止め、シーンの中央に向かって移動した場合には、ヘッドマウントディスプレイに表示された画像を徐々に濃くしてフォーカスし、または、ヘッドマウントディスプレイもしくはその部品を再度取り付けたり、ヘッドマウントディスプレイをユーザーの目の方に移動させたりする。

図6は、コンピュータシステム600の電子形態をとったマシン用のコンピューティング装置の図表示である。この電子形態は実施例である。また、このシステムでは、本明細書に述べた方法論のいずれか1つまたは複数をそのマシンに実施させるための一組の命令が実行可能である。例示的実施形態では、このマシンは、スタンドアロン装置として動作し、または、他のマシンに接続する(例えば、ネットワーク接続する)ことができる。ネットワーク接続配置では、このマシンは、サーバ−クライアントネットワーク環境におけるサーバ、クライアントマシンとして動作することができ、あるいはピアツーピア(または分散)ネットワーク環境におけるピアマシンとして動作することができる。このマシンは、パーソナルコンピュータ(personal computer:PC)、タブレットPC、セットトップボックス(set−top box:STB)、PDA、携帯電話、ポータブル音楽プレーヤー(例えば、 MP3(Moving Picture Experts Group Audio Layer3)プレーヤーなどのポータブルハードドライブオーディオ機器)、ウェブ機器、ネットワークルーター、スイッチ、ブリッジ、または、当該マシンによって行われる動作を指定する一組の命令を(逐次的にもしくは別の方法で)実行可能な任意のマシンとすることができる。さらに、1台のマシンのみを示しているが、「マシン」という用語は、本明細書に述べた方法論のいずれか1つまたは複数を実施するために一組(または複数組)の命令を別々にまたは連携して実行するマシンの任意の集合体を含むとも解釈されるものとする。

コンピュータシステム600の実施例は、プロセッサまたはマルチプルプロセッサ605(例えば、中央処理装置(Central Processing Unit:CPU)、グラフィック処理ユニット(graphics processing unit:GPU)、またはその両方)、並びにメインメモリ610及び静的メモリ615を含む。これらは、バス620を介して相互に通信し合う。コンピュータシステム600は、ビデオディスプレイユニット625(例えば、LCDまたはブラウン管(cathode ray tube:CRT))をさらに含むことができる。コンピュータシステム600は、英数字入力装置(例えば、キーボード)、カーソル制御装置(例えば、マウス)、マイクロホン、デジタルカメラ、ビデオカメラなどの少なくとも1つの入力装置630をも含む。コンピュータシステム600は、ディスクドライブユニット635、信号発生装置640(例えば、スピーカ)、及びネットワークインターフェース装置645をも含む。

ディスクドライブユニット635は、コンピュータ可読媒体650を含む。このコンピュータ可読媒体650は、本明細書に記載された方法論または機能のいずれか1つまたは複数を具現化する、またはそれによって利用される1組以上の命令及びデータ構造(例えば、命令655)を記憶する。命令655は、コンピュータシステム600によるその実行中は、完全にまたは少なくとも部分的に、メインメモリ610内に、かつ/または、プロセッサ605内に存在することもできる。メインメモリ610及びプロセッサ605は、マシン可読媒体も構成する。

命令655は、さらに、いくつかの周知の伝送プロトコル(例えば、HTTP(Hyper Text Transfer Protocol)、CAN、シリアル、及びModバス)のいずれか1つを利用するネットワークインターフェース装置645を経由し、通信ネットワーク660を介して送受信することができる。通信ネットワーク660には、インターネット、ローカルイントラネット、パーソナルエリアネットワーク(Personal Area Network:PAN)、ローカルエリアネットワーク(Local Area Network:LAN)、ワイドエリアネットワーク(Wide Area Network:WAN)、メトロポリタンエリアネットワーク(Metropolitan Area Network:MAN)、仮想プライベートネットワーク(virtual private network:VPN)、ストレージエリアネットワーク(storage area network:SAN)、フレームリレー接続、高度インテリジェントネットワーク(Advanced Intelligent Network:AIN)接続、同期型光ネットワーク(synchronous optical network:SONET)接続、デジタルT1、T3、E1もしくはE3回線、デジタルデータサービス(Digital Data Service:DDS)接続、デジタル加入者線(Digital Subscriber Line:DSL)接続、イーサネット(登録商標)接続、総合サービスデジタル網(Integrated Services Digital Network:ISDN)回線、ケーブルモデム、非同期転送モード(Asynchronous Transfer Mode:ATM)接続、またはファイバー分散データインターフェース(Fiber Distributed Data Interface:FDDI)接続もしくは銅線分散データインターフェース(Copper Distributed Data Interface:CDDI)接続が含まれる。さらに、通信ネットワーク660には、ワイヤレスアプリケーションプロトコル(Wireless Application Protocol:WAP)、汎用パケット無線サービス(General Packet Radio Service:GPRS)、移動体通信グローバルシステム(Global System for Mobile communications:GSM(登録商標))、符号分割多元接続(Code Division Multiple Access:CDMA)もしくは時分割多元接続(Time Division Multiple Access:TDMA)、携帯電話ネットワーク、全地球測位システム(Global Positioning System:GPS)、セルラーデジタルパケットデータ(cellular digital packet data:CDPD)、リサーチインモーション社(Research in Motion, Limited:RIM)の全二重ページングネットワーク(duplex paging network)、ブルートゥース(登録商標)無線、またはIEEE802.11ベースの無線周波数ネットワークを含む多種多様な無線ネットワークへのリンクも含まれる。

マシン可読媒体650は、例示的実施形態では1つの媒体として示されているが、「コンピュータ可読媒体」という用語は、1組以上の命令を記憶する1つの媒体または複数の媒体(例えば、集中データベースもしくは分散データベース、並びに/または関連付けられたキャッシュ及びサーバ)を含むと解釈されるべきである。「コンピュータ可読媒体」という用語は、マシンによる実行用の一組の命令であって、本出願の方法論のいずれか1つもしくは複数を当該マシンに実施させる一組の命令の記憶、符号化もしくは搬送が可能な任意の媒体、または、かかる一組の命令によって利用され、もしくはこれに関連付けられたデータ構造の記憶、符号化もしくは搬送が可能な任意の媒体を含むとも解釈されるものとする。そのため、「コンピュータ可読媒体」という用語には、固体メモリ、光学媒体、及び磁気媒体が含まれるが、これらに限定されることはないと解釈されなければならない。かかる媒体としては、ハードディスク、フロッピーディスク、フラッシュメモリカード、デジタルビデオディスク、ランダムアクセスメモリ(random access memory:RAM)、リードオンリーメモリ(read only memory:ROM)などを挙げることもできるが、これらに限定されることはない。

本明細書に記載された例示的実施形態は、コンピュータにインストールされたコンピュータ実行可能命令(例えば、ソフトウェア)を含む動作環境で、ハードウェアを用いて、またはハードウェアとソフトウェアの組み合わせを用いて実装することができる。コンピュータ実行可能命令は、コンピュータプログラミング言語で記述することができ、またはファームウェア論理回路によって具現化することができる。公認規格に適合するプログラミング言語で記述された場合、かかる命令は、様々なハードウェアプラットフォーム上で、様々なオペレーティングシステムとのインターフェースをとるために実行することができる。本方法を実装するためのコンピュータソフトウェアプログラムは、任意の数の適切なプログラミング言語で記述することができる。かかるプログラミング言語としては、例えば、ハイパーテキストマークアップ言語(Hypertext Markup Language:HTML)、ダイナミックHTML、XML、拡張可能なスタイルシート言語(Extensible Stylesheet Language :XSL)、文書スタイル意味指定言語(Document Style Semantics and Specification Language:DSSSL)、カスケーディングスタイルシート(Cascading Style Sheet:CSS)、同期マルチメディア統合言語(Synchronized Multimedia Integration Language:SMIL)、ワイヤレスマークアップ言語(Wireless Markup Language:WML)、Java(登録商標)、Jini(登録商標)、C、C++、C#、ドットネット(.NET)、Adobeフラッシュ、Perl、UNIX(登録商標)シェル、ビジュアルベーシックもしくはビジュアルベーシックスクリプト、仮想現実マークアップ言語(Virtual Reality Markup Language:VRML)、ColdFusion(登録商標)もしくは他のコンパイラ、アセンブラ、インタープリター、または他のコンピュータ言語もしくはプラットフォームなどがあるが、これらに限定されるものではない。

ユーザーによって使用され、マルチメディアコンテンツを視聴する、かつ/またはそのようなコンテンツと対話するための例示的なヘッドマウントディスプレイの概観を図7に示す。ユーザーによって装着されているHMDにより、一実施例では、ユーザーは、リッチマルチメディアコンテンツを視聴することができる。このようなコンテンツには、ビデオゲームからのインタラクティブシーン、映画からのシーン、インターネットコンテンツ、並びに他の種類のインタラクティブコンテンツ及びノンインタラクティブコンテンツが含まれる。HMDの向き、位置、方向などを含む位置状態の追跡は、HMDのそれぞれの外面にわたって分散された、発光ダイオード、赤外線マーカー、視覚マーカー要素などの複数のマーカー要素を、センサの組み合わせを用いて、またはHMDを取り囲む容積を画定するのに用いられる1つ以上の変数に基づいて追跡することによって可能となる。追跡に用いられるセンサの一部には、HMDの動きの追跡を可能とするHMD内の慣性センサ、1つ以上の画像センサ、及び1つ以上の深度センサが含まれるが、これらに限定されることはない。なお、画像センサ及び深度センサは、光学的な追跡が可能である。HMD内に配置された1つ以上の加速度計及び1つ以上のジャイロスコープを用いて、慣性センサを用いた追跡を可能にしてもよい。画像センサには、1つ以上の単レンズカメラ、IRカメラ、ステレオカメラなどが含まれてもよく、深度センサには、1つ以上の深度検出カメラ、超音波カメラ、3次元(3D)ステレオカメラ、ビデオカメラなどが含まれてもよい。画像センサ及び深度センサは、HMD内に設けられた1つ以上のカメラ、及びHMDを装着しているユーザーの現実世界のシーン内に分散配置された外部カメラを含む。HMD内の画像センサ及び/または深度センサは、例えば、ユーザーの直近にある現実世界の物体/シーンの画像/ビデオを、HMDを装着しているユーザーの視点から取得するために用いられる。以下でさらに説明するように、取得された画像/ビデオは、コンテンツを調節しているときにHMDの表示部にレンダリングされてもよい。

ユーザーのシーン内に外部的に分散された画像センサ及び/または深度センサは、例えば、光源、発光ダイオード(light emitting diode:LED)、赤外線マーカーなどの、HMD110の外面にわたって分散された種々のマーカーの画像/ビデオを取得するように構成されている。一実施形態では、これらの画像/ビデオはクライアントシステムに送信され、ここで、HMDの位置を正確に求めるために、画像/ビデオフレームが解析される。さらに、これらの画像/ビデオをHMD内部で解析することにより、現実世界のシーン内の他の物体を基準にしてHMDの位置、向き、方向を求める。ある構成では、HMDは、(例えば、バブル2、4及び6によって表される)LEDを備える。これらのLEDは、HMDの1つ以上の外面における重要な箇所に配置されている。例えば、これらのLEDを、HMDの前面ブロックユニット110a(例えば、本明細書では光学ブロックとも呼ぶ)の四隅に配置してもよく、HMD110の後方/背面部110bにおける2箇所に配置してもよい。後方部110bは、調節可能なバンドユニットに配置されている。110c及び110dなどの他の表面もHMDに含めて、ユーザーが安全かつ確実にHMDを自身の頭部に取り付けることができるようにしてもよい。いくつかの実施形態では、前面LEDは、前面に部分的に配置され、かつ前面の各側に配置されている側面に部分的に配置されるように構成されており、それによって部分L字形、湾曲L字形、ブーメラン形、湾曲矩形、曲線、点、円、パターン、またはこれらを組み合わせた形状を画定する。これらのマーカーは、LEDに制限されることはなく、光源、赤外線マーカー、色によってコード化されたマーカー、反射マーカーなどを含むこともできる。画像/ビデオフレームの解析を用いて、HMDの種々のマーカーの相互間の相対距離及び1つ以上の基準点からの相対距離を計算する。計算された距離を用いて、HMD周囲の容積と共に使用中の容積の変化を求めることにより、HMDの位置状態をより正確に定める。さらに、種々のセンサによって取得されたビデオフレーム/画像を解析して、種々のマーカーの向き、位置、移動方向などの位置状態を求めることにより、HMDを装着しているユーザーの移動方向または姿勢(位置)をより正確に求める。HMDを取り囲む容積は同一を保ち得るが、種々のマーカーの位置、向き及び方向は使用中、例えば、HMDを装着しているユーザーが振り返るときに変わり得ることに留意すべきである。ビデオフレーム/画像を解析することにより、HMDの位置、方向及び向きがより正確に測定される。安全対策として、HMDの動きを解析する。その動きが、ある所定閾値を超え、または安全ではないと判定されると(例えば、ユーザーが後ろに倒れるところである)、信号を生成して、HMDの表示画面に現在レンダリングされているインタラクティブシーンを中断することができる。あるいは、その他の形式の警告を生成して、ユーザーが危険な方法で移動している可能性があることをユーザーに知らせてもよい。

HMDは、例えば、HMDの表示部にて、ビデオゲームのインタラクティブシーンに対する視野を提供するように構成されている。HMDを装着しているユーザーは、自身の頭部を任意の方向に動かしてインタラクティブシーンの他の部分を視聴すると共に、ユーザーの頭部の動きに基づき、レンダリングされた仮想インタラクティブシーンで動き回るための入力を与えることができる。一実施形態では、仮想インタラクティブシーンは、リッチな3次元(3D)フォーマットでレンダリングされる。ある構成では、HMDは、当該HMDに提示されるコンテンツをレンダリングするクライアントコンピューティングシステム106と通信するように構成されている。このコンテンツ(例えば、ゲーム、映画、ビデオ、音声、画像、マルチメディアなど)は、別の構成では、遠隔の1台以上のサーバからHMDにクラウドゲーミング基盤112を用いてストリーミングされてもよい。いくつかの実施例では、遠隔サーバ(単数または複数)のコンテンツをクライアントシステムにダウンロードし、次いでHMDに転送してレンダリングさせる。他の実施例では、コンテンツを直接遠隔サーバ(単数または複数)からHMDにストリーミングしてレンダリングさせる。

HMDを装着しているユーザーが画像/深度センサの方を向いているときには、カメラは、HMD110の前面に配置された全てのLED及び/またはマーカーを視認できるはずである。あるいは、カメラは、HMD110の前面に配置された少なくとも1つのLED及び/またはマーカーを追跡できるはずである。クライアントシステムにて利用可能なHMDの幾何学モデルに対し、例えば、ゲームまたは他のプログラムなどの、クライアントシステム上で実行されるプログラムからアクセスすることにより、ユーザーがHMDを装着しているときにユーザーの頭部の(カメラに対する)深度及び向きを求めることができる。例えば、HMDの前面の(例えば、矩形輪郭を描く)各隅に配置された4つのLED、及びHMDの背面に配置された2つのLEDを、画像/ビデオフレームを取得することによって追跡し、それによってユーザーが下、上または左右を見ているかどうかを判定してもよい。LEDに加えて、またはその代わりに、HMDのそれぞれの外面にわたって配置された他のマーカー要素も使用して、頭部の動きの形をとったユーザーの動作に基づき、ユーザーによって装着されているHMDの向き、方向、位置などを求めてもよい。

一実施形態に係る、使用中にHMD110を装着しているユーザーの実施例を図8に示す。本実施例では、HMDの位置状態は、カメラ108によって取得された画像/ビデオフレームから抽出された画像データ802を用いて追跡される。いくつかの実施形態では、HMDの位置状態を追跡することに加えて、ユーザーによって把持され、HMDにレンダリングされているコンテンツに入力を与えるのに用いられるコントローラを追跡してもよい。図8に示すように、コントローラは、カメラ108によって取得されたビデオフレームから抽出された画像データ804を用いて追跡される。図8に、HMDがコンピューティングシステム(すなわち、クライアント装置)106にケーブル806を介して接続されている例示的構成を示す。ケーブル806を用いて、HMDとクライアントコンピューティングシステム106の間でリッチメディアデータ及び信号を送信することができる。一実施形態では、HMDは、ケーブル806を通じて電力を得る。他の実施形態では、HMD用の電力は、電源に接続された別のケーブルを介して得ることができる。さらに別の実施形態では、HMDに充電式電池を搭載して、電源コードを別途使用しないようにすることができる。

図9に、ユーザーがHMDの表示部のインタラクティブシーンを観ている間、ユーザーの動作に基づき、ユーザーが現実世界の物体、シーンの端に近づくとき、他のプレイヤーのゲームゾーンに入るとき、またはクライアントデバイスから遠ざかるように方向を変える/移動するときに、ユーザー(またはプレイヤー)に警告を提供するのに用いられるシステムの実施形態を示す。このシステムを用いて、HMDの表示部にレンダリングされているコンテンツをユーザーの動作に基づいて調節してもよい。図9に示した実施形態は、ビデオゲームのインタラクティブなゲームプレイで2人のプレイヤーが対戦している状況を示す。ビデオゲームからのインタラクティブシーンは、2人のプレイヤーの各HMDの表示部にレンダリングされる。ビデオゲーム用のインタラクティブシーンは、ゲーム機(図9には図示せず)などの、ゲームが実行されているクライアント装置によって提供され、あるいは(ゲームが実行されている)ゲームサーバ204からネットワーク202を介してゲーム機にダウンロードされ、各HMDにレンダリングされる。あるいは、インタラクティブシーンを、ゲームサーバ204からネットワーク202を介してHMD110’に直接ストリーミングしてもよい。インタラクティブシーンは、各HMDの表示部にレンダリングされる。

HMD及びプレイヤーによって操作されているコントローラの位置状態は、1つ以上の画像センサ、慣性センサ及び/または深度センサによって追跡される。画像/ビデオは、コントローラを動かしている手(片手または両手)の動きなどの各プレイヤーの動作、HMD及び/またはコントローラの位置、方向及び向きなどの位置状態の変化を取得する。取得後の画像/ビデオフレームを解析して、各HMDに設けられたLED(1、2、3、4(図示せず)、5及び6)によって定められたマーカーなどの、種々のマーカーの位置を求めることにより、各プレイヤーのHMD及び/またはコントローラの位置状態を検出する。一実施形態では、ゲーム機106などのクライアント装置内のプロセッサは、各HMDに配置されたマーカーの取得後の画像/ビデオフレームを受け取り、それらにおいて取得されたコンテンツを解析することにより、各HMDに配置されたマーカーの取得後の画像/ビデオフレームに基づいてHMDの位置状態を特定する。コントローラに配置されたマーカーに同様の解析を実施して、コントローラの位置状態を正確に求めてもよい。いくつかの実施形態では、各HMDのプロセッサを用いて、各HMDの動きに関する追加データを独立に、または相互に関連して提供してもよい。そのため、HMDのプロセッサは、画像/ビデオデータを収集し、これと同じデータを、解析を行うクライアント装置106に送信する。いくつかの実施形態では、第2のHMDに対する第1のHMDの相対位置は、その他のHMDに設けられたマーカーの画像/ビデオフレームを取得及び解析し、第2のプレイヤーによって装着されているHMDに対する第1のプレイヤーに装着されているHMDの相対位置を計算することによって同様に計算されてもよい。画像/ビデオフレームに基づき、図9に示すように、各プレイヤーA及びBのゲームゾーンを設定してもよい。

クライアント装置106(いくつかの実施形態では、参照番号120によっても参照される(図1))は、種々のセンサによって取得された画像/ビデオフレーム内のデータを解析するのに用いられる複数のモジュールを備えており、HMDの表示部にレンダリングすべき適切なコンテンツを特定し、その適切なコンテンツをHMDに送信する。例えば、クライアント装置106のHMDデータ処理モジュール905は、種々のセンサから受け取った画像/ビデオフレームを解析し、ユーザーによって装着/把持されているHMD及び/またはコントローラの位置状態を求めるのに用いられる。HMDデータ処理モジュール905からの解析情報は、クライアント装置106内の警告処理モジュール906と共有される。一実施形態では、解析から得られた情報により、現実世界の物体の近くにプレイヤーがいること、シーンの端の近くにプレイヤーがいること、別のプレイヤーの近くにプレイヤーがいることなどが識別され得る。例えば、図9に示した実施例では、ビデオゲームとの対話中、プレイヤーAがプレイヤーBのゲームゾーン内に侵入する場合があり、または、プレイヤーBがプレイヤーAのゲームゾーン内に侵入する場合がある。この事例では、それぞれのHMD内に分散された各センサによって取得され、2人のプレイヤーの現実世界のシーン全体にわたる2人のプレイヤーの種々の画像/ビデオを解析して、プレイヤーBのゲームゾーンに対するプレイヤーAの侵入の度合い、またはプレイヤーAのゲームゾーンに対するプレイヤーBの侵入の度合いを求める。ビデオゲーム内のプレイヤーの動作に応じて、かかる侵入により、場合によっては、第1のプレイヤーが第2のプレイヤーにケガをさせる恐れがあり、または、第2のプレイヤーが第1のプレイヤーにケガをさせる恐れがある。プレイヤーの被害を防ぎ、かつ安全なプレイ体験を提供するために、画像/ビデオフレームの解析情報を警告処理モジュール906によって用いて、各プレイヤーに警告するための信号を生成してもよい。

画像/ビデオ情報を解析するHMD処理モジュール905のほかに、ゲームロジックモジュール901が画像/ビデオを解析してもよく、さらに、ゲームロジックモジュール901は、その解析情報をゲーム動作トリガーモジュール902と共有してもよい。この事例では、HMDデータ処理モジュール905は、画像/ビデオ情報をゲームロジックモジュール901と共有する。ゲームロジックモジュールによる解析は、現在実行中のビデオゲームに専用のものであってよく、そのゲームコンテンツを参照して行われてもよい。例えば、ゲームロジックモジュール901は、ゲームの強度に関するコンテンツを参照して、クライアント装置で受け取った画像/ビデオフレームを解析してもよい。ゲームロジックモジュール901からの情報をゲーム動作トリガーモジュール902によって用いて、適切なゲーム専用トリガー動作を開始してもよい。ゲーム専用トリガー動作は、そのゲームが高強度のゲームまたは低強度のゲームであることを識別するフラグを含んでもよい。ゲーム専用トリガー動作は、HMDに送信するための適切な警告信号を生成する警告処理モジュール906に提供されてもよい。

一実施形態では、種々のセンサによって取得された画像/ビデオフレームは、ネットワーク202を介してゲームサーバ204に送信され、ここで、画像/ビデオフレームが解析される。解析されたデータは、ゲーム動作トリガーモジュール902と共有させるためにゲームロジックモジュール901に送信される。解析されたデータに基づき、ゲーム動作トリガーモジュール902は、どの動作トリガーを開始するかを決定する。

ゲームロジックモジュール901で行われたゲーム専用の解析のほかに、システムデータ処理モジュール903も用いてHMDデータ処理モジュールから受け取った画像/ビデオフレームを解析することにより、システム専用の動作トリガーを提供してもよい。例えば、システムデータ処理モジュール903は、システム設定に関連して画像/ビデオフレームを解析して、システム動作トリガーモジュール904に適切なデータを提供してもよい。システム動作トリガー904は、どの動作トリガーを開始するかを決定する。システム動作トリガー904からのデータは、警告処理モジュール906にも転送される。警告処理モジュール906は、ゲーム専用の動作トリガー及びシステム専用の動作トリガー並びにHMDデータ処理モジュール905からのデータを受け取り、HMDプロセッサ用の警告信号を生成する。警告処理モジュール906によって生成された警告信号は、HMDデータ処理モジュール905を通じてHMDに送信される。HMDデータ処理モジュール905では、その信号を用いて、プレイヤーAもしくはプレイヤーBのいずれかまたはその両方のHMDの表示部にてコンテンツに何らかの調節を加える必要があるかどうかを判定する。コンテンツに何らかの調節を加える必要がある場合、HMDデータ処理モジュール905は、適切なデータコンテンツを送信して、HMDの表示部にレンダリングされているインタラクティブシーンを中断する。いくつかの実施形態では、この適切なデータコンテンツにより、HMDを装着しているプレイヤーに警告を伝達してもよい。この警告は、ユーザーによって装着されているHMDの動きに基づいてプレイヤー近くで検出された現実世界の環境安全状況をプレイヤーに通知するためのものであってよい。いくつかの実施形態では、この警告により、プレイヤーによって装着されているHMDの動きに基づいてプレイヤーの近くで検出された現実世界の環境安全状況の重大度をプレイヤーに通知してもよい。例えば、プレイヤーAがプレイヤーBのゲームゾーンへと移動している場合、プレイヤーAのHMDに向けて警告信号を送って、プレイヤーAがプレイヤーBのゲームゾーン内に侵入しつつあることをプレイヤーAに知らせてもよい。この警告信号は、図9に示すように、プレイヤーAが着けているHMDの表示部にレンダリングされるテキスト警告の形態であってもよく、他方、プレイヤーBのHMDは、ビデオゲームのインタラクティブシーンをレンダリングし続ける。一実施形態では、ビデオゲームの強度に応じて、このテキスト警告をプレイヤーAのHMDにて最前面にレンダリングする一方、ビデオゲームのインタラクティブシーンを背景にレンダリングし続けてもよい。本実施形態では、インタラクティブシーンの輝度レベルを低下させて、テキスト警告を明るく提示してもよい。一実施例では、このような低下をゲームの強度に応じて徐々に行い、それによってプレイヤーを混乱させないようにする。テキスト警告に加えて、またはその代わりに、この警告は、触覚形式、音声形式などで与えられてもよい。

図10に、HMD及び/またはコントローラの位置状態を求めるための例示的実施形態を示す。本実施形態では、1つ以上の画像センサ及び/または深度センサを用いて、ユーザーによって装着されているHMD周囲の容積及び/またはユーザーによって操作されているコントローラ周囲の容積を求める。例えば、ステレオカメラなどの深度センサ108を用いて、HMD周囲の容積を求めてもよい。この深度センサ108は、プレイヤーによって装着されているHMDの外面に配置された種々のマーカーの位置を画像/映像内で追跡し、その画像/ビデオに距離アスペクトを関連付ける。コントローラ周囲の容積も同様に求めてよい。図10に示すように、深度センサ108は、HMD周囲の容積303及びコントローラ周囲の容積305を求めてもよい。この容積を用いて、HMD及び/またはプレイヤーによって操作されているコントローラの位置状態をより正確に求めてもよい。

図10A及び10Bに、HMDデータ処理モジュールがHMD及び/またはコントローラ周囲の容積を用いて、HMD/コントローラを装着/操作しているユーザーの向き、位置、方向などの位置状態をどのように求めるかを示す。HMDデータ処理モジュールは、プレイヤー(すなわち、ユーザー)がビデオゲームをプレイしているときに座っているか立っているかを判定してもよい。ビデオゲームは、プレイヤーの姿勢にある制限を課す場合がある。例えば、高強度のゲームの場合、プレイヤーが方向感覚を失わないようにするため、そのビデオゲームでは、ゲームプレイ中にプレイヤーが座っていることが求められる場合がある。プレイヤーが座っている間にビデオゲームのプレイを始め、そのゲームプレイの途中に立ち上がると、HMDデータ処理モジュールは、HMD及び/またはコントローラの高さの変化を求めることにより、ユーザーの姿勢を検出することが可能となり得る。ゲーム上の制限並びにHMD及び/またはコントローラの高さの変化に基づき、警告信号が生成され得る。高さの変化を求めるために、プレイヤーによって装着されているHMDの初期位置を計算する。図10Aに示すように、画像センサ/深度センサは、HMDを取り囲む容積303を定める1つ以上の変数を求める。例えば、画像センサ/深度センサを用いて、HMDを取り囲む領域の高さh(ここで、h=h4−h3)、深さ(d)及び幅w(ここで、w=w1−w2)を求めてもよく、h、d及びwの関数としてHMD周囲の容積を計算してもよい。同様に、コントローラを取り囲む容積は、コントローラ104を取り囲む領域の高さh(ここで、h=h2−h1)、深さd及び幅w(ここで、w=w1−w2)を求めることによって求めてもよく、h、d及びwの関数としてコントローラ104周囲の容積305を計算してもよい。簡単にするため、コントローラを取り囲む領域の幅は、HMDを取り囲む領域の幅と同一であるように示される。コントローラを取り囲む容積の変数(すなわち、幅、高さ及び深さ)は、HMDを取り囲む容積の変数とは異なってもよいことに留意すべきである。

プレイヤーが座ることによって自身の姿勢を変えると、例えば、図10Bに示すように、HMDの高さの変化が画像/深度センサによって検出され、HMDに対し、HMDデータ処理モジュールによって新たな容積が計算される。本実施例では、高さに関する変数が変化したため、画像/深度センサによって取得されたデータを用いてHMDの新たな高さh’(ここで、h’=h4’−h3’)が計算され、w、d、h’の関数としてHMDの新たな容積が計算される。本実施例では、(hの計算に用いられた高さh1、h2、及びwの計算に用いられたw1、w2によって定められる)コントローラ周囲の容積は、同じ状態を保っていてもよい。代替実施例では、コントローラ周囲の容積も変化している場合があり、その結果、コントローラの新たな容積は、コントローラの高さ及び/または幅のそれぞれにおける変化を用いて計算され得る。画像/ビデオフレームによって取得されたプレイヤーの姿勢の変化に基づき、HMDデータ処理モジュール905は、データを送出して、HMDにレンダリングされているコンテンツを調節し、かつ/またはプレイヤーに警告を提供してもよい。この警告は、自らの位置/姿勢などを変えることをプレイヤーに求める要求を含んでもよい。

図10Cに、本発明の一実施形態における、プレイヤーの動作に基づいたHMD/コントローラの位置状態の変化の計算を示す。深度検出カメラ、ビデオカメラなどの外部カメラ115を用いて、プレイヤーによって装着されているHMDの、プレイヤーによって把持されているコントローラに対する相対位置を種々の時刻で追跡してもよい。HMDデータ処理モジュールは、カメラ115からの画像を用いて、HMD/コントローラの位置状態の変化を検出する。(「h」によって定められる)時刻t0でのHMD/コントローラの初期位置、及び(「h」によって定められる)時刻t1でのHMD/コントローラの位置を計算することによって変化を検出する。HMDデータ処理モジュールは、2つの位置の間の差(h−h)が所定閾値を超えているかどうかをさらに判定する。この所定閾値は、プレイヤーによって装着されているHMDの位置の変動をある程度許容するように設定され得るが、このような変動は、プレイヤーが上、下あるいは横を見ることによって生じ得る。

図11A〜11Eに例示的実施形態を示す。この実施形態では、ユーザーの向きが変化することにより、HMDを装着しているユーザーの付近の環境安全状況に変化が生じ得る。HMDの向きの変化を追跡し、その追跡によって求められた、ユーザーの付近で検出された環境安全状況の重大度に基づき、警告信号を生成し、かつ/または、データコンテンツを送信して、プレイヤーのHMDにレンダリングされているインタラクティブシーンを中断してもよい。例えば、図11Aに、HMDを装着しているユーザーが、コントローラを用いて、ゲーム機106上で実行されているビデオゲームと対話している様子を示す。ビデオゲームのインタラクティブシーンは、HMDの表示部にレンダリングされる。コントローラでのユーザーの対話は無線でゲーム機106に送信され、HMDの動きはHMD内のプロセッサによって処理され、処理済みのコンテンツはケーブル806を通じてゲーム機106に送信される。コントローラ及びHMDからの入力は、ビデオゲームへのユーザー入力として使用される。ゲーム機は、ユーザーによって提供された入力に基づき、HMDにレンダリングされているインタラクティブゲームシーンを更新する。様々な実施形態では、ユーザーとプレイヤーは同義的に用いられ、HMDの表示部に提示されたコンテンツと能動的に対話している人を指すことに留意すべきである。コンテンツは、ビデオゲームのインタラクティブゲームシーン、インタラクティブアプリケーション、インタラクティブなソーシャルストリームなどであってよい。ユーザーによって装着されているHMDは、図11Aでは、(例えば、参照番号1〜6によって表される)LED、視覚マーカー、赤外線マーカーなどのマーカー要素を用いて追跡され得る。さらに、その追跡から、時刻t0にて、HMDを装着しているユーザーが、ビデオゲームを実行しているシステム(例えば、ゲーム機12)の画像/深度センサ115に向かって前を向いていることが判定され得る。このゲームプレイ中、ユーザーが回転し始める場合がある。その回転の結果、図11Bに示すように、時刻t1にて利用者は右を向く場合がある。ゲーム機/クライアント装置にHMDを接続するケーブル806は、徐々にユーザーに絡み始めて、ユーザーにとっては安全上の問題となり得る。ユーザーが回転し続けると、ユーザーは、図11Cに示すように、時刻t2では右に回り後ろ向きとなってシステムの画像/深度センサから遠ざかり、図11Dに示すように、時刻t3では左向きになる。ケーブル806は、ユーザーに絡み続ける。ユーザーが回転し続けた場合、ケーブル806は、図11Eに示すように、ユーザーの首及び/または体に絡み続ける可能性がある。この図は、ケーブルがユーザーの首に2回絡まったことを示しているが、それにより、ユーザーにとって潜在的な危険が生じる恐れがある。ユーザーは、この絡まりに気付いていない場合もある。というのも、ユーザーは、ビデオゲームに完全に没入している可能性があるためである。さらに、図11Eから理解できるように、ケーブルが絡まると、ケーブルがピンと張る原因になる。ケーブルがユーザーにとって安全上の問題となり、ユーザーに身体的な危険が生じ、かつ/またはHMDのプラグが抜けるのを防ぐため、HMDデータ処理モジュールは、HMDの位置状態の変化を検出し、環境安全状況を識別し、適切な警告及び/またはデータを自動的に提供して、HMDの表示部にレンダリングされているコンテンツを調節/中断することができる。この回転動作は、例えば、HMDの慣性センサ(1つ以上のジャイロスコープ及び1つ以上の加速度計)によって検出され得る。HMDデータ処理モジュールは、ユーザーによって装着されているHMDの位置データを解析して、コンテンツを調節してもよく、または警告メッセージを提供してもよく、あるいはその両方を行ってもよい。

図11Fに、1つの例示的実施形態における、さらに別の危険を示す。この危険は、ビデオゲームのゲームプレイに依然として没入しつつユーザーがある動作をとるときに、ユーザーに及ぶ可能性があるものである。本実施形態では、(時刻t0で)ビデオゲームをプレイしているユーザーは、ビデオゲームと対話し続けながら、(図11Fの時刻t1及びt2におけるユーザーの位置によって示すように)向きを変えて、ゲーム機から遠ざかるように歩いている場合がある。プレイヤーの位置は、例えば、HMDの外面周囲に配置されたLEDを用いて追跡される。図11Fに示した実施形態では、ユーザーの初期位置は、HMDの前部110a及び後部110bに配置されたLED1〜6を追跡することによって求められる。図11Fでは前部110aにLED2及び4のみが示されているが、HMDの反対側に配置されたLED1及び3も追跡されることに留意すべきである。ゲーム機から遠ざかるユーザーの移動は、HMD表面に設けられたLED1〜6の位置の変化によって判定され得る。例えば、LED2、4、6が移動してカメラ108の視野から遠ざかると、LED1、3及び5などの他の視覚マーカーは、カメラ108の視野に入る。HMDの外面に配置されたLEDを追跡することにより、ユーザーが、例えば、ゲームプレイに完全に没入しながら、カメラに向き合う方からカメラから遠ざかる方に向きを変え、階段に向かって歩き去っていることが判定され得る。HMDデータ処理モジュールは、ユーザーによって装着されているHMDに設けられた種々のLEDの高さ、向き、方向、位置などの位置状態の変化などの、HMDに関するデータの変化を検出し得る。変化したデータを用いて、ユーザーの位置を求め、適切な警告メッセージを提供することができる。例えば、時刻t0にて、HMDを装着しているユーザーの位置が変化していないことが検出されると、結果として、ビデオゲームからのインタラクティブゲームシーンをHMDの表示部にレンダリングし続ける。時刻t1にて、HMDデータ処理モジュールは、ユーザーが向きを変えて、ゲーム機から遠ざかるように歩いていることを検出し、そのユーザー動作に応答して、環境安全状況の重大度レベルを識別する警告信号を生成し、HMDにレンダリングするための適切なデータを送出する。警告信号が低い重大度レベルを識別するときには、重大度レベルを記述する警告メッセージを提示して、HMDにレンダリングされているインタラクティブゲームシーンを拡張する。時刻t2にて、ユーザーが階段に向かって歩き続けていると、HMDデータ処理モジュールは、ユーザーの付近の環境安全状況の重大度を決定し、ユーザーの直近にある現実世界の物体の画像と共に、高い重大度レベルを示す適切な警告メッセージを送信して、HMDにレンダリングさせる。重大度レベルが高いため、画像の送信により、HMDにレンダリングされているインタラクティブゲームシーンが中断され、現実世界の物体の画像がHMDにレンダリングされる。加えて、環境安全状況の重大度を定める警告メッセージもレンダリングする。

ユーザーによって装着されているHMDの状態(すなわち、高さ、向き、方向、位置などの位置状態)の変化は、LEDを追跡することに制限されず、1つ以上の画像センサ、深度センサ及び/もしくは慣性センサ(すなわち、1つ以上のジャイロスコープ、1つ以上の加速度計)、またはそれらの任意の組み合わせを用いて、HMD及びコントローラのそれぞれの外面に配置された、光源、視覚マーカー、赤外線マーカー要素などのマーカー要素の移動及び/または回転を追跡することを含んでもよい。HMD及び/またはコントローラの位置状態の変化が所定閾値を超えていることが検出されると、HMDデータ処理モジュールは、ビデオゲームを停止し、当該ゲームを一時停止し、HMDにレンダリングされているゲームプレイ/インタラクティブシーンを中断し、あるいはHMDを装着しているユーザーの付近の環境に関するデータをレンダリングするように予め設定されてもよい。

状態の変化は、システム専用の動作トリガーを起動するHMDのオペレーティングシステムコード、及びゲーム専用の動作トリガーを起動するゲームコードの両方によって監視されてもよいことに留意すべきである。従って、警告メッセージは、システム専用の動作トリガー及びゲーム専用の動作トリガーに従って生成される。従って、ゲームコードモジュール、HMDのオペレーティングシステム(operating system:OS)のコード、HMDのアプリケーションコード、HMD/OSのコードの組み合わせ、ファームウェア、ゲーム機のソフトウェア、ゲーム機もしくはアプリケーションサーバによって実行されるコード、またはクラウドサーバ上で実行されるコードなどの、ビデオゲームの実行に必要となる種々のコード/コードモジュールは、ユーザーによって装着/操作されているHMD及び/またはコントローラの状態の変化(すなわち、向き、姿勢、位置、方向など)を監視することにより、適切な警告メッセージを生成し、ユーザーに警告するのに用いられる適切なデータを送信し、HMDにレンダリングされているコンテンツを調節する。送信されたデータを用いて、HMDにレンダリングされているコンテンツを徐々に調節することにより、ユーザーをビデオゲームに完全に没入させ、あるいはビデオゲームから徐々に開放させてユーザーが混乱しないようにすることができる。警告メッセージは、音声信号、サウンド信号、テキスト信号、または(動的もしくは静的)グラフィック信号の形態であってよく、またはHMD/コントローラの使用中に安全性の問題をユーザーに警告するためにユーザーに提供可能な信号のその他の形態であってよい。この警告信号が不十分であるために安全性の懸念の発生を防ぐことができない場合、HMDに現在レンダリングしているインタラクティブシーンからHMDを自動的に遷移してもよい。

様々な実施形態の詳細な説明を用いて、コンテンツを調節する、かつ/またはユーザーに警告を提供する方法について図12を参照しながら説明する。この方法は動作1210で開始され、ここでゲームが実行される。このゲームは、クライアント装置、ゲーム機、またはゲームクラウド内のゲームサーバ上で実行され得る。ゲームの実行により、ゲームのインタラクティブシーンが、ユーザーによって装着されているヘッドマウントディスプレイ(HMD)にストリーミングされ、レンダリングされる。動作1220に示すように、ユーザーがゲームと対話している間、ユーザーによって装着されているHMDの位置状態の変化を検出する。この位置状態の変化は、画像センサ、深度センサもしくは慣性センサのうちのいずれか1つまたはそれらの組み合わせを用いて、HMDの種々の外面にわたって分散された1つ以上のマーカーの位置、向き、方向を監視することによって検出され得る。あるいは、位置状態の変化は、HMD内に分散された慣性センサから得られたデータを用いて検出されてもよい。HMDの位置状態の変化が検出されると、動作1230に示すように、その変化を評価する。このように変化を評価することは、HMD内のコードモジュールによって、ゲームのインタラクティブシーンをHMDにてレンダリングするためのデータを提供するクライアント装置上で実行されるゲームのゲームコードモジュールによって、HMDのオペレーティングシステムによって、クライアント装置によって、またはゲームクラウドサーバによって実行され得る。先に述べたように、変化を評価することは、その位置状態の変化が所定閾値を超えているかどうかを判定することを含み得る。HMDの位置状態の変化が所定閾値を超えている場合には、クライアント装置のコードモジュールによって信号が生成される。クライアント装置にて生成された信号に基づき、HMDにデータを送信して、動作1240に示すように、HMDにレンダリングされているコンテンツを中断及び/または調節する。コンテンツの調節は、HMDを装着しているユーザーに対してインタラクティブゲームシーンのコンテンツと共に警告メッセージを提供すること、輝度が低下するようにコンテンツを調節すること、コンテンツから遷移すること、インタラクティブゲームシーンの代わりにユーザーの付近にある現実世界の物体/シーンの画像をレンダリングすることなどであってよい。このようなコンテンツの調節を徐々に行うことにより、中断された後、その信号に応じて、ユーザーは、ビデオゲームから抜け出し、あるいは再度ビデオゲームに徐々に没入することができる。

このように、ヘッドマウントディスプレイのユーザーに警告する技術が開示される。様々な実施形態は、HMD(例えば、LED)、及びコントローラLEDの高さを比較するなどの複数の方法で、HMD及び/またはコントローラの高さ位置を検出し、コントローラ及び/またはLEDによる動きを検出することができる。ある場合には、高強度のビデオゲームなどの一部のゲームは、ゲームのプレイ中に座ることをユーザーに求める可能性がある。かかるゲームの場合、システムは、ゲームのプレイ中にユーザーが立ち上がるときを検出するように監視することができる。このような監視は、高さなどの変数の変化を監視することによって可能にすることができ、さらにこの監視により、適切な警告または中断をインタラクティブゲームシーンに与えることができる。システムは、例えば、ジャイロスコープ、加速度計、HMDに搭載されたLEDの回転、もしくはコントローラのLED、またはそれらの2つ以上の組み合わせを用いて、HMDの動きを検出することにより、HMDのコードが、頻繁に引っ張られていたり、ピンと張りすぎていたり、ユーザーに絡まったりしたときにも検出することができる。かかる信号または状態が一旦検出されると、システムは、適切な警告及び/またはデータを提供して、ゲームシーンから遷移させる。上記状態は、HMDに搭載されたオペレーティングシステムのコード、特定ゲームのコード、ゲーム機のソフトウェア、ゲーム機によって実行されるコード、ゲームで実行されるコード、またはクラウドサーバ上で実行されるコードによって監視される。

具体的な例示的実施形態を参照して実施形態を説明してきたが、本出願の広義の概念及び範囲から逸脱することなく、それらの例示的実施形態に種々の変形及び変更をなすことが可能であることは明白であろう。従って、本明細書及び本図面は、限定的な意味ではなく例示とみなされるべきである。

図13に、本発明のいくつかの実施形態の実装に使用され得るハードウェア及びユーザーインターフェースを示す。図6は、ソニー(登録商標)プレイステーション3(登録商標)エンターテイメントデバイスのシステムアーキテクチャ全体を概略的に示している。プレイステーションの他のバージョンは、これよりも多くのまたは少ない特徴を有し得る。システムユニット1300には、システムユニット1300に接続可能な種々の周辺装置が提供される。システムユニット1300は、セルプロセッサ1302、Rambus(登録商標)ダイナミックランダムアクセスメモリ(XDRAM)ユニット1304、専用ビデオランダムアクセスメモリ(video random access memory:VRAM)ユニット1308を備えたリアリティシンセサイザグラフィックユニット1306、及びI/Oブリッジ1310を備える。また、システムユニット1300は、I/Oブリッジ1310を介してアクセス可能な、ディスク1312aから読み出すためのブルーレイ(登録商標)ディスクBD−ROM(登録商標)光ディスクリーダ1312、及び着脱可能なスロットインハードディスクドライブ(hard disk drive:HDD)1314も備える。任意ではあるが、システムユニット1300は、同様にI/Oブリッジ1310を介してアクセス可能な、コンパクトフラッシュ(登録商標)メモリカード、メモリースティック(登録商標)メモリカードなどを読み出すためのメモリカードリーダ1301も備える。

I/Oブリッジ1310は、6個のUSB(Universal Serial Bus)2.0ポート1316、ギガビットイーサネット(登録商標)ポート1318、IEEE802.11b/g無線ネットワーク(Wi−Fi)ポート1320、及び7つのブルートゥース(登録商標)接続まで対応可能なブルートゥース(登録商標)無線リンクポート1322にも接続されている。

動作時に、I/Oブリッジ1310は、1つ以上のゲームコントローラ110及び1324からのデータを含む、全ての無線、USB、及びイーサネット(登録商標)のデータを処理する。例えば、ユーザーがゲームをプレイしているとき、I/Oブリッジ1310は、ゲームコントローラ110及び1324からブルートゥース(登録商標)リンクを介してデータを受信し、そのデータをセルプロセッサ1302に転送し、セルプロセッサ1302は、ゲームの現在の状態を適宜更新する。

また、無線、USB、及びイーサネット(登録商標)の各ポートを介して、ゲームコントローラ110及び1324のほかに、他の周辺装置も接続することが可能となる。このような周辺装置には、リモコン1326、キーボード1328、マウス1330、ソニーPSP(登録商標)エンターテイメントデバイスなどのポータブルエンターテイメントデバイス1332、プレイステーション(登録商標)アイカメラ1334などのビデオカメラ、形状体1336、及びマイクロホン1338などがある。このため、これらの周辺装置は、原則としてシステムユニット1300に無線で接続され得る。例えば、ポータブルエンターテイメントデバイス1332は、Wi−Fiアドホック接続を介して通信してもよく、他方、形状体1336は、ブルートゥース(登録商標)リンクを介して通信してもよい。

これらのインターフェースを提供することは、プレイステーション3デバイスが、場合によっては、デジタルビデオレコーダ(digital video recorder:DVR)、セットトップボックス、デジタルカメラ、ポータブルメディアプレーヤー、ボイスオーバーインターネットプロトコル(Internet Protocol:IP)電話、携帯電話、プリンタ、及びスキャナなどの他の周辺装置とも互換性があることを意味する。さらに、USBポート1316を介して旧式メモリカードリーダ1340をシステムユニットに接続してもよく、それにより、プレイステーションデバイスまたはプレイステーション2(登録商標)デバイスで用いられる種類のメモリカードの読み出しが可能となる。

ゲームコントローラ110及び1324は、ブルートゥース(登録商標)リンクを介してシステムユニット1300と無線通信するように動作可能である。あるいは、ゲームコントローラ110及び1324は、USBポートに接続されるように動作可能であり、それによってゲームコントローラ110及び1324の電池に充電するための電力も供給する。また、ゲームコントローラ110及び1324は、メモリ、プロセッサ、メモリカードリーダ、フラッシュメモリなどの永続メモリ、照明付き球状面、発光ダイオード(LED)、または赤外線光源などの光放出器、超音波通信用のマイクロホン及びスピーカ、音響室、デジタルカメラ、内部時計、ゲーム機に対向する認識可能な形状、並びにブルートゥース(登録商標)、WiFi(登録商標)などのプロトコルを用いた無線通信手段も備えることができる。認識可能な形状は、実質的に、球体、立方体、平行四辺形、直方体、円錐、角錐、サッカーボール、フットボールもしくはラグビーボール、不完全な球体、球体の断面、角錐台、円錐台、野球バット、切頂立方体、多面体、星形などの形状、またはこれらの形状の2つ以上を組み合わせた形状とすることができる。

ゲームコントローラ1324は、両手で使用するように設計されたコントローラであり、ゲームコントローラ110は、ボールアタッチメント付きの片手用コントローラである。1つ以上のアナログジョイスティック及び従来の制御ボタンに加えて、ゲームコントローラは3次元位置決定の対象となる。従って、ユーザーがゲームコントローラに与えたジェスチャー及び動きは、従来のボタンまたはジョイスティックによるコマンドに加えて、またはその代わりに、ゲームへの入力として変換され得る。任意ではあるが、ソニーPSPポータブルデバイスなどの、無線対応の他の周辺装置をコントローラとして使用してもよい。ソニーPSPポータブルデバイスの場合、追加のゲーム情報または制御情報(例えば、制御命令またはライブの数)が当該デバイスの画面に提示され得る。他の代替的または補助的な制御機器を使用してもよく、これには、ダンスマット(図示せず)、ライトガン(図示せず)、ハンドル及びペダル(図示せず)、または、即答クイズゲーム用の1つもしくは複数の大型ボタン(これも図示せず)などの特注コントローラなどがある。

リモコン1326も、ブルートゥース(登録商標)リンクを介してシステムユニット1300と無線通信するように動作可能である。リモコン1326は、ブルーレイ(登録商標)ディスクBD−ROMリーダ1312の操作、及びディスク内容の閲覧に適した制御を備える。

ブルーレイディスクBD−ROMリーダ1312は、従来の記録済みCD、記録可能CD、及びいわゆるスーパーオーディオCDのほかに、プレイステーションデバイス及びプレイステーション2デバイスと互換のCD−ROMを読み出すように動作可能である。リーダ1312は、従来の記録済みDVD及び記録可能DVDのほかに、プレイステーション2デバイス及びプレイステーション3デバイスと互換のDVD−ROMを読み出すように動作可能である。さらに、リーダ1312は、従来の記録済みブルーレイディスク及び記録可能ブルーレイディスクのみならず、プレイステーション3デバイスと互換のBD−ROMを読み出すように動作可能である。

システムユニット1300は、リアリティシンセサイザグラフィックユニット(RSX)1306を介して、プレイステーション3デバイスによって生成または復号化された音声及びビデオを、音声コネクタ及びビデオコネクタ経由で、ディスプレイ1346及び1つ以上のスピーカ1348またはスタンドアロンスピーカ1350を備えた、モニタまたはテレビ受像機などの表示及び音声出力装置1342に提供するように動作可能である。一実施形態では、音声入力及び注視入力を利用することにより、ユーザーのPOGに応じて、特定の音声話者に向けて音を再生する。音声コネクタ1358は、従来のアナログ出力及びデジタル出力を備え得るが、ビデオコネクタ1360は、コンポーネントビデオ出力、S−ビデオ出力、コンポジットビデオ出力、及び1つ以上の高品位マルチメディアインターフェース(High Definition Multimedia Interface:HDMI(登録商標))出力などを種々備え得る。従って、ビデオ出力は、PALもしくはNTSCなどのフォーマット、または720p、1080iもしくは1080pの高解像度であってもよい。

音声処理(生成、復号化など)はセルプロセッサ1302によって実行される。プレイステーション3デバイスのオペレーティングシステムは、ドルビー(登録商標)5.1サラウンドサウンド、ドルビー(登録商標)シアターサラウンド(Theatre Surround:DTS)、及びブルーレイ(登録商標)ディスクからの7.1サラウンドサウンドの復号化に対応している。

本実施形態では、ビデオカメラ1334は、1つの電荷結合素子(Charge Coupled Device:CCD)、LEDインジケータ、及びハードウェアベースのリアルタイムデータ圧縮・符号化装置を備えており、システムユニット1300による復号化のために、圧縮済みのビデオデータが、イントラ画像ベースのMPEG(motion picture expert group)標準などの適切なフォーマットで送信され得る。カメラのLEDインジケータは、例えば、照明条件が不利であることを示すために、システムユニット1300からの適切な制御データに応答して発光するように配置されている。ビデオカメラ1334の実施形態は、USB、ブルートゥース(登録商標)またはWi−Fi通信ポートを介して、システムユニット1300に様々な方法で接続してもよい。ビデオカメラの実施形態は、これと関連する1つ以上のマイクロホンを備えてもよく、音声データを送信することも可能となり得る。ビデオカメラの実施形態では、CCDは、高解像度のビデオキャプチャに適した分解能を有し得る。使用時に、ビデオカメラによってキャプチャされた画像は、例えば、ゲーム内に取り込まれ、またはゲームの制御入力として解釈され得る。別の実施形態では、カメラは、赤外線光の検出に適した赤外線カメラである。

一般に、システムユニット1300の通信ポートの1つを介して、ビデオカメラまたはリモコンなどの周辺装置とのデータ通信がうまく行われるように、デバイスドライバなどの適切なソフトウェアを提供する必要がある。デバイスドライバ技術は公知であり、ここでは詳細に説明しない。ただし、当業者であれば、デバイスドライバまたは同様のソフトウェアインターフェースが、記載された本実施形態において必要とされ得ることを認識するであろうと言える。

本発明の種々の実施形態に係る、ゲームシステム1100のブロック図を図14に示す。ゲームシステム1100は、1つ以上のクライアント1110にネットワーク1115を介してビデオストリームを提供するように構成されている。ゲームシステム1100は、通常、ビデオサーバシステム1120及び省略可能なゲームサーバ1125を含む。ビデオサーバシステム1120は、最低限のサービス品質で1つ以上のクライアント1110にビデオストリームを提供するように構成されている。例えば、ビデオサーバシステム1120は、ビデオゲーム内の状態または視点を変更するゲームコマンドを受け取り、その状態の変更を反映する更新済みのビデオストリームを最低限の遅延時間でクライアント1110に提供してもよい。ビデオサーバシステム1120は、未定義のフォーマットを含む、多様な代替ビデオフォーマットを用いてビデオストリームを提供するように構成され得る。さらに、ビデオストリームは、多様なフレームレートでユーザーに提示するように構成されたビデオフレームを含み得る。通常のフレームレートは、毎秒30フレーム、毎秒60フレーム、及び毎秒1120フレームであるが、これよりも高いかまたは低いフレームレートは、本発明の他の実施形態に含まれる。

クライアント1110は、本明細書ではそれぞれ1110A、1110Bなどと呼ばれ、ヘッドマウントディスプレイ、端末、パーソナルコンピュータ、ゲーム機、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線機器、デジタルパッド、スタンドアロン機器、携帯型ゲームプレイングデバイス、及び/または同種のものを含み得る。通常、クライアント1110は、符号化されたビデオストリームを受信し、そのビデオストリームを復号化し、得られたビデオをユーザー(例えば、ゲームのプレイヤー)に提示するように構成されている。符号化されたビデオストリームを受信する、かつ/または、そのビデオストリームを復号化する処理には、通常、クライアントの受信バッファ内に各ビデオフレームを記憶することが含まれる。ビデオストリームは、クライアント1110と一体化したディスプレイにおいて、またはモニタもしくはテレビ受像機などの別個の装置においてユーザーに提示されてもよい。クライアント1110は、必要に応じて、2人以上のゲームプレイヤーに対応するように構成されている。例えば、ゲーム機は、2人、3人、4人またはそれ以上の同時プレイヤーに対応するように構成されてもよい。これらのプレイヤーのそれぞれが、独立したビデオストリームを受信してもよく、あるいは、1つのビデオストリームが、各プレイヤー向けに特に生成された(例えば、各プレイヤーの視点に基づいて生成された)フレーム領域を含んでもよい。クライアント1110は、必要に応じて、地理的に分散される。ゲームシステム1100に含まれるクライアントの数は、1つまたは2つから数千、数万またはそれ以上と広範に変わり得る。本明細書で使用する場合、「ゲームプレイヤー」という用語は、ゲームをプレイする人を指すために用いられ、「ゲームプレイングデバイス」という用語は、ゲームをプレイするために使用されるデバイスを指すために用いられる。いくつかの実施形態では、ゲームプレイングデバイスは、ユーザーにゲーム体験を与えるように連携する複数のコンピューティング装置を指す場合がある。例えば、ゲーム機及びHMDは、ビデオサーバシステム1120と連携して、HMDを通して見られるゲームを提供してもよい。一実施形態では、ゲーム機は、ビデオサーバシステム1120からビデオストリームを受信し、ゲーム機は、そのビデオストリーム、または当該ビデオストリームに対する更新をHMDに転送してレンダリングさせる。

クライアント1110は、ネットワーク1115を介してビデオストリームを受信するように構成されている。ネットワーク1115は、電話網、インターネット、無線ネットワーク、電力線ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、プライベートネットワーク、及び/または同種のものなどの任意の種類の通信ネットワークであってよい。通常の実施形態では、ビデオストリームは、TCP/IPまたはUDP/IPなどの標準プロトコルを介して通信される。あるいは、ビデオストリームは、独自規格を介して通信される。

クライアント1110の典型的な実施例は、プロセッサ、不揮発性メモリ、ディスプレイ、復号化ロジック、ネットワーク通信機能、及び入力装置を含むパーソナルコンピュータである。復号化ロジックは、ハードウェア、ファームウェア、及び/またはコンピュータ可読媒体に記憶されたソフトウェアを含み得る。ビデオストリームを復号化(及び符号化)するシステムは、当技術分野では周知であり、使用される特定の符号化方式に応じて変わる。

クライアント1110は、受信したビデオを修正するように構成されたシステムをさらに含み得るが、これは必須ではない。例えば、クライアントは、さらなるレンダリングを実行する、あるビデオ画像を別のビデオ画像の上に重ね合わせる、ビデオ画像を切り取るといったことを行うように構成されてもよい。例えば、クライアント1110は、Iフレーム、Pフレーム、及びBフレームなどの各種のビデオフレームを受信し、これらのフレームを処理してユーザーへの表示用の画像にするように構成されてもよい。いくつかの実施形態では、クライアント1110の一部は、さらなるレンダリング、シェーディング、3Dへの変換、または同様の操作をビデオストリームに行うように構成されている。クライアント1110の一部は、必要に応じて、2つ以上の音声ストリームまたはビデオストリームを受信するように構成されている。クライアント1110の入力装置には、例えば、片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャー認識システム、注視認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、フォースフィードバックデバイス、動き及び/もしくは位置検出デバイス、マウス、タッチスクリーン、神経インターフェース、カメラ、未開発の入力装置、並びに/または同種のものが含まれ得る。

クライアント1110によって受信されたビデオストリーム(及び任意には音声ストリーム)は、ビデオサーバシステム1120によって生成及び提供される。本明細書の他の箇所でさらに説明するように、このビデオストリームはビデオフレームを含む(また、音声ストリームは音声フレームを含む)。ビデオフレームは、ユーザーに表示される画像に対して有意に寄与するように構成されている(例えば、これらのフレームは、適切なデータ構造内に画素情報を含む)。本明細書で使用する場合、「ビデオフレーム」という用語は、例えば、ユーザーに表示される画像に寄与する(例えば、影響を与える)ように構成されている主要情報を含むフレームを指すために用いられる。「ビデオフレーム」に関する本明細書の教示の多くは、「音声フレーム」にも適用することが可能である。

クライアント1110は、通常、ユーザーから入力を受け取るように構成されている。これらの入力は、ビデオゲームの状態を変更する、あるいはゲームプレイに影響を及ぼすように構成されたゲームコマンドを含み得る。このゲームコマンドは、入力装置を用いて受け取ることができ、かつ/またはクライアント1110上で実行される命令をコンピュータ処理することによって自動的に生成され得る。受け取ったゲームコマンドは、クライアント1110から、ネットワーク1115を介してビデオサーバシステム1120及び/またはゲームサーバ1125に通信される。例えば、いくつかの実施形態では、ゲームコマンドは、ビデオサーバシステム1120を介してゲームサーバ1125に通信される。いくつかの実施形態では、ゲームコマンドの各コピーが、クライアント1110からゲームサーバ1125及びビデオサーバシステム1120に通信される。ゲームコマンドの通信は、必要に応じて、コマンドの識別情報に左右される。ゲームコマンドは、必要に応じて、クライアント1110Aから、音声ストリームまたはビデオストリームをクライアント1110Aに提供するのに用いられる別の経路または通信チャネルを通じて通信される。

ゲームサーバ1125は、必要に応じて、ビデオサーバシステム1120以外の別のエンティティによって運用される。例えば、ゲームサーバ1125は、マルチプレイヤーゲームの提供者によって運用されてもよい。本実施例では、ビデオサーバシステム1120は、必要に応じて、ゲームサーバ1125によってクライアントとして見えるようになっており、さらに、必要に応じて、ゲームサーバ1125の立場からは、従来技術のゲームエンジンを実行する従来技術のクライアントとして見えるように構成されている。ビデオサーバシステム1120とゲームサーバ1125の間の通信は、必要に応じて、ネットワーク1115を介して行われる。このようにして、ゲームサーバ1125を、従来技術のマルチプレイヤー用ゲームサーバとすることができる。このゲームサーバは、ゲーム状態情報を複数のクライアントに送信するが、そのうちの1つはビデオサーバシステム1120である。ビデオサーバシステム1120は、ゲームサーバ1125の複数のインスタンスと同時に通信するように構成され得る。例えば、ビデオサーバシステム1120は、複数の異なるビデオゲームを異なるユーザーに提供するように構成することができる。これらの異なるビデオゲームのそれぞれを、異なるゲームサーバ1125によって対応させてもよく、かつ/または異なるエンティティによって提供してもよい。いくつかの実施形態では、ビデオサーバシステム1120の、地理的に分散された幾つかのインスタンスは、複数の異なるユーザーにビデオゲームを提供するように構成されている。ビデオサーバシステム1120のこれらのインスタンスのそれぞれは、ゲームサーバ1125の同様のインスタンスと通信してもよい。ビデオサーバシステム1120と1つ以上のゲームサーバ1125との間の通信は、必要に応じて、専用の通信チャネルを介して行われる。例えば、ビデオサーバシステム1120は、これら2つのシステム間の通信に割り当てられている高帯域幅チャネルを介して、ゲームサーバ1125に接続されてもよい。

ビデオサーバシステム1120は、ビデオソース1130、I/O装置1145、プロセッサ1150、及び非一時的記憶装置1155を少なくとも備える。ビデオサーバシステム1120は、1つのコンピューティング装置を備えてもよく、あるいは複数のコンピューティング装置間に分散されてもよい。これらのコンピューティング装置は、必要に応じて、ローカルエリアネットワークなどの通信システムを介して接続される。

ビデオソース1130は、ビデオストリーム(例えば、ストリーミングビデオ、または動画を構成する一連のビデオフレーム)を提供するように構成されている。いくつかの実施形態では、ビデオソース1130は、ビデオゲームエンジン及びレンダリングロジックを備える。ビデオゲームエンジンは、ゲームコマンドをプレイヤーから受け取り、受け取ったコマンドに基づいてビデオゲームの状態のコピーを保持するように構成されている。このゲーム状態は、通常は視点と共に、ゲーム環境におけるオブジェクトの位置状態を含む。また、ゲーム状態は、オブジェクトの属性、画像、色、及び/または質感を含んでもよい。ゲーム状態は、通常、ゲームルール、並びに、移動、回転、攻撃、フォーカス設定、対話、使用、及び/または同種のものなどのゲームコマンドに基づいて保持される。このゲームエンジンの一部は、必要に応じてゲームサーバ1125に配置される。ゲームサーバ1125は、地理的に分散されたクライアントを用いる複数のプレイヤーから受け取ったゲームコマンドに基づき、ゲームの状態のコピーを保持してもよい。これらの場合、ゲーム状態は、ゲームサーバ1125によってビデオソース1130に提供されるが、ここでは、ゲーム状態のコピーが記憶され、レンダリングが実行される。ゲームサーバ1125は、クライアント1110からネットワーク1115を介してゲームコマンドを直接受け取ってもよく、かつ/または、ビデオサーバシステム1120を介してゲームコマンドを受け取ってもよい。

ビデオソース1130は、通常、レンダリングロジック(例えば、ハードウェア、ファームウェア、及び/または記憶装置1155などのコンピュータ可読媒体に記憶されたソフトウェア)を含む。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作成するように構成されている。レンダリングロジックの全てまたは一部は、必要に応じて、グラフィック処理ユニット(graphics processing unit:GPU)内に配置される。レンダリングロジックは、通常、ゲーム状態及び視点に基づき、オブジェクト間の3次元の空間的関係を求めるように、かつ/または適切な質感などを付与するように構成された処理ステージを含む。レンダリングロジックは、生ビデオを生成する。その後、この生ビデオは、通常、クライアント1110への通信の前に符号化される。例えば、生ビデオは、Adobeフラッシュ(登録商標)規格、ウェーブ(wav)、H.264、H.263、On2、VP6、VC−1、WMA、ハフワイユーブイ(Huffyuv)、ラガリス(Lagarith)、MPG−x、Xvid、FFmpeg、x264、VP6−8、リアルビデオ、mp3などに従って符号化されてもよい。この符号化処理によってビデオストリームが生成されるが、このビデオストリームは、遠隔装置上のデコーダに受け渡すために必要に応じてパッケージ化される。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。通常のフレームサイズには、800×600、1280×720(例えば、720p)、1024×768などがあるが、その他のフレームサイズを使用してもよい。フレームレートは、単位時間当たりのビデオフレーム数である。ビデオストリームは、各種のビデオフレームを含み得る。例えば、H.264規格には、「P」フレーム及び「I」フレームが含まれる。Iフレームは、表示装置の全てのマクロブロック/ピクセルを再描画するための情報を含むのに対し、Pフレームは、それらの一部を再描画するための情報を含む。Pフレームは、Iフレームよりもデータサイズが小さいことが多い。本明細書で使用する場合、「フレームサイズ」という用語は、1フレーム内の画素数を指すことを意味する。「フレームデータサイズ」という用語は、フレームを記憶するのに必要なバイト数を指すために用いられる。

他の実施形態では、ビデオソース1130は、カメラなどのビデオ録画装置を備える。このカメラを用いて、遅延ビデオまたはライブビデオを生成してもよい。このビデオは、コンピュータゲームのビデオストリームに含めることができる。得られたビデオストリームは、必要に応じて、レンダリングされた画像とスチルカメラまたはビデオカメラを用いて記録された画像との両方を含む。また、ビデオソース1130は、予め記録された、ビデオストリームに含めるべきビデオを記憶するように構成された記憶装置を含んでもよい。また、ビデオソース1130は、物体(例えば、人)の動きまたは位置を検出するように構成された動きまたは位置検出装置、並びに、検出された動き及び/または位置に基づき、ゲーム状態を決定する、またはビデオを生成するように構成されたロジックを備えてもよい。

ビデオソース1130は、必要に応じて、他のビデオの上に置くように構成されたオーバーレイを提供するように構成されている。例えば、これらのオーバーレイは、コマンドインターフェース、ログイン指示、ゲームプレイヤーへのメッセージ、他のゲームプレイヤーの画像、他のゲームプレイヤーに対するビデオ供給(例えば、ウェブカムビデオ)を含み得る。タッチスクリーンインターフェースまたは注視検出インターフェースを含むクライアント1110Aの実施形態では、このオーバーレイは、仮想のキーボード、ジョイスティック、タッチパッド、及び/または同種のものを含んでもよい。オーバーレイの一実施例では、プレイヤーの音声を音声ストリームにオーバーレイする。ビデオソース1130は、必要に応じて、1つ以上の音声ソースをさらに含む。

ビデオサーバシステム1120が、2人以上のプレイヤーからの入力に基づいてゲーム状態を保持するように構成されている実施形態では、各プレイヤーは異なる視点を有し得る。この視点には、視野の位置及び方向が含まれる。ビデオソース1130は、必要に応じて、各プレイヤーに対し、彼らの視点に基づいて別々のビデオストリームを提供するように構成されている。さらに、ビデオソース1130は、異なるフレームサイズ、フレームデータサイズ、及び/または符号化されたデータを各クライアント1110に提供するように構成されてもよい。ビデオソース1130は、必要に応じて、3Dビデオを提供するように構成されている。

I/O装置1145は、ビデオサーバシステム1120が情報を送信及び/または受信するように構成されている。このような情報としては、ビデオ、コマンド、情報を求める要求、ゲーム状態、注視情報、装置の動き、装置の位置、ユーザーの動き、クライアント識別情報、プレイヤー識別情報、ゲームコマンド、セキュリティ情報、音声、及び/または同種のものなどがある。I/O装置1145は、通常、ネットワークカードまたはモデムなどの通信ハードウェアを含む。I/O装置1145は、ゲームサーバ1125、ネットワーク1115、及び/またはクライアント1110と通信するように構成されている。

プロセッサ1150は、本明細書に述べたビデオサーバシステム1120の様々な構成要素内に含まれるロジック(例えば、ソフトウェア)を実行するように構成されている。例えば、プロセッサ1150は、ビデオソース1130、ゲームサーバ1125、及び/またはクライアントクオリファイア(Client Qualifier)1160の機能を実行するために、ソフトウェア命令を用いてプログラムされ得る。ビデオサーバシステム1120は、必要に応じて、プロセッサ1150の2つ以上のインスタンスを含む。また、プロセッサ1150は、ビデオサーバシステム1120によって受信されたコマンドを実行するために、または、本明細書に述べたゲームシステム1100の様々な要素の動作を協調させるために、ソフトウェア命令を用いてプログラムされてもよい。プロセッサ1150は、1つ以上のハードウェア装置を含み得る。プロセッサ1150は、電子プロセッサである。

記憶装置1155は、非一時的なアナログ記憶装置及び/またはデジタル記憶装置を含む。例えば、記憶装置1155は、ビデオフレームを記憶するように構成されたアナログ記憶装置を含み得る。記憶装置1155は、コンピュータ読み取り可能なデジタル記憶装置(例えば、ハードドライブ、光学ドライブ、または固体記憶装置)を含み得る。記憶装置1115は、(例えば、適切なデータ構造またはファイルシステムによって)ビデオフレーム、人工フレーム、ビデオフレームと人工フレームの両方を含むビデオストリーム、音声フレーム、音声ストリーム、及び/または同種のものを記憶するように構成されている。記憶装置1155は、必要に応じて、複数の装置間に分散される。いくつかの実施形態では、記憶装置1155は、本明細書の他の箇所に述べたビデオソース1130のソフトウェア構成要素を記憶するように構成されている。これらの構成要素は、必要とされるときに提供できるようなフォーマットで記憶されてもよい。

ビデオサーバシステム1120は、必要に応じて、クライアントクオリファイア1160をさらに備える。クライアントクオリファイア1160は、クライアント1110Aまたは1110Bなどのクライアントの機能を遠隔的に決定するように構成されている。これらの機能には、クライアント1110A自体の機能と、クライアント1110Aとビデオサーバシステム1120の間の1つ以上の通信チャネルの機能との両方を含めることができる。例えば、クライアントクオリファイア1160は、ネットワーク1115を通じて通信チャネルをテストするように構成されてもよい。

クライアントクオリファイア1160は、クライアント1110Aの機能を手動で、または自動で決定する(例えば、見出す)ことができる。手動決定は、クライアント1110Aのユーザーと通信すること、及びそのユーザーに機能の提供を要求することを含む。例えば、いくつかの実施形態では、クライアントクオリファイア1160は、画像、テキスト、及び/または同種のものをクライアント1110Aのブラウザ内に表示するように構成されている。一実施形態では、クライアント1110Aは、ブラウザを搭載したHMDである。別の実施形態では、クライアント1110Aは、HMDに表示され得るブラウザを備えたゲーム機である。表示されたオブジェクトにより、ユーザーに対し、クライアント1110Aのオペレーティングシステム、プロセッサ、ビデオデコーダの種類、ネットワーク接続の種類、ディスプレイ解像度などの情報を入力することが要求される。ユーザーによって入力された情報は、クライアントクオリファイア1160に返送される。

自動決定は、例えば、クライアント1110A上のエージェントを実行することによって、かつ/またはクライアント1110Aにテストビデオを送信することによって行われ得る。エージェントは、ジャバスクリプトなどの、ウェブページに組み込まれ、またはアドオンとしてインストールされたコンピュータ処理命令を含み得る。エージェントは、必要に応じて、クライアントクオリファイア1160によって提供される。様々な実施形態では、エージェントは、クライアント1110Aの処理能力、クライアント1110Aの復号化機能及び表示機能、クライアント1110Aとビデオサーバシステム1120の間の通信チャネルにおける遅延時間の信頼性及び帯域幅、クライアント1110Aの表示方式、クライアント1110Aに存在するファイアウォール、クライアント1110Aのハードウェア、クライアント1110A上で実行されるソフトウェア、クライアント1110A内のレジストリエントリ、及び/または同種のものを知ることができる。

クライアントクオリファイア1160は、ハードウェア、ファームウェア、及び/またはコンピュータ可読媒体に記憶されたソフトウェアを含む。クライアントクオリファイア1160は、必要に応じて、ビデオサーバシステム1120の1つ以上の他の要素とは別個のコンピューティング装置に配置される。例えば、いくつかの実施形態では、クライアントクオリファイア1160は、クライアント1110とビデオサーバシステム1120の2つ以上のインスタンスとの間の通信チャネルの特性を決定するように構成されている。これらの実施形態では、クライアントクオリファイアによって見出された情報を用いて、ビデオサーバシステム1120のどのインスタンスが、クライアント1110の1つに対してストリーミングビデオを配信するのに最適かを決定することができる。

本発明の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースの家電またはプログラマブルな家電、ミニコンピュータ、メインフレームコンピュータなどを含む種々のコンピュータシステム構成を用いて実施され得る。本発明のいくつかの実施形態は、分散コンピューティング環境で実施することもできる。この場合、タスクは、有線ベースのネットワークまたは無線ネットワークを通じて結合された遠隔処理装置によって実行される。

上記の実施形態を念頭に置くことにより、本発明の複数の実施形態は、コンピュータシステムに記憶されたデータに影響を与える種々のコンピュータ実行動作を用いることができることを理解すべきである。これらの動作は、物理量の物理的操作を必要とする動作である。本明細書に記載された、本発明の種々の実施形態の一部を構成する動作はいずれも、有用なマシン動作である。本発明の実施形態のいくつかの実施形態はまた、これらの動作を実行するデバイスまたは装置にも関する。装置は、所望の目的のために特別に構築することができ、あるいは、装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に作動または設定される汎用コンピュータとすることができる。特に、種々の汎用マシンは、本明細書の教示に従って記述されたコンピュータプログラムと共に使用することができ、あるいは、所望の動作を実行するためにより特化された装置を構築することがより好都合となる場合がある。

本発明の種々の実施形態は、コンピュータ可読媒体上のコンピュータ可読コードとして具現化することもできる。コンピュータ可読媒体は、データを記憶可能な任意のデータ記憶装置であり、このデータは、その後、コンピュータシステムによって読み出すことができる。コンピュータ可読媒体の実施例には、ハードドライブ、ネットワークアタッチトストレージ(network attached storage:NAS)、リードオンリーメモリ(ROM)、ランダムアクセスメモリ、コンパクトディスクROM(compact disc−ROM:CD−ROM)、CD−レコーダブル(CD−recordable:CD−R)、CD−リライタブル(rewritable:RW)、磁気テープ、並びに他の光学データ記憶装置及び非光学データ記憶装置が含まれる。コンピュータ可読媒体に、ネットワーク結合のコンピュータシステム上に分散されたコンピュータ読み取り可能な有形媒体を含めることにより、コンピュータ可読コードを分散方式で記憶し、実行することができる。

本方法の動作を特定の順序で説明したが、望ましい方法でオーバーレイ動作の処理が実行される限りは、動作の合間に他のハウスキーピング動作を実行してもよく、または、動作を調整してそれらが若干異なる時間に行われるようにしてもよく、または、処理に関連した様々な間隔で処理動作を行うことを可能にするシステム内に分散されてもよいことを理解すべきである。

上述の発明について、理解しやすくするために幾分詳細に説明してきたが、添付された特許請求の範囲内で一定の変更及び修正をなすことが可能であることは明らかであろう。従って、本実施形態は例示であって限定的ではないとみなされるべきであり、本発明の種々の実施形態は、本明細書に述べた詳細事項に限定されることはないが、添付された特許請求の範囲及びそれらの均等物の範囲内で修正され得る。

Claims (8)

  1. プロセッサによって実行される方法であって、
    ゲームを実行し、前記実行により、前記ゲームのインタラクティブシーンを、ユーザーによって装着されているヘッドマウントディスプレイ(HMD)の表示部にレンダリングし、前記HMDは前記ユーザーによって装着されているときには現実世界環境への視野をブロックするように構成されており、
    前記HMDの現実世界環境内での3次元空間内の座標を決定し、前記座標は前記HMDを装着している前記ユーザーの現在位置を識別するために用いられるものであり、
    前記ゲームの実行中の前記HMDの移動を監視し、前記HMDの前記移動は、前記3次元空間内での前記HMDの1つ以上の座標の変化を識別することで判定されるものであり、
    前記ユーザーが前記現実世界環境内に存在する物理オブジェクトに接近しつつあるときに、前記ユーザーによって装着されている前記HMDの前記1つ以上の座標内の前記変化を評価し、
    前記評価によって前記ユーザーが前記物理オブジェクトへの接近を継続していると判定されたときに、前記物理オブジェクトの画像を前記インタラクティブシーンにブレンド処理し、
    前記評価によって前記ユーザーが前記物理オブジェクトから離れつつあると判定されたときに前記物理オブジェクトの画像をフェードアウトする、方法。
  2. 前記現実世界環境の深度情報情報をマップするために使用可能なデータを集める深度検出デバイスを用いて、前記現実世界環境内の前記物理オブジェクトの位置を判定する、請求項1に記載の方法。
  3. 前記深度検出デバイスは、深度センサ、画像センサ、またはステレオ3次元カメラ、赤外線カメラ、紫外線カメラ、ビデオカメラ、レーダーデバイス、レーザレーダデバイス、深度カメラ、またはこれらの任意の2つ以上の組合せのうちの1つである、請求項2に記載の方法。
  4. 前記物理オブジェクトと前記現実世界環境内の他の物理オブジェクトとの位置を識別するために校正動作を実行し、
    前記物理オブジェクトと前記現実世界環境内の他の物理オブジェクトとの前記位置を用い、前記HMDの前記1つ以上の座標内の前記変化を用いて、前記ユーザー前記物理オブジェクトに接近しつつあるかまたは離れつつあるときの判定を補助する、請求項1に記載の方法。
  5. 前記HMDの前記ディスプレイ部分に、前記ユーザーが前記物理オブジェクトからどのように離れるかについての指示を含む警告を提供する、請求項1に記載の方法。
  6. 前記ブレンド処理では、前記ユーザーが前記物理オブジェクトに近づくにつれて前記物理オブジェクトの前記画像の輝度を増加させる、請求項1に記載の方法。
  7. プロセッサによって実行される方法であって、
    インタラクティブアプリケーションを実行し、前記実行により、前記インタラクティブアプリケーションのインタラクティブコンテンツを、ユーザーによって装着されているヘッドマウントディスプレイ(HMD)の表示部にレンダリングし、前記HMDは前記ユーザーによって装着されているときには現実世界環境への視野をブロックするように構成されており、
    前記HMDの現実世界環境内での3次元空間内の座標を決定し、前記座標は前記HMDを装着している前記ユーザーの現在位置を識別するために用いられるものであり、
    前記インタラクティブアプリケーションの実行中の前記HMDの移動を監視し、前記HMDの前記移動は、前記3次元空間内での前記HMDの1つ以上の座標の変化を識別することで判定されるものであり、
    前記ユーザーが前記現実世界環境内に存在する物理オブジェクトに接近しつつあるときに、前記ユーザーによって装着されている前記HMDの前記1つ以上の座標内の前記変化を評価し、
    前記評価によって前記ユーザーが前記物理オブジェクトへの接近を継続していると判定されたときに、前記物理オブジェクトの画像を前記インタラクティブコンテンツにブレンドし、
    前記評価によって前記ユーザーが前記物理オブジェクトから離れつつあると判定されたときに前記物理オブジェクトの画像をフェードアウトする、方法。
  8. 前記物理オブジェクトと前記現実世界環境内の他の物理オブジェクトとの位置を識別するために校正動作を実行し、
    前記物理オブジェクトと前記現実世界環境内の他の物理オブジェクトとの前記位置を用い、かつ、前記HMDの前記1つ以上の座標内の前記変化を用いて、前記ユーザー前記物理オブジェクトに接近しつつあるかまたは離れつつあるときの判定を補助する、請求項7に記載の方法。
JP2018005646A 2013-09-30 2018-01-17 物理オブジェクトの画像をフェードアウトする方法 Pending JP2018099523A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US201361884900P true 2013-09-30 2013-09-30
US61/884,900 2013-09-30
US14/170,470 2014-01-31
US14/170,470 US9729864B2 (en) 2013-09-30 2014-01-31 Camera based safety mechanisms for users of head mounted displays
US14/333,500 US9630105B2 (en) 2013-09-30 2014-07-16 Camera based safety mechanisms for users of head mounted displays
US14/333,500 2014-07-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017070054 Division 2014-09-23

Publications (1)

Publication Number Publication Date
JP2018099523A true JP2018099523A (ja) 2018-06-28

Family

ID=52740703

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016517455A Active JP6292686B2 (ja) 2013-09-30 2014-09-23 ヘッドマウントディスプレイのユーザー向けカメラベース安全機構
JP2017070054A Pending JP2017148530A (ja) 2013-09-30 2017-03-31 物理オブジェクトの画像をフェードアウトする方法
JP2018005646A Pending JP2018099523A (ja) 2013-09-30 2018-01-17 物理オブジェクトの画像をフェードアウトする方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016517455A Active JP6292686B2 (ja) 2013-09-30 2014-09-23 ヘッドマウントディスプレイのユーザー向けカメラベース安全機構
JP2017070054A Pending JP2017148530A (ja) 2013-09-30 2017-03-31 物理オブジェクトの画像をフェードアウトする方法

Country Status (6)

Country Link
US (4) US9630105B2 (ja)
EP (1) EP3052209A2 (ja)
JP (3) JP6292686B2 (ja)
CN (1) CN105705210A (ja)
RU (1) RU2661857C2 (ja)
WO (1) WO2015048038A2 (ja)

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US9202352B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US9092954B2 (en) 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US10254836B2 (en) 2014-02-21 2019-04-09 Immersion Corporation Haptic power consumption management
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9746901B2 (en) * 2014-07-31 2017-08-29 Google Technology Holdings LLC User interface adaptation based on detected user location
US9990774B2 (en) * 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
US20160064947A1 (en) * 2014-09-02 2016-03-03 Apple Inc. Adjusting Operations in an Electronic Device Based on Environmental Data
US20160070343A1 (en) * 2014-09-09 2016-03-10 Beijing Lenovo Software Ltd. Information processing method and electronic device
KR101930657B1 (ko) 2014-10-24 2018-12-18 유센스, 인코퍼레이티드 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
US10320437B2 (en) * 2014-10-24 2019-06-11 Usens, Inc. System and method for immersive and interactive multimedia generation
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
WO2016093241A1 (ja) * 2014-12-09 2016-06-16 旭化成株式会社 位置方位検出装置及び位置方位検出プログラム
US9996156B2 (en) 2014-12-23 2018-06-12 Immersion Corporation Feedback reduction for a user input element associated with a haptic output device
US10269392B2 (en) 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10055887B1 (en) * 2015-02-19 2018-08-21 Google Llc Virtual/augmented reality transition system and method
US10216277B2 (en) 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
US9952669B2 (en) 2015-04-21 2018-04-24 Immersion Corporation Dynamic rendering of etching input
US10261582B2 (en) 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
AU2015394001C1 (en) * 2015-05-05 2018-12-06 Razer (Asia-Pacific) Pte. Ltd. Methods for controlling a headset device, headset devices, computer readable media, and infrared sensors
US10298281B2 (en) * 2015-05-07 2019-05-21 Nxp B. V. Establishing communication with wireless devices using orientation data
US9910275B2 (en) * 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
US9898091B2 (en) 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
USD772986S1 (en) 2015-06-11 2016-11-29 Oculus Vr, Llc Wireless game controller
US9833700B2 (en) * 2015-06-11 2017-12-05 Oculus Vr, Llc Connectable hand-held controllers for virtual-reality systems
JP2017011436A (ja) * 2015-06-19 2017-01-12 セイコーエプソン株式会社 画像表示装置
CN107533375A (zh) * 2015-06-29 2018-01-02 埃西勒国际通用光学公司 场景图像分析模块
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
EP3133468A1 (en) * 2015-08-17 2017-02-22 Samsung Electronics Co., Ltd. Virtual reality headset for notifying an object and method thereof
US10002429B2 (en) 2015-08-17 2018-06-19 Samsung Electronics Co., Ltd. Apparatus and method for notifying a virtual reality user of real world objects
US10109161B2 (en) 2015-08-21 2018-10-23 Immersion Corporation Haptic driver with attenuation
US9901816B2 (en) * 2015-08-24 2018-02-27 Htc Corporation Interactive game system with an HMD and a ground pad
US20170103574A1 (en) * 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
EP3163407A1 (en) * 2015-10-29 2017-05-03 Samsung Electronics Co., Ltd. Method and apparatus for alerting to head mounted display user
US10474411B2 (en) 2015-10-29 2019-11-12 Samsung Electronics Co., Ltd. System and method for alerting VR headset user to real-world objects
US10007339B2 (en) 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns
US9839840B2 (en) * 2015-11-05 2017-12-12 Oculus Vr, Llc Interconnectable handheld controllers
US9990045B2 (en) 2015-11-12 2018-06-05 Oculus Vr, Llc Method and apparatus for detecting hand gestures with a handheld controller
US10130875B2 (en) 2015-11-12 2018-11-20 Oculus Vr, Llc Handheld controller with finger grip detection
JP6363587B2 (ja) 2015-12-14 2018-07-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および警告提示方法
US9804693B2 (en) * 2015-12-18 2017-10-31 Oculus Vr, Llc Handheld controller with activation sensors
EP3376674A4 (en) * 2015-12-24 2018-11-14 Sony Interactive Entertainment Inc. Frequency band determination device, head-mounted display, method for determining frequency band, and program
JP2017119031A (ja) * 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
US10386922B2 (en) 2015-12-30 2019-08-20 Facebook Technologies, Llc Handheld controller with trigger button and sensor retainer assembly
US10441880B2 (en) 2015-12-30 2019-10-15 Facebook Technologies, Llc Handheld controller with spring-biased third finger button assembly
US9977494B2 (en) 2015-12-30 2018-05-22 Oculus Vr, Llc Tracking constellation assembly for use in a virtual reality system
US10343059B2 (en) 2015-12-30 2019-07-09 Facebook Technologies, Llc Handheld controller with thumbstick guard
US10229541B2 (en) * 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
JP6232649B2 (ja) * 2016-02-18 2017-11-22 国立大学法人名古屋大学 仮想空間表示システム
JP2017150860A (ja) * 2016-02-22 2017-08-31 株式会社キーエンス 光学安全システム
US9939635B2 (en) * 2016-02-29 2018-04-10 Brillio LLC Method for providing notification in virtual reality device
JP5996138B1 (ja) * 2016-03-18 2016-09-21 株式会社コロプラ ゲームプログラム、方法およびゲームシステム
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
KR20190002416A (ko) * 2016-04-27 2019-01-08 로비 가이드스, 인크. 가상 현실 환경을 디스플레이하는 헤드업 디스플레이 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템
US20180144553A1 (en) * 2016-06-09 2018-05-24 Screenovate Technologies Ltd. Method for supporting the usage of a computerized source device within virtual environment of a head mounted device
US20170354883A1 (en) * 2016-06-13 2017-12-14 Sony Interactive Entertainment LLC Method and system for directing user attention to a location based game play companion application
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
CN106125927B (zh) * 2016-06-23 2019-11-29 捷开通讯(深圳)有限公司 图像处理系统及方法
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
EP3264801B1 (en) * 2016-06-30 2019-10-02 Nokia Technologies Oy Providing audio signals in a virtual environment
US10471353B2 (en) * 2016-06-30 2019-11-12 Sony Interactive Entertainment America Llc Using HMD camera touch button to render images of a user captured during game play
US20180015327A1 (en) * 2016-07-15 2018-01-18 Htc Corporation Method, electronic apparatus and recording medium for automatically configuring sensors
US9946337B2 (en) * 2016-07-25 2018-04-17 Immersv, Inc. Utilizing inertial measurement unit data of a head mounted display device to generate inferred comfort data
US20180059812A1 (en) * 2016-08-22 2018-03-01 Colopl, Inc. Method for providing virtual space, method for providing virtual experience, program and recording medium therefor
CN106325512A (zh) * 2016-08-24 2017-01-11 韩龙潇 一种使用状态下监测周围环境的终端
USD835104S1 (en) 2016-09-27 2018-12-04 Oculus Vr, Llc Wireless game controller
US20180093186A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Methods for Providing Interactive Content in a Virtual Reality Scene to Guide an HMD User to Safety Within a Real World Space
US10440240B2 (en) * 2016-09-30 2019-10-08 Sony Interactive Entertainment Inc. Systems and methods for reducing an effect of occlusion of a tracker by people
CN106547353A (zh) * 2016-10-21 2017-03-29 北京小米移动软件有限公司 提醒方法及装置
TWI637287B (zh) * 2016-11-04 2018-10-01 宏達國際電子股份有限公司 在虛擬實境中快速移動的方法、虛擬實境裝置及記錄媒體
GB2556910A (en) 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
GB2557593A (en) * 2016-12-09 2018-06-27 Sony Interactive Entertainment Inc Virtual reality
US10147460B2 (en) 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
US10204455B2 (en) * 2016-12-31 2019-02-12 Intel Corporation Collision prevention for virtual reality systems
US10212428B2 (en) 2017-01-11 2019-02-19 Microsoft Technology Licensing, Llc Reprojecting holographic video to enhance streaming bandwidth/quality
WO2018152689A1 (zh) * 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种探测障碍物技术的数据采集方法以及vr头盔
WO2018152690A1 (zh) * 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种探测障碍物的专利信息推送方法以及vr头盔
US20180260022A1 (en) * 2017-03-07 2018-09-13 Htc Corporation Method suitable for a head mounted device and virtual reality system
CN107066088A (zh) * 2017-03-08 2017-08-18 联想(北京)有限公司 一种交互方法及电子设备
WO2018173399A1 (ja) * 2017-03-21 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10277943B2 (en) * 2017-03-27 2019-04-30 Microsoft Technology Licensing, Llc Selective rendering of sparse peripheral displays based on user movements
US10216260B2 (en) * 2017-03-27 2019-02-26 Microsoft Technology Licensing, Llc Selective rendering of sparse peripheral displays based on element saliency
US20180288392A1 (en) * 2017-04-01 2018-10-04 Intel Corporation Adjusting display content based on user distance detection
US20180293800A1 (en) * 2017-04-06 2018-10-11 Htc Corporation System and method for providing simulated environment
WO2018194637A1 (en) * 2017-04-21 2018-10-25 Hewlett-Packard Development Company, L.P. Object detections for virtual reality
US10366584B2 (en) 2017-06-05 2019-07-30 Immersion Corporation Rendering haptics with an illusion of flexible joint movement
US10194078B2 (en) 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
US10423241B1 (en) * 2017-07-31 2019-09-24 Amazon Technologies, Inc. Defining operating areas for virtual reality systems using sensor-equipped operating surfaces
US20190049558A1 (en) * 2017-08-08 2019-02-14 KC Sense Limited Hand Gesture Recognition System and Method
GB2565836A (en) * 2017-08-25 2019-02-27 Sony Interactive Entertainment Europe Ltd Data processing
GB2567731A (en) * 2017-09-07 2019-04-24 Motorola Mobility Llc Low power virtual reality presence monitoring and notification
US10477298B2 (en) 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
US20190094955A1 (en) * 2017-09-27 2019-03-28 Apple Inc. Range finding and accessory tracking for head-mounted display systems
WO2019066476A1 (en) * 2017-09-28 2019-04-04 Samsung Electronics Co., Ltd. Camera pose and plane estimation using active markers and a dynamic vision sensor
JP2019063174A (ja) * 2017-09-29 2019-04-25 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
GB2567203A (en) * 2017-10-05 2019-04-10 Displaylink Uk Ltd System and method for locally generating data
US20190172252A1 (en) * 2017-12-01 2019-06-06 Koninklijke Kpn N.V. Selecting an Omnidirectional Image for Display
WO2019152617A1 (en) * 2018-02-03 2019-08-08 The Johns Hopkins University Calibration system and method to align a 3d virtual scene and 3d real world for a stereoscopic head-mounted display
EP3542877A1 (en) * 2018-03-20 2019-09-25 InterDigital CE Patent Holdings Optimized content sharing interaction using a mixed reality environment
CN108664887A (zh) * 2018-03-20 2018-10-16 重庆邮电大学 一种虚拟现实体验中的摔倒预警装置和方法
WO2019193251A1 (en) * 2018-04-06 2019-10-10 Nokia Technologies Oy Method and apparatus for signaling of viewing extents and viewing space for omnidirectional content

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245490A (ja) * 2001-02-16 2002-08-30 Sony Corp 画像再生装置、画像再生方法
JP2005165848A (ja) * 2003-12-04 2005-06-23 Canon Inc 複合現実感提示方法および装置
JP2005165778A (ja) * 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2006301924A (ja) * 2005-04-20 2006-11-02 Canon Inc 画像処理方法および画像処理装置
JP2007156561A (ja) * 2005-11-30 2007-06-21 Canon Inc 複合現実感提示方法および複合現実感提示システム
JP2011010126A (ja) * 2009-06-26 2011-01-13 Canon Inc 画像処理装置、画像処理方法
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0226870U (ja) * 1988-08-04 1990-02-21
JPH05304646A (ja) * 1992-04-24 1993-11-16 Sony Corp 映像表示装置
US8068942B2 (en) * 1999-12-15 2011-11-29 Automotive Technologies International, Inc. Vehicular heads-up display system
GB2301216A (en) 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US5838262A (en) * 1996-12-19 1998-11-17 Sikorsky Aircraft Corporation Aircraft virtual image display system and method for providing a real-time perspective threat coverage display
US7107539B2 (en) * 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
JP3492942B2 (ja) * 1999-06-30 2004-02-03 株式会社東芝 装着型情報呈示装置および方法および記憶媒体
US6375570B1 (en) * 2000-06-29 2002-04-23 Igt Gaming device displaying an exhibition for replacing video reels
JP2002073246A (ja) * 2000-08-25 2002-03-12 Minolta Co Ltd 映像表示システム
JP2003337963A (ja) 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
JP2005025563A (ja) * 2003-07-03 2005-01-27 Canon Inc 仮想現実感生成方法
JP4600290B2 (ja) * 2004-01-29 2010-12-15 コニカミノルタホールディングス株式会社 視覚補助表示装置
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
US7677734B2 (en) * 2004-04-09 2010-03-16 Arthur Wallace Audiovisual distraction in patients undergoing surgery with regional anesthesia
US8040361B2 (en) 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
US8935006B2 (en) * 2005-09-30 2015-01-13 Irobot Corporation Companion robot for personal interaction
JP4883774B2 (ja) * 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US9891435B2 (en) 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
JP2008148874A (ja) * 2006-12-15 2008-07-03 Aruze Corp リールによってシンボルの配置を行うスロットマシン
EP1990674A1 (en) * 2007-05-09 2008-11-12 Harman Becker Automotive Systems GmbH Head-mounted display system
RU2011124757A (ru) 2008-12-01 2013-01-10 Вижуал Доумейнз Лтд. Способ и система для просмотра визуального контента, отображаемого в виртуальном трехмерном пространстве
JP2010134649A (ja) 2008-12-03 2010-06-17 Canon Inc 情報処理装置、その処理方法及びプログラム
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
JP2011008351A (ja) * 2009-06-23 2011-01-13 Canon Inc 画像処理方法及び画像処理装置
WO2011066850A1 (en) * 2009-11-12 2011-06-09 Tomtom Belgium N.V. Navigation system with live speed warning for merging traffic flow
JP2011128838A (ja) * 2009-12-17 2011-06-30 Panasonic Corp 画像表示装置
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9129295B2 (en) * 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9285589B2 (en) * 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20120206485A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP5039808B2 (ja) 2010-03-16 2012-10-03 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、及びプログラム
TW201203030A (en) 2010-03-16 2012-01-16 Intel Corp A gaming system with safety features
EP2402838A1 (en) 2010-07-03 2012-01-04 Fachhochschule Dortmund Methods and device for the determination and/or feedback and/or control of the effective measurement space in motion capturing systems
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP5691568B2 (ja) * 2011-01-28 2015-04-01 ソニー株式会社 情報処理装置、報知方法及びプログラム
RU111703U1 (ru) * 2011-02-08 2011-12-20 Федеральное агенство воздушного транспорта Федеральное государственное образовательное учреждение высшего профессионального образования "Московский государственный технический университет гражданской авиации" (МГТУГА) Тренажерный комплекс для обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле
JP2012173772A (ja) * 2011-02-17 2012-09-10 Panasonic Corp ユーザインタラクション装置、ユーザインタラクション方法、ユーザインタラクションプログラム、及び集積回路
JP2012186660A (ja) * 2011-03-06 2012-09-27 Sony Corp ヘッド・マウント・ディスプレイ
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
CN103033936A (zh) * 2011-08-30 2013-04-10 微软公司 具有虹膜扫描剖析的头戴式显示器
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
JP5923926B2 (ja) * 2011-10-24 2016-05-25 ソニー株式会社 ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法
US8704882B2 (en) 2011-11-18 2014-04-22 L-3 Communications Corporation Simulated head mounted display system and method
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US20130293530A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9317971B2 (en) 2012-06-29 2016-04-19 Microsoft Technology Licensing, Llc Mechanism to give holographic objects saliency in multiple spaces
US9105210B2 (en) 2012-06-29 2015-08-11 Microsoft Technology Licensing, Llc Multi-node poster location
EP2879022A4 (en) * 2012-07-27 2016-03-23 Nec Solution Innovators Ltd Three-dimensional user-interface device, and three-dimensional operation method
GB2504999B8 (en) 2012-08-17 2015-04-22 Sony Comp Entertainment Europe Apparatus and method for object positioning
US20150193977A1 (en) 2012-08-31 2015-07-09 Google Inc. Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
DE102012217573A1 (de) * 2012-09-27 2014-03-27 Krones Ag Bediensystem für eine Maschine
US9812046B2 (en) * 2013-01-10 2017-11-07 Microsoft Technology Licensing, Llc Mixed reality display accommodation
WO2014128747A1 (ja) 2013-02-19 2014-08-28 株式会社ブリリアントサービス 入出力装置、入出力プログラム、および入出力方法
JP6057396B2 (ja) 2013-03-11 2017-01-11 Necソリューションイノベータ株式会社 3次元ユーザインタフェース装置及び3次元操作処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245490A (ja) * 2001-02-16 2002-08-30 Sony Corp 画像再生装置、画像再生方法
JP2005165778A (ja) * 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2005165848A (ja) * 2003-12-04 2005-06-23 Canon Inc 複合現実感提示方法および装置
JP2006301924A (ja) * 2005-04-20 2006-11-02 Canon Inc 画像処理方法および画像処理装置
JP2007156561A (ja) * 2005-11-30 2007-06-21 Canon Inc 複合現実感提示方法および複合現実感提示システム
JP2011010126A (ja) * 2009-06-26 2011-01-13 Canon Inc 画像処理装置、画像処理方法
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム

Also Published As

Publication number Publication date
US9873049B2 (en) 2018-01-23
JP6292686B2 (ja) 2018-03-14
US20150094142A1 (en) 2015-04-02
WO2015048038A2 (en) 2015-04-02
US10124257B2 (en) 2018-11-13
EP3052209A2 (en) 2016-08-10
JP2016541035A (ja) 2016-12-28
RU2661857C2 (ru) 2018-07-19
CN105705210A (zh) 2016-06-22
WO2015048038A3 (en) 2015-07-02
RU2016117101A (ru) 2017-11-09
US20170203213A1 (en) 2017-07-20
US9908049B2 (en) 2018-03-06
JP2017148530A (ja) 2017-08-31
US9630105B2 (en) 2017-04-25
US20190070506A1 (en) 2019-03-07
US20180093184A1 (en) 2018-04-05
US20160214016A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
US9551873B2 (en) Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US9250703B2 (en) Interface with gaze detection and voice input
US9753549B2 (en) Gaming device with rotatably placed cameras
EP3116616B1 (en) Gaming device with volumetric sensing
KR101741864B1 (ko) 모션 캡처 시스템에서 사용자 의도 인식
KR20100125421A (ko) 일체형 카메라를 구비하는 컨트롤러 및 인터랙티브 응용프로그램과 인터페이스 하는 방법
CN103357177B (zh) 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用
US9524024B2 (en) Method to control perspective for a camera-controlled computer
EP3110516B1 (en) Methods and systems for social sharing head mounted display (hmd) content with a second screen
US9818225B2 (en) Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US9599818B2 (en) Obstacle avoidance apparatus and obstacle avoidance method
TWI594174B (zh) 頭戴顯示器之追蹤系統、方法及裝置
TWI555561B (zh) 頭戴式顯示器及用於執行呈現在頭戴式顯示器之螢幕上的遊戲之方法
EP3117263B1 (en) Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments
US9423880B2 (en) Head-mountable apparatus and systems
US8899752B2 (en) Visual fatigue level measuring device, visual fatigue level measuring method, visual fatigue level measuring system, and three-dimensional glasses
EP3003517B1 (en) Image rendering responsive to user actions in head mounted display
CN105378596B (zh) 用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法
US10073516B2 (en) Methods and systems for user interaction within virtual reality scene using head mounted display
US9984505B2 (en) Display of text information on a head-mounted display
CN105377117B (zh) 基于用户的光学处方的头戴式显示器
JP6526184B2 (ja) 眼追跡によるリアルタイムレンズ収差補正
JP2016528942A (ja) より少ないホップにより拡張仮想現実シーンをヘッドマウントシステム内に生成するためのシステム及び方法
CN106664401B (zh) 用于在与内容交互时向用户提供反馈的系统和方法
US10150042B2 (en) Sharing recorded gameplay

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191028