JP2015502584A - 可搬装置、仮想現実システムおよび方法 - Google Patents

Abstract

【課題】【解決手段】可搬装置は、現実世界における可搬装置のユーザの視線方向を特定するように構成された視線方向センサと、現実世界におけるユーザの位置を特定するように構成された位置特定器とを備える。さらに、可搬装置は、現実世界におけるユーザの視線方向およびユーザの位置に基づいて、現実世界の３Ｄ座標系における視線方向の変化が仮想世界の３Ｄ座標系における視線方向の変化をもたらす仮想世界を生成するように構成された処理部を備える。可搬装置は、生成された仮想世界を、現実世界の視界を遮りつつユーザに表示するように構成された表示装置をさらに備える。

Description

本発明は、可搬装置に関する。本発明はさらに、仮想現実システムに関する。

これまで、仮想環境において現実のようにユーザが行動および移動することができるファーストパーソン・ゲームを実現することは、可能ではなかった。その理由は、主に２つの問題があるからである。第１に、物体の視線方向を充分に正確に特定することが可能でなかった。第２に、既知のシステムでは、物体の位置特定を数センチメートル単位で正確に行うことができなかった。さらに、システムと実際に情報交換を行うため、処理時間は最小限のものでなくてはならない。第３に、現在の手法は、例えば、航空用または自動車用として知られているトレッドミルまたはシミュレータからのいわゆる二次元サイバーウォーク・プラットフォームのような、大なり小なり制限されたハードウェア設備に適用される。

サイバーウォーク・プラットフォームは、床に対するグランド・コントロールや頭部に対する大型の電子装置を導入しなければならず、非常に柔軟性の低い。さらに、他のユーザと互いに影響し合うことが、そのような装置が寄与しているあらゆる人に対して必要となる。

本発明の課題は、完全に仮想的な環境または仮想の世界にいる印象をユーザに伝えることができるコンセプトを作り出すことである。

この課題は請求項１に記載の可搬装置および請求項１８に記載の方法によって解決される。

本発明により、現実世界における可搬装置のユーザの視線方向を特定するように構成された視線方向センサを備える可搬装置が創出される。さらに、可搬装置は、現実世界におけるユーザの位置を特定するように構成された位置特定器を備える。さらに、可搬装置は、現実世界におけるユーザの視線方向およびユーザの位置に基づいて、現実世界の３Ｄ座標系における視線方向の変化が仮想世界の３Ｄ座標系における視線方向の変化をもたらす仮想世界を生成するように構成された処理部を備える。さらに、可搬装置は、生成された仮想世界を、現実世界の視界を遮りつつユーザに表示するように構成された表示装置を備える。

異なるセンサ情報（現実世界におけるユーザの位置および視線方向のような）が組み合わされて仮想世界を作り出すときに、さらに、現実世界の視界が遮られつつ仮想世界がユーザに表示されるときに、可搬装置が、完全に仮想的な世界にいる印象をユーザに伝えることができるというのが、本発明の考えである。したがって、現実世界におけるユーザの移動は、可搬装置によって検出されことができ、仮想世界におけるユーザの移動に移植される（または移される）ことができる。ユーザの現実世界の視界を遮ることによって、可搬装置は、ユーザが完全に仮想的な世界にいるという印象を伝えることができる。

したがって、可搬装置は、温度、天候および時間に依存しない仮想現実または仮想世界を模擬することができ、その中でユーザは自由に移動でき、その仮想現実または仮想世界とユーザが相互に作用することができる。さらに、可搬装置は、複数のそのような可搬装置を備える仮想現実システムの１つの事象での２人以上のユーザの統合を可能とする。一例として、各ユーザが独自の可搬装置を持ち、それが他の可搬装置と直接または外部通信装置によって通信することができる。

可搬装置は、ユーザによって手で携帯され得るハンドヘルド装置であってもよい。可搬装置の表示装置は、例えば、ユーザが１つの装置だけを手に持ち、それが表示装置も備えるように、処理部、位置特定器および視線方向センサと１つの筐体で一緒にされていてもよい。さらに、表示装置は、視線方向センサ、位置特定器および処理部とは異なる筐体にあってもよい。例えば、処理部は無線通信インターフェイスまたは有線通信インターフェイスによって表示装置に接続されていてもよい。一例として、可搬装置は、表示装置を備える眼鏡を構成してもよい。

さらに、完全な可搬装置として、例えば、ユーザが可搬装置を手に持つ必要がなくそれを頭部に装着できるように、眼鏡に一体化されていてもよい。

前述したように、表示装置は、生成された仮想世界を、現実世界の視界を遮ることによってユーザに表示するように構成されている。いくつかの実施形態によると、表示装置は、表示装置によって現実世界の視界を遮ってもよく、これは表示装置が現実世界ではなく仮想世界のみを見せることを意味する。これは、仮想要素が現実世界の視界に仮想的に配置される増強型の現実システムとは大きく異なる。

言い換えると、ユーザは、表示装置を見つめていないときだけ、現実世界を見ることができる。

さらに、例えば表示装置が眼鏡に備えられている構成において、表示装置および眼鏡が、ユーザが表示装置を直接見つめていないときであっても、眼鏡を装着しているユーザの現実世界の視界が遮られるように構築されていてもよい。

現実の正確なセンサデータ（例えば、視線方向センサおよび位置特定器からの）に基づいて仮想的に作られた完全な環境を与えるシステムまたは可搬装置を提供することが、本発明の利点である。これによって、ユーザは、現実の環境において物理的に行動する一方で、仮想環境を見てそれと相互に作用することができる。ユーザは、この仮想環境において、現実にいるかのように行動および移動することができる。したがって、ユーザは、スクリーン上でアバターを制御することなく自身で行動および移動することによって、ゲーム（ユーザが自宅の自身のワークステーションで最近プレイしたもの）を一人でプレイすることができる。

本発明の実施の形態を以下に詳細に説明する。

本発明の実施形態に係る可搬装置のブロック図である。 図１に示す可搬装置のアプリケーションの一例の説明図である。 本発明の実施形態に係る仮想現実システムのブロック図である。 本発明のさらなる実施形態に係る仮想現実システムのブロック図である。 本発明の実施形態に係る方法のフローチャートである。

添付図を用いて本発明の実施形態を詳細に説明するにあたり、同じ要素または同じ機能を有する要素には同じ参照符号が与えられ、同じ参照符号が与えられた要素についての反復する説明は省略されることを指摘しておく。したがって、同じ参照符号を有する要素に対して与えられる説明は、相互に交換可能である。

図１は、本発明の実施形態に係る可搬装置１００のブロック図を示す。可搬装置１００は、視線方向センサ１０１と、位置特定器１０３と、処理部１０５と、表示装置１０７とを備える。視線方向センサ１０１は、現実世界における可搬装置１００のユーザの視線方向１１１を特定するように構成されている。

位置特定器１０３は、現実世界におけるユーザの位置１１３を特定するように構成されている。処理部１０５は、現実世界におけるユーザの特定された視線方向１１１およびユーザの特定された位置１１３に基づいて、現実世界の３Ｄ座標系における視線方向１１１の変化が仮想世界の３Ｄ座標系における視線方向の変化をもたらす仮想世界を生成するように構成されている。

さらに、表示装置は、現実世界の視界を遮りつつ（例えば、表示装置１０７によって）、生成された仮想世界をユーザに表示するように構成されている。

本出願の導入部で述べたように、可搬装置１００は、ユーザが現実の環境または世界において物理的に行動しているが、仮想環境または世界を見ている、または仮想環境または世界と相互に作用するように、現実の正確なセンサデータ（例えば、視線方向センサ１０１および位置特定器１０３からの）に基づいて、仮想的に作られた完全な環境または世界を与えることができる。ユーザは、この仮想環境または世界において、現実にいるかのように行動または移動することができる。したがって、ユーザは、スクリーン上のコントローラであるアバターなしに、自身で行動および移動することによって、ゲーム（彼が自宅のこのワークステーションで最近プレイしたもの）を一人でプレイすることができる。

視線方向は、微細電子機械システム（ＭＥＭＳ）によって、この場合では主にジャイロスコープによって、充分に正確に導出できることが見出された。そのようなジャイロスコープは、配向の角度変化を特定するのに使用できる。動作が遅い磁力計（その性質上遅い）および慣性センサである視線方向センサ１０１と組み合わされたセンサ情報（ジャイロスコープからの）により、視線方向センサ１０１は、速い移動または方向変化であっても、視線方向１１１を非常に正確に導出することができる。

言い換えると、視線方向センサ１０１は、１つのタイプのセンサまたは複数の異なるタイプのセンサを備えてもよく、それに基づいて視線方向センサは、視線方向１１１を特定する。一例として、視線方向センサ１０１は、現実世界におけるユーザの移動を導出するためのジャイロスコープセンサ、加速度計センサおよび／または磁力計センサを備えてもよく、ジャイロスコープセンサのデータ、加速度計センサのデータおよび／または磁力計センサのデータに基づいて視線方向１１１を導出するように構成されていてもよい。これによって、現実世界におけるユーザの視線方向１１１の非常に正確な特定が可能となる。上述したように、処理部１０５は、現実世界の３Ｄ座標系における視線方向の変化が仮想世界の３Ｄ座標系における視線方向の変化をもたらすように、仮想世界を生成するように構成されている。したがって、視線方向センサ１１１は、三次元的な様式でのユーザの視線方向を特定し、この視線方向がその後処理部１０５によって三次元仮想世界に移植され得ることがわかる。言い換えると、視線方向センサ１１１は、水平方向におけるユーザの回転を特定できるだけでなく、鉛直方向における視線方向１１１の変化を特定するようにも構成されている。したがって、処理部１０５は、例えば、現実世界における水平方向での視線方向１１１の変化が、仮想世界における水平方向の視線方向の変化（例えば、同調変化）をもたらし、現実世界における鉛直方向での視線方向１１１の変化が、仮想世界における鉛直方向での視線方向の変化（例えば、同調変化）をもたらすように、水平方向および鉛直方向における視線方向１１１の変化を、生成された仮想世界に移植するように構成されている。または言い換えると、いくつかの実施形態によると、仮想世界のユーザの視線方向の変化は、現実世界におけるユーザの視線方向１１１に対して整列されてもよく、または少なくとも比例してもよい。

したがって、ユーザは、三次元的な様式での自身の視線方向を変化させ、その結果仮想世界における三次元的な様式での視線方向の変化をもたらすことによって、現実世界でのように仮想世界と相互に作用することができる。

さらに、処理部１０５は、現実世界の３Ｄ座標系におけるユーザの位置の変化が仮想世界の３Ｄ座標系におけるユーザの位置の変化をもたらすように、仮想世界を生成するように構成されることができる。言い換えると、現実世界におけるユーザの位置１１３が変化する（例えば、位置特定器１０３によって特定される）と、処理部１０５は、仮想世界におけるユーザの位置の変化を模擬することができる。

いくつかの実施形態によると、仮想世界におけるユーザの位置の変化は、現実世界におけるユーザの位置１１３の変化に対して一致してもよく、または少なくとも比例してもよい。

言い換えると、処理部１０５は、視線方向センサ１０１からのセンサデータを位置特定器１０３からの位置データと組み合わせて、可搬装置１００（これはハンドヘルド装置であり得る）の、それゆえユーザの、位置１１３およびその地点での視線方向１１１を正確に導出するように構成されている。

本発明のいくつかの実施形態によると、位置特定器１０３は、特にＧＰＳシステムと比べた場合に、ユーザの位置１１３の検出を高精度で可能とするリアルタイム位置確認システム（ＲＴＬＳ）センサであってもよい。さらに、そのようなＲＴＬＳシステムの使用によって、ＧＰＳがカバーしていない領域での（例えば、宅内またはＧＰＳ衛星への交信がない他の領域での）可搬装置１００の使用が可能となる。

いくつかの実施形態によると、位置特定システム（例えば、特定された位置１１３に対する）に対する測定誤差は、数センチメートル許容できる。

例えば、図４による仮想現実システムとの関連で記載されているようないくつかの実施形態によると、移動領域（これは、そのような仮想現実システムが送信機で位置特定を行うことができる領域である）は、可搬装置１００の実際の位置１１３が仮想環境または仮想世界において重ねられ得るように探査できる。可搬装置１００（または視線方向センサ１０１および位置特定器１０３のようなモーションセンサのみ）を頭部に直接装着することによって、その人は、仮想現実または仮想世界において、現実世界にいるかのように手を回し、あたりを見回すことができる。前述したように、位置特定器１０３は、リアルタイム位置特定システムに基づくものでもよい。一例として、位置特定器１０３は、可搬装置１００についての移動領域を探査し、可搬装置１００の位置１１３を位置特定器１０３に送信する外部（例えば、地上）通信装置と通信するように、構成されていてもよい。可搬装置１００の位置１１３を特定するために、可搬装置１００は、その位置１１３が外部通信装置によって特定される電子（位置特定可能）タグ１１５（またはトランスポンダ）を備えてもよい。位置特定可能な電子タグ１１５（理想的には同様に頭部に取り付けられる）によって、その人またはユーザが移動することができ、可搬装置１００は、仮想世界または環境における正しい位置から、画像を表示装置１０７上に描写（レンダリング）することができる。

まとめると、可搬装置１００は、外部通信装置によって位置特定される電子タグ１１５を備えることができ、位置特定器１０３は、外部通信装置から受信される通信信号に基づいて、現実世界におけるユーザの位置１１３を特定するように構成されている。一例として、外部通信装置は、到来時間差（ＴＤｏＡ）、到来時間（ＴｏＡ）、到来方向（ＤｏＡ）またはＲＲＳ（ＲＲＳ：Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ）の測定を行うことができ、これらの測定値の１つ以上に基づいて、可搬装置１００の位置１１３を特定することができ、位置１１３を、通信信号として位置特定器１０３に送信することができる。

したがって、本発明のいくつかの実施形態では、位置特定器１０３は、ＷＬＡＮインターフェイス（ＷＬＡＮ：Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信インターフェイスまたは装置として実装されることができる。

さらなる実施形態によると、位置特定器は、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＵＭＴＳ（Ｕｎｉｆｉｅｄ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄ）、またはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）インターフェイスのような移動体通信インターフェイスであってもよい。

本発明のいくつかの実施形態によると、電子タグ１１５の機能は、位置特定器１０３の機能から独立していてもよい。一例として、電子タグ１１５は、受動ＲＦＩＤタグのような、独自の電圧源を有さないいわゆる受動タグであってもよい。言い換えると、電子タグ１１５は、可搬装置１００の他の部材から電子的に分離されていてもよく、さらには、可搬装置１００の他の部材とは異なる筐体に配置されていてもよい。

さらなる実施形態によると、電子タグ１１５は、独自の電圧源を有する、または可搬装置１００の残りの部材と電圧源を共有する能動タグであってもよい。この場合であっても、電子タグ１１５の機能は、位置特定器１０３の機能とは独立していてもよい。例えば、電子タグ１１５および位置特定器１０３は、ともに外部通信装置と通信できるのみであるため、それらは互いに通信できなくてもよい。本発明の非常に簡素な実施形態では、電子タグ１１５は、有効な起動信号を外部通信装置から受信してシリアル番号を送る、いわゆる読み取り専用トランスポンダであってもよい。外部通信装置は、シリアル番号を受信することができ、前述したような位置特定測定を行って電子タグ１１５の、それゆえユーザの位置１１３を特定することができ、この位置１１３を、可搬装置１００の位置特定器１０３に送信することができる。

一例として、電子タグ１１５以外の可搬装置１００の全部材（視線方向センサ１０１、位置特定器１０３、表示装置１０７および処理部１０５など）は、携帯電話（例えば、いわゆるスマートフォン）の一部となり得る一方で、電子タグ１１５は、携帯電話に（外部に）取り付けられる。言い換えると、電子タグ１１５（または「位置送信機」）は、可搬装置１００の残りから分離されている。これは、より簡素でより安価な実装の利点である。そのような携帯電話において、位置特定器１０３は、位置情報および他のデータを受信するために、携帯電話のＷＬＡＮインターフェイスまたはＵＭＴＳインターフェイスを用いて実装されていてもよい。ユーザの位置１１３を特定するためにＷＬＡＮおよびＲＴＬＳシステムを用いる場合、２．４ＧＨｚ標準はＲＴＬＳシステムと衝突するので、実施形態によっては、５ＧＨｚのＷＬＡＮに制限される。さらに、位置情報を受信するためにＵＭＴＳを使用すると、２００ｍｓまでの大きな遅延がもたらされることがある。

さらなる実施形態によると、表示装置１０７は、例えばケーブルを用いて処理部１０５に接続される外部表示装置であってもよい。言い換えると、表示装置１０７は、必ずしも携帯電話の通常の表示装置である必要はなく、例えば、眼鏡を構成する外部表示装置であってもよい。

さらに、表示装置１０７は、可搬装置１００が２つの画像を描写しそれらを眼鏡に表示することができるように、処理部１０５に接続可能である３Ｄ仮想現実用眼鏡を構成してもよい。

さらなる実施形態によると、可搬装置１００は、スピーカ１１７またはスピーカ用のコネクタ１１７を備えてもよい。処理部１０５は、例えば、現実世界または仮想世界におけるユーザの視線方向および／または位置に応じて、オーディオ信号１１９をスピーカ１１７またはスピーカ用のコネクタ１１７に供給するように構成されていてもよい。表示装置１０７との関連で、現実世界におけるユーザの視線方向１１１および位置１１３に応じて、視覚覚効果が非常に現実的に行われる。一例として、ヘッドフォンが可搬装置１００におけるコネクタ１１７に接続されてもよい。したがって、可搬装置１００またはハンドヘルドは音声効果を生成し、それを現実にいるかのように耳に送信することができる。例えば、滝の音が、（仮想の）滝に向けられた耳が他方の耳よりも大きい振幅の音を受信するように調整されて、ハンドヘルド上に生成される（またはメモリから再生されることができる）。

まとめると、処理部１０５は、現実世界におけるユーザの視線方向１１１および／または位置１１３に基づいて、スピーカ１１７またはコネクタ１１７に接続されたスピーカで、音を生成するように構成されることができる。

さらなる実施形態によると、可搬装置１００は、現実世界における環境条件１２３を特定するように構成された環境条件センサ１２１を備えてもよい。処理部１０５は、現実世界における環境条件１２３の変化が、生成された仮想世界における変化をもたらすように、環境条件１２３に基づいて仮想世界を生成するようにさらに構成されることができる。一例として、環境条件センサ１２１は、光および／または温度センサであってもよい。可搬装置１００のそのような光および／または温度センサを用いることによって、仮想現実または仮想世界が、まず、現在の日時および太陽の照射を有する現実を描写するように図られる。したがって、例えば、現実世界における現在の温度が非常に暑い場合、仮想現実を、この条件に従って描写することができる。

さらなる実施形態によると、特定された環境条件１２３として、湿度、気圧、温度、光の条件（明るさまたは暗さなど）、加速度、磁界（磁界の強さ）、相対配向（例えば、ジャイロスコープによって特定される）、風力、臭気、音または３６０°の距離測定を用いることができる。

言い換えると、環境条件センサ１２１として、湿度センサ、気圧センサ、温度センサ、光センサ、加速度センサ、磁界センサ、相対配向センサ（例えば、ジャイロスコープ）、風力センサ、臭気センサ、音センサ（１つ以上のマイクロフォンなど）または３６０°距離センサを用いることができる。

いくつかの実施形態によると、特定された環境条件１２３は、現実世界における温度または湿度のように、現実世界におけるユーザに視認可能でなくてもよい。処理部１０５は、生成される仮想世界において、特定された環境条件１２３をグラフィックで可視化するように構成されていてもよい。一例として、現実世界における温度が非常に高く、湿度が非常に低い場合、処理部１０５は、ユーザが仮想的に移動する砂漠を模擬することによって、この環境条件１２３をグラフィックで可視化することができる。他の例として、高温および高湿度の場合には、処理部１０５は、ユーザが仮想的に移動する熱帯雨林を模擬することによって、この特定された環境条件１２３をグラフィックで可視化することができる。

さらなる実施形態によると、処理部１０５は、現実世界における物体が位置する現実世界の３Ｄ座標系における位置に対応する仮想世界の３Ｄ座標系における位置に、仮想世界における仮想の物体を生成するように構成されることができる。この機能を、可搬装置１００の簡略なアプリケーション例を用いて、以下に説明する。

可搬装置１００は、例えば、ゲームアプリケーションにおいて使用されるが、安全が重要なアプリケーションにおいても使用される。

一例として、火災緊急時の場合において、消防士は、燃えている建物内で進むために、可搬装置１００を装備することができる。可搬装置１００（例えば、処理部１０５）は、消防士がその表示装置１０７を介して仮想世界を見ながら建物内で現実世界において移動することができるように、燃えている建物の完全な仮想複製を作成するように構成される。これの利点は、たとえ建物内での火災のため可視性が異常に悪い場合であっても、消防士は、可搬装置１００の支援を受けて、建物内で依然として進むことができる。現実世界における物体、例えば、ドアまたは階段が、仮想世界において処理部１０５によって模擬される。言い換えると、処理部１０５は、仮想の建物の３Ｄ座標系において、仮想世界における仮想の物体、例えば、仮想の階段または仮想のドアを、現実世界（現実の建物）の３Ｄ座標系におけるもの（それらの現実の位置）に対応する仮想世界の３Ｄ座標系における位置に生成する。

言い換えると、処理部１０５は、物体のデータベースに基づいて、ユーザが行動する現実世界の仮想的な複製として仮想世界を生成するように構成されることができる。

一例として、現実の物体および現実世界の３Ｄ座標系におけるそれらの位置は、可搬装置１００または上記の外部通信装置、例えば、中央サーバに配置できる物体データベースに記憶されていてもよい。処理部１０５は、物体データベースに基づいて仮想の物体を生成するように構成されることができる。さらに、前述したように処理部１０５は、特定された環境条件１２３を、生成された仮想世界において可視化するように構成されることができる。この例では、処理部１０５は、消防士が、暑い領域、例えば閉じたドアの裏を、この閉じたドアの裏に高温源が位置することを知るように、例えば赤いドアを模擬するなどして、異なる色で模擬することができる。

このアプリケーションでは、典型的には、現実世界における現実の物体は、処理部１０５によって仮想世界における仮想の物体に置き換えられ、それは、現実世界における現実の物体と同様または同一である。

さらなる実施形態によると、例えば、ゲームのアプリケーションでは、処理部１０５は、現実世界における現実の物体に置き換わる仮想世界における仮想の物体が、現実世界における現実の物体のように同様のユーザの挙動をもたらすように、現実世界における現実の物体を仮想世界における仮想の物体に置き換えるように構成されることができる。そのような例を図２に示す。

図２に示す例は、ゲームのアプリケーションである。この例では、ユーザは、現実世界の３Ｄ座標系において移動している。現実世界の３Ｄ座標系は、ｘ成分、ｙ成分およびｚ成分を有する三次元ベクトルによって記述され、これらは全て互いに直交する。したがって、現実世界におけるユーザの位置および視線方向は、三次元ｘｙｚベクトルによって記述される。仮想世界の３Ｄ座標系は、ｘ’成分、ｙ’成分およびｚ’成分を有する三次元ベクトルによって記述され、これらは全て互いに直交する。したがって、仮想世界におけるユーザの位置および視線方向は、三次元ｘ’ｙ’ｚ’ベクトルによって記述される。

上述したように、仮想世界におけるユーザの視線方向および／または位置の変化は、現実世界におけるユーザの視線方向および／または位置の変化に一致させられる。

図２に示す例では、木々が示されており、それは現実の物体２０１を表す。これらの現実の物体２０１は、可搬装置１００の処理部１０５によって、現実の物体２０１のように同様のユーザの挙動をもたらす１つ以上の仮想の物体２０３に置き換えられる。図２に示す例では、処理部１０５は、現実の木々２０１を仮想の壁２０３に置き換える。この仮想の壁２０３は、現実の木々２０１のように同様のユーザの挙動をもたらし、例えば、ユーザは木に衝突することを避けるであろうし、壁に衝突することも避けるであろう。現実の物体２０１は（図２の例では、木々２０１）は、処理部１０５が物体データベースに基づいて仮想の物体（例えば、壁２０３）を生成することができるように、現実世界における場所と一緒に物体データベースに記憶される。さらに、処理部１０５は、ユーザが行動する現実世界は同じ状態のままであるものの、処理部１０５が仮想世界を生成する方法が、ユーザがプレイする別々のゲームに対して異なるように、またはユーザがプレイするゲームの別々のゲーム状況に対して異なるように、ユーザがプレイするゲームに従って仮想世界を生成するように構成されてもよい。一例として、他のゲーム状況または他のゲームにおいて、現実の木々２０１は、他の仮想の物体、例えば、現実の木々２０１のように同様のユーザの挙動をもたらす淵、フェンスまたは急な岩に置き換えられる。

したがって、処理部１０５は、現実世界は同じ状態のままであるが、ゲームまたはゲーム状況に応じて、仮想世界の生成を適合させることができる。したがって、ユーザは、２つの異なるゲームまたは２つの異なるゲーム状況中に、現実世界の同じ領域において移動および行動することができるが、処理部１０５が完全に異なる仮想世界を生成することに起因して、完全に異なる仮想体験を有することができる。

さらなる実施形態によると、処理部１０５は、現実世界におけるユーザの特定された位置１１３および／または視線方向１１１の精度の変化に応えて、仮想の物体の詳細さのレベルまたはサイズを変化させるように構成されることができる。一例として、処理部１０５は、ユーザの位置１１３を特定するために現在使用されている位置特定アルゴリズムに応じて、仮想の物体の詳細さのレベルまたはサイズを選択することができる。一例として、リアルタイム位置情報シテスムＲＴＬＳは、典型的には全地球測位網ＧＰＳよりもはるかに高精度であるので、ユーザの位置１１３がＧＰＳ位置確認システムまたはアルゴリズムに基づいて特定される場合、仮想の物体の詳細さのレベルは、ユーザの位置１１３を特定するためにＲＴＬＳシステムまたはアルゴリズムが使用される場合よりも低く選択される。一例として、提示された消防士の例では、１ｍ未満の精度で充分であるが、デジタル双方向ゲームでは、１０ｃｍ未満のより高い精度が必要である。まとめると、仮想現実または仮想世界は、位置特定アルゴリズムまたはシステムの精度に依存する（すなわち、位置特定システムの精度が低いほど、仮想世界における要素の精度は低くなる）。

一例として、処理部１０５は、現実世界におけるユーザの特定された位置１１３の精度が減少すると、仮想の物体２０３のサイズを増加させ、または仮想の物体２０３の詳細さのレベルを減少させるように構成される。さらなる例として、処理部１０５は、現実世界におけるユーザの特定された位置１１３の精度が増加すると、仮想の物体２０３のサイズを減少させ、または仮想の物体２０３の詳細さのレベルを増加させるように構成される。したがって、一方では可能な限り現実的に仮想世界が生成され、他方ではその位置の不正確な特定のためユーザが偶発的に物体に衝突することがないことが保証される、ということを達成できる。

本発明の実施形態のさらなる観点は、リアルタイムの観点である。すなわち、人間を苛立たせないように、視線方向の変化が充分に速く特定されなければならない。これは、一方ではハードウェアまたはセンサが充分に正確で且つ速くなければならず、他方では仮想世界の描写が充分に速く起こらなければならないことを意味する。いくつかの実施形態によると、４０ｍｓの最大遅延（これは１秒あたり２５画像における１画像分の遅延に相当する）が許容される。他の実施形態では、許容遅延は２０ｍｓである。位置データの遅延は、視線方向データの遅延ほどは仮想的印象に影響を与えないので、測位データはより遅延されてもよい。

さらに、前述したように、可搬装置１００は、例えば、ＧＰＳ信号に基づいて、あるいは、可搬装置１００の位置を例えば電子タグ１１５に基づいて特定する外部の（例えば地上の）通信装置の補助により、自身で現実世界におけるその位置、それゆえユーザの位置１１３、を特定するように構成される。外部の通信装置の補助により位置を特定する場合、可搬装置１００は、基盤設備によって（例えば外部通信装置のアンテナによって）位置特定され、特定された位置１１３は、無線通信によって可搬装置１００に送信される。

さらなる実施形態によると、現実性を向上するために、仮想世界の事象を現実世界に帰還させるフォースフィードバック装置を使用して、物理現象情報を伝達することができる。そのような物理現象には、例えば人工知能によって制御された雨、地震、またはコンピュータプレイヤとの物理的な相互作用がある。

言い換えると、処理部１０５はさらに、適切なフォースフィードバック装置（例えば、ユーザに取り付けられる）に供給されるフォースフィードバックデータを生成するように構成されることができる。

本発明のいくつかの実施形態によると、視線方向センサ１０１は、ジャイロスコープセンサ部、加速度計センサ部および／または磁力計センサ部などの種々のセンサ部を備えることができる。視線方向センサ１０１は、これらの種々のセンサ部からのセンサデータに基づいて、現実世界におけるユーザの視線方向１１１を特定することができる。

図３は、可搬装置１００の処理部１０５によって受信および生成される種々のデータ信号および通信信号を模式的に示す。図３からわかるように、可搬装置１００は、例えば可搬装置１００が仮想環境上の詳細を無線通信により受信する外部通信ユニットで、サーバ３０１と通信するように構成されることができる。

さらに、モバイル装置１００は、現実世界において行動する異なるプレイヤまたはユーザの同期の情報を受信することができる。したがって、可搬装置１００は、仮想世界における仮想の物体を生成するだけでなく、現実世界において可搬装置１００のユーザと一緒に行動する他のユーザを表示するようにも構成される。したがって、可搬装置１００は、局所化可能な領域にいる他の人々との交流を、単に各ユーザが可搬装置１００を有することによって可能にする。

さらに、図３から、可搬装置１００は、その位置データ１１３を、ＲＴＬＳ位置特定装置３０３から受信できることがわかる。ＲＴＬＳ位置特定装置３０３は、例えば外部通信装置に一体化される。図３に示す例において、位置特定器１０３は、それを通して可搬装置１００が位置データをＲＴＬＳ位置特定装置３０３から受信する通信インターフェイスであってもよい。

図４は、本発明のさらなる実施形態に係る仮想現実システム４００のブロック図を示す。仮想現実システム４００は、本発明の実施形態による可搬装置を備える。図４に示す例では、仮想現実システム４００は、図１に示す可搬装置１００を備える。さらに、仮想現実システム４００は、可搬装置１００の外部に配置された地上通信装置４０１を備える。例えば、地上通信装置４０１が第１の筐体に配置されていてもよく、可搬装置１００が、第１の筐体とは異なる第２の筐体に配置されていてもよい。可搬装置１００は、典型的にはユーザによって携帯されるが、地上通信装置４０１は、典型的にはそこから移動されない（地上通信装置の使用時に）所定の位置に配置される。可搬装置１００の位置特定器１０３は、地上通信装置４０１から受信される無線通信信号４０３に基づいて、現実世界におけるユーザの位置１１３を特定するように構成されている。

地上という用語は、可搬装置１００のユーザの位置１１３を特定するのに、ＧＰＳ衛星のような衛星が関与しないことを意味する。一例として、地上通信装置４０１は、ＲＴＬＳアルゴリズムによって可搬装置１００の位置を特定するように構成される。

さらに、地上通信装置４０１は、専用の移動領域を探査して複数のユーザが持つ複数の可搬装置１００の位置を特定し、複数の可搬装置１００の位置を複数の可搬装置１００に送信するように構成される。したがって、いくつかの実施形態では、仮想現実システム４００は、複数の可搬装置１００を備えることができる。

まとめると、本発明の実施形態は、ユーザが無線装置または可搬装置１００を持ち、（現実世界で）位置特定可能な領域にいる他の人々と相互に作用する仮想現実手法を提供する。他の仮想現実のアプリケーションの多くは、このような相互作用的、現実的かつ簡便なフレームワークを提供しない。さらに、このような良好な正確さで人々の位置を特定することは、多くの人々には利用可能ではなかったので、他の手法は、このような特徴について配慮さえもしなかった。

可能な使用形態は、広範囲にわたる。例えば、現実的なゲームアプリケーションを提供することができる。そのようなゲームは、どのようなファーストパーソン・ゲームでもよい。また、スーパーマーケットおよび店舗がそれらの仮想環境を提供することができ、人々は、あたかも実際にそのマーケットにいるかのように歩くことができるようになる。他のアプリケーションは、コンサートまたはテレビ番組の（生）放送であり、ユーザは、テレビの前に座っていなくても、あたかもその場所にいるかのように実際に感じることができるようになる。多種多様な他のアプリケーションが可能である。要するに、人が、その人自身として、他の人々およびアイテムと相互に作用することができるような、いかなるアプリケーションも可能である。

したがって、本発明の実施形態は、リアルタイム位置特定システム（ＲＴＬＳ）およびモーションセンサと協働して、センサ融合およびハンドヘルド装置上でのリアルタイム描写によって双方向リアルゲームをプレイするためのシステムを提供する。そのようなシステムは、完全に仮想的な環境にいるという感覚をユーザに伝えることができる。リアルタイム位置特定システム、複数のセンサデータおよびレンダリングハードウェアを用いることによって、温度、天気および時間に依存しない仮想現実をユーザに対してシミュレートすることが可能であり、その中でユーザは、自由に移動でき、相互に作用できる。さらに、実施形態によっては、システムの１つの事象での２人以上のユーザの実装を可能とする。

本発明の実施形態は、ユーザが、キーボード上のキーを押すことなく、またはコンピュータのマウスで指すことなく、仮想世界または仮想環境の中を自身の足で歩くことを可能とする。

図５は、本発明の実施形態に係る方法５００のフローチャートを示す。

方法５００は、現実世界におけるユーザの視線方向を特定するステップ５０１を含む。

さらに、方法５００は、現実世界におけるユーザの位置を特定するステップ５０３を含む。

さらに、方法５００は、現実世界におけるユーザの視線方向およびユーザの位置に基づいて、現実世界の３Ｄ座標系における視線方向の変化を仮想世界の３Ｄ座標系における視線方向の変化をもたらす仮想世界を生成するステップ５０５を含む。

さらに、方法５００は、生成された仮想世界を、現実世界の視界を遮りつつユーザに対して表示するステップ５０７を含む。

方法５００は、本発明の実施形態に係る可搬装置によって、例えば、図１に示す可搬装置１００によって、実行される。

方法５００は、装置に関して本明細書に説明した特徴および機能のいずれかによって補完されてもよく、その装置のハードウェア構成部品を用いて実装できる。

いくつかの観点を装置との関連で説明したが、これらの観点は、対応する方法の説明も表し、ここで、ブロックまたは装置が方法ステップまたは方法ステップの特徴に対応することは明らかである。同様に、方法ステップとの関連で説明した態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表す。方法ステップの一部または全部は、例えば、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路のようなハードウェア装置によって（またはそれを用いて）実行されることができる。いくつかの実施形態において、最も重要な方法ステップのいずれか１つ以上が、そのような装置によって実行されてもよい。

特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアにおいて実装されることができる。その実装は、それぞれの方法が行われるようにプログラマブルコンピュータシステムと協働する（または協働することができる）電子的に可読な制御信号が記憶されたデジタル記憶媒体、例えば、フレキシブルディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）またはフラッシュメモリを用いて行われることができる。したがって、デジタル記憶媒体は、コンピュータ読み取り可能である。

本発明に係るいくつかの実施形態は、本明細書に記載された方法の１つが行われるようにプログラマブルコンピュータシステムと協働することができる電子的に可読な制御信号を有するデータキャリアを備える。

一般に、本発明の実施形態は、プログラムコードでコンピュータプログラム製品として実装されることができ、プログラムコードは、コンピュータプログラム製品がコンピュータで稼働するときに方法の１つを行うために動作する。プログラムコードは、例えば、機械読み取り可能なキャリアに記憶されることができる。

他の実施形態は、本明細書に記載された方法の１つを行うための、機械読み取り可能キャリアに記憶されたコンピュータプログラムである。

言い換えると、本発明の方法の実施形態は、それゆえ、コンピュータプログラムがコンピュータで稼働するときに、本明細書に記載された方法の１つを行うためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載された方法の１つを行うためのコンピュータプログラムが記録された状態で備えるデータキャリア（またはデジタル記憶媒体またはコンピュータ読み取り可能な媒体）である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には有形および／または非一時的である。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載された方法の１つを行うためのコンピュータプログラムを表すデータストリームまたは信号列である。データストリームまたは信号列は、例えば、データ通信接続を介して、例えば、インターネットを介して転送されるように構成されることができる。

さらなる実施形態は、本明細書に記載された方法の１つを行うように構成または適合された処理手段、例えば、コンピュータまたはプログラマブルロジック装置を備える。

さらなる実施形態は、本明細書に記載された方法の１つを行うためのコンピュータプログラムがインストールされたコンピュータを備える。

本発明によるさらなる実施形態は、本明細書に記載された方法の１つを行うためのコンピュータプログラムを受信機に転送する（例えば、電子的にまたは光学的に）ように構成された装置またはシステムを備える。受信機は、例えば、コンピュータ、モバイル装置、またはメモリ装置などであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えることができる。

いくつかの実施形態では、本明細書に記載された方法の機能の一部または全部を行うのにプログラマブルロジック装置（例えば、フィールドプログラマブルゲートアレイ）が使用される。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載された方法の１つを行うために、マイクロプロセッサと協働することができる。一般に、方法は任意のハードウェア装置によって行われることが好ましい。

上述した実施形態は、本発明の原理の単なる説明にすぎない。本明細書に記載された構成および詳細の変更例および変形例は、当業者には明らかとなることが理解される。したがって、本発明は、本明細書の実施形態の詳述および説明としてここに提示された具体的詳細によってではなく、以下の特許請求の範囲によってのみ限定されるものである。

Claims (19)

1. 現実世界におけるユーザの視線方向（１１１）を特定するように構成された視線方向センサ（１０１）と、
   前記現実世界におけるユーザの位置（１１３）を特定するように構成された位置特定器（１０３）と、
   前記現実世界におけるユーザの視線方向（１１１）およびユーザの位置（１１３）に基づいて、前記現実世界の３Ｄ座標系における視線方向（１１１）の変化が仮想世界の３Ｄ座標系における視線方向の変化をもたらす仮想世界を生成するように構成された処理部（１０５）と、
   前記仮想世界を、前記現実世界の視界を遮りつつユーザに表示するように構成された表示装置（１０７）と
   を備え、
   前記処理部（１０５）は、前記仮想世界の３Ｄ座標系における位置に、前記仮想世界における仮想の物体（２０３）を生成するように構成され、
   前記処理部（１０５）は、前記現実世界におけるユーザの位置（１１３）の精度の変化に応じて、前記仮想の物体（２０３）の詳細さのレベルまたはサイズを変化させるように構成されている、
   可搬装置（１００）。
2. 請求項１に記載の可搬装置（１００）において、前記処理部（１０５）は、ユーザの位置（１１３）を特定するために現在使用されている位置特定アルゴリズムに応じて、前記仮想の物体の詳細さのレベルまたはサイズを選択するように構成されている、可搬装置（１００）。
3. 請求項１または２に記載の可搬装置（１００）において、前記処理部（１０５）は、前記現実世界におけるユーザの特定された位置（１１３）の精度が減少すると、前記仮想の物体（２０３）のサイズを増加させ、または前記仮想の物体（２０３）の詳細さのレベルを減少させるように構成されている、可搬装置（１００）。
4. 請求項１から３のいずれか１項に記載の可搬装置（１００）において、前記処理部（１０５）は、前記現実世界におけるユーザの特定された位置（１１３）の精度が増加すると、前記仮想の物体（２０３）のサイズを減少させ、または前記仮想の物体（２０３）の詳細さのレベルを増加させるように構成されている、可搬装置（１００）。
5. 請求項１から４のいずれか１項に記載の可搬装置（１００）において、前記処理部（１０５）は、前記現実世界の３Ｄ座標系における記ユーザの位置（１１３）の変化が、前記仮想世界の３Ｄ座標系におけるユーザの位置の変化をもたらすように、前記仮想世界を生成するようにさらに構成されている、可搬装置（１００）。
6. 請求項１から５のいずれか１項に記載の可搬装置（１００）において、
   前記現実世界における環境条件（１２３）を特定するよう構成された環境条件センサ（１２１）をさらに備え、
   前記処理部（１０５）は、前記現実世界における環境条件（１２３）の変化が前記仮想世界における変化をもたらすように、前記環境条件センサにより特定された環境条件（１２３）に基づいて前記仮想世界を生成するようにさらに構成されている、
   可搬装置（１００）。
7. 請求項６に記載の可搬装置（１００）において、前記特定された環境条件（１２３）は温度もしくは湿度であり、または、前記環境条件センサ（１２１）は光センサである、可搬装置（１００）。
8. 請求項６または７に記載の可搬装置（１００）において、
   前記特定された環境条件（１２３）は、前記現実世界においてユーザに視認可能でなく、
   前記処理部（１０５）は、前記仮想世界において、前記特定された環境条件（１２３）をグラフィックで可視化するように構成されている、
   可搬装置（１００）。
9. 請求項１から８のいずれか１項に記載の可搬装置（１００）において、前記処理部（１０５）は、前記現実世界における現実の物体（２０１）が位置する前記現実世界の３Ｄ座標系における位置に対応する前記仮想世界の３Ｄ座標系における位置に、前記仮想世界における仮想の物体（２０３）を生成するように構成されている、可搬装置（１００）。
10. 請求項９に記載の可搬装置（１００）において、前記処理部（１０５）は、前記現実世界における現実の物体（２０１）に置き換わる前記仮想世界における仮想の物体（２０３）が、現実の物体（２０１）のように同様のユーザの挙動をもたらすように、前記現実世界における現実の物体（２０１）を前記仮想世界における仮想の物体（２０３）に置き換えるように構成されている、可搬装置（１００）。
11. 請求項９または１０に記載の可搬装置（１００）において、
    前記処理部（１０５）は、前記現実世界における現実の物体（２０１）およびそれらの場所が記憶された物体データベースを備え、または前記処理部（１０５）は、前記現実世界における現実の物体（２０１）およびそれらの場所に関する物体情報を受信するように構成されており、
    前記処理部（１０５）は、前記物体データベースまたは受信された前記物体情報に基づいて、前記仮想の物体（２０３）を生成するように構成されている、
    可搬装置（１００）。
12. 請求項１から１１のいずれか１項に記載の可搬装置（１００）において、前記位置特定器（１０３）は、地上位置特定アルゴリズムに基づいて前記現実世界におけるユーザの位置（１１３）を特定するように構成されたリアルタイム位置特定システム装置である、可搬装置（１００）。
13. 請求項１から１２のいずれか１項に記載の可搬装置（１００）において、
    外部通信装置によって位置特定可能である電子タグ（１１５）をさらに備え、
    前記位置特定器（１０３）は、前記外部通信装置から受信される通信信号に基づいて前記現実世界におけるユーザの位置（１１３）を特定するように構成されている、
    可搬装置（１００）。
14. 請求項１３に記載の可搬装置（１００）において、前記電子タグ（１１５）の機能は、前記位置特定器（１０３）の機能から独立している、可搬装置（１００）。
15. 請求項１から１４のいずれか１項に記載の可搬装置（１００）において、
    前記可搬装置（１００）はゲームコントローラであり、
    前記処理部（１０５）は、ユーザが行動する前記現実世界は同じ状態のままであるものの、前記処理部（１０５）が前記仮想世界を生成する方法が、ユーザがプレイする異なるゲームに対して、またはユーザがプレイするゲームの異なるゲーム状況に対して異なるように、ユーザがプレイするゲームに従って前記仮想世界を生成するように構成されている、可搬装置（１００）。
16. 請求項１から１４のいずれか１項に記載の可搬装置（１００）において、
    前記処理部（１０５）は、物体データベースに基づいて、前記仮想世界を、ユーザが行動する前記現実世界の仮想の複製として生成するように構成されている、
    可搬装置（１００）。
17. 請求項１から１６のいずれか１項に記載の可搬装置（１００）と、前記可搬装置（１００）の外部に配置された地上通信装置（４０１）とを備え、
    前記可搬装置（１００）の前記位置特定器（１０３）は、前記地上通信装置から受信される無線通信信号（４０３）に基づいて前記現実世界におけるユーザの位置（１１３）を特定するように構成されている、
    仮想現実システム（４００）。
18. 現実世界におけるユーザの視線方向を特定するステップ（５０１）と、
    前記現実世界におけるユーザの位置を特定するステップ（５０３）と、
    前記現実世界におけるユーザの前記視線方向およびユーザの前記位置に基づいて、前記現実世界の３Ｄ座標系における前記視線方向の変化が仮想世界の３Ｄ座標系における視線方向の変化をもたらす仮想世界を生成するステップ（５０５）と、
    前記生成された仮想世界を、前記現実世界の視界を遮りつつユーザに表示するステップ（５０７）と、
    前記仮想世界の前記３Ｄ座標系における位置に、前記仮想世界における仮想の物体を生成するステップと、
    前記現実世界におけるユーザの前記特定された位置の精度の変化に応えて、前記仮想の物体の詳細さのレベルまたはサイズを変化させるステップと
    を含む方法。
19. コンピュータで稼働するときに、請求項１８に記載の方法を行うためのプログラムコードを有するコンピュータプログラムを記憶した非一時的記憶媒体。
    
    

Images