JP2004530501A - 生き物のための環境を作り出すための装置及び方法 - Google Patents

生き物のための環境を作り出すための装置及び方法 Download PDF

Info

Publication number
JP2004530501A
JP2004530501A JP2003507008A JP2003507008A JP2004530501A JP 2004530501 A JP2004530501 A JP 2004530501A JP 2003507008 A JP2003507008 A JP 2003507008A JP 2003507008 A JP2003507008 A JP 2003507008A JP 2004530501 A JP2004530501 A JP 2004530501A
Authority
JP
Japan
Prior art keywords
creature
transducer
augmented reality
orientation
real environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003507008A
Other languages
English (en)
Other versions
JP2004530501A5 (ja
Inventor
ファーゲル,ヤン,ゲー
ヤコブソン,クラス
Original Assignee
ファーゲル,ヤン,ゲー
ヤコブソン,クラス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from SE0102217A external-priority patent/SE523098C2/sv
Application filed by ファーゲル,ヤン,ゲー, ヤコブソン,クラス filed Critical ファーゲル,ヤン,ゲー
Publication of JP2004530501A publication Critical patent/JP2004530501A/ja
Publication of JP2004530501A5 publication Critical patent/JP2004530501A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/10
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8011Ball
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Abstract

生き物にとっての実環境内でその生き物のために1つの強調現実感(拡張現実感)を作り出すための装置において、該強調現実感(拡張現実感)が、実環境の少なくとも1部分と少なくとも1つの架空事象の両方を含み、該生き物が体験する前記強調現実感(拡張現実感)の特性が、実環境に対する該生き物又はその一部分の位置及び/又は向きに依存する装置。該装置は、実環境内の信号源からの入射光信号を受信し変換器との関係における受信信号の相対的入射方向を記録することによって実環境との関係におけるその位置及び/又は向きを決定するように配置された変換器及び、変換器の位置及び/又は向きについて及び実環境についての情報を用いて刺激を生成するために、生き物及び変換器の相対的位置及び/又は向きが制限された間隔の中にくるように配置されるような形で生き物と変換器を接続する手段を含む刺激生成部材、及び生成された刺激を生き物に転送し、これにより該生き物のための前記強調現実感(拡張現実感)を実現するためのユニットを含んでなる。

Description

【技術分野】
【0001】
発明の分野
本発明は、生き物にとっての実環境内でその生き物のために強調現実感(拡張現実感)を作り出すための装置及び方法において、該強調現実感(拡張現実感)が、実環境の少なくとも1つの部分と少なくとも1つの架空事象の両方を含み、該生き物が体験する前記強調現実感(拡張現実感)の特性が、実環境との関係における該生き物又はその一部分の位置及び/又は向きに依存する装置及び方法;ならびにそれぞれの装置を用いて生き物にとっての実環境内でその生き物に対し強調現実感(拡張現実感)を作り出すためのネットワークに接続された2つ以上の装置を含む配置であって、前記強調現実感(拡張現実感)が実環境の少なくとも1つの部分と少なくとも1つの架空事象の両方を含み、該生き物が体験する前記強調現実感(拡張現実感)の特性が、前記実環境との関係における該生き物又はその一部分の位置及び/又は向きに依存する配置;及びこのような装置の使用に関する。
【0002】
このような装置及び方法は、いくつかの目的のために使用できるが、以下では、主として娯楽産業部門、教育、シミュレーション及び車両運転の範囲内で架空世界を作り出すための手段を構成する特定の利用分野について記述するが、いかなる形であれ本発明を制限するものではない。
【0003】
まず以下に、本出願で使用する多数の語句を説明し、より厳密に定義する。これに関連して、文中に見られる「生き物」、「オブジェクト」、「事象」、「架空の生き物」、「架空のオブジェクト」、「架空事象」、「環境」、「特性」、「強調現実感(拡張現実感)」、「屋内」、「半屋内」、「モデル」、「位置」、「向き」、「認可」及び「抽象的場所」は、以下の定義に従って非常に広い意味を与えられるということが強調される。
【0004】
「生き物」は、人間及び動物を含む。ほ乳類の群に属する動物が第一に意味するところであるが、他の動物、たとえば鳥、魚、両生類及び爬虫類ならびに昆虫もまた含まれる。
【0005】
「オブジェクト」とは、物理的な物及び生き物又はそれらの部分をいう。
【0006】
「事象」は、生き物及び物に加えて、蒸気、液体、陰影、光、音源、波、振動、動き、広がる亀裂、通風、流れ、渦、乱流、変色及び色合いならびに他の同等の事象をも含む。
【0007】
「架空の生き物」、「架空のオブジェクト」及び「架空事象」という語は、現実には見かけ上しか存在していないが、生き物が現実のものとして知覚される生き物、オブジェクト及び事象を意味する。
【0008】
「環境」は、1個以上の物理的な物もしくはその部分及び/又は生き物ならびに物理的限界面を有する又は有しない随意のボリュームによって構成されることができる。ボリューム又は空間は、1個以上の固体オブジェクトを含むこともできるし、気体及び/又は液体状態にある種々の媒体を含むこともできる。また、ボリューム中が真空であることも可能である。環境中には、静止状態及び可動性の両方のオブジェクト/事象が存在することができる。当該環境は、屋外及び屋内のいずれに位置してもよく、生き物に比較して大きい又は小さい広がりを有してもよい。
【0009】
「強調現実感(拡張現実感)」(milieu)(英語の「augmented reality」に対応する)という語では、生き物が体験する強調現実感(拡張現実感)が意図されているが、この強調現実感(拡張現実感)は、実環境に対し架空の生き物、架空のオブジェクト及び/又は架空事象を具備することによって、それらの見かけの特徴がない実環境に相当するものとは別の特性を強調現実感(拡張現実感)が有することを生き物に体験させることを意味している。生き物がそのようにして参加し、かつ/又はその中で行動する「変更/改善された現実」の中では、例えば、鮮明さ、色、遠近感、音の大きさ、音の高さ、そよ風、体に対する熱などのような事象/特性も修正されうる。
【0010】
「特性」という語は、原則として、記録及び/又は測定されうる環境のすべての特徴を網羅している。これは、すべての化学的及び物理的状態及び数量が含まれ、さらに記録されうる外観及び拡がりに関連する環境のすべての特徴が含まれるということを意味している。考えられるすべての特性の中のいくつかの例としては、オブジェクトが固体状態で存在すること、ある一定量の酸素含有量が1つの位置に存在すること、気体がある一定の温度を有すること、オブジェクト又はその一部がある一定の拡がり、形状、質感又は色などを有すること、磁場、音場、流れなどのいかなるベクトル特性も1つの位置に存在すること、がある。
【0011】
本発明は、主として「屋内」及び「半屋内」で適用されることを意図する。「屋内」とは、種々の永久的又は一時的な建造物及び構造物ならびに自然に現存する囲い、たとえば住宅、工場施設、オフィス、テント、洞窟、トンネル、鉱山だけでなく、ある種の屋根を支える壁、柱及び/又はマストによる、より簡単な構造の内側といったすべてのタイプの場所を含む。屋根は、当該エリアを完全に覆うこともできるし、ネット、格子又は目板として設計されていることもできる。同じく、たとえば船、列車、車、飛行機及び宇宙船のような種々の船舶・航空機中の場所が屋内環境のカテゴリーに数えられる。「半屋内」とは、屋外で、構造物又は自然に現存するオブジェクトの近く及び屋内環境の外郭の近くに位置する場所、たとえば壁、屋根、マスト、柱、電線、塔、レンガまたは石の壁、街灯柱、橋、木、岩石構造、石、低木、長い渓谷及び丘陵、水たまり、海岸線、変化する植物などの近くに位置する場所をいう。
【0012】
また、「モデル」は、たとえば少ない座標化データ、グラフ、図面、地図などといった非常に簡単な環境モデルから、たとえばコンピュータにおいて、あらゆる他の方法で移動、回転、変形、変更又は加工することができる、より進歩した現実的な、又は抽象的な二次元、三次元又はより高次元の表現までのすべてを含む。さらには、モデルは、スチール写真及び連続フィルムの形態の動画を含むこともできる。モデルにおいては、ベクトル量、たとえば気流は、矢印によって、矢印の方向及び長さが当該量のそれぞれ方向及び値を示すような方法で表すことができる。さらには、往々にして等方性の量である他の量、たとえば温度、放射強度などは、面に沿う量で当該分量をたとえば一定値として表す色分けした透明な面の形態で表すことができる。加えて、ホログラフィー再現物や抽象的及び数学文字のモデル、たとえば逆空間によって環境を示すものなどが含まれる。
【0013】
さらには、「位置」及び「向き」は以下の意味を有する。三次元オブジェクト、すなわち物理的物品又は生き物は、六つまでの空間自由度、つまり並進自由度三つ及び回転自由度三つを有することができる。オブジェクトの「位置」は、当該座標系の原点に対する並進を示す三つの量によって定義される。本出願ではこれらの量をx、y及びzで表す。しかし、位置パラメータを他の座標系、たとえば極座標(r、ψ、φ)で表すことも可能である。オブジェクトの「向き」は、座標系におけるオブジェクトの回転角を示す三つの量によって決定される。本出願ではこれらの量をα、β及びγで表す。
【0014】
実際には、オブジェクトは、6未満である数の自由度を有することが多い。たとえば、コンピュータディスプレー上のカーソルは通常、二つの自由度を有する。その向きは一定(又は無関係)であり、その位置は二つの変数によって特徴付けられる。三次元オブジェクトも同様に、6未満の自由度を有するような制限を受けることがある。たとえば、テーブルの上で動くブロックは三つの自由度を有する。二つの変数がテーブル上のその位置を示し、一つの変数がその向き、すなわちテーブル上面に対して垂直な軸を中心とするその回転の角度を示す。
【0015】
架空のオブジェクトは、理論的に、無限の数の自由度を有することができ、線形ならびに非線形の空間を含む任意の、現実的な又は抽象的なメートル空間及び離散的及び連続的空間の中で定義づけされ得る。一例を挙げると、オブジェクトは、一般にフラクタル空間として記述されている任意のハウスドルフ空間の中で定義づけされ得る。
【0016】
「認可」とは、ある生き物が環境中の一定のエリア/ボリューム又はオブジェクトに入る許可を有する又は有しないか、一定の行為を実施する許可を受けている又は受けていないことをいう。この認可に関しては、特殊な条件が満たされること、たとえば一定の時点又は生き物もしくはその他によって実施されなければならない既定の行為であるかもしれず、あるいは、環境中に特殊な状態が存在するということ又は一定のできごとが発生した又は発生するということであるかもしれない。特に、許可されている又は許可されていない環境のエリア及びボリュームは、実環境に付加された架空オブジェクト及び/又は架空事象によって定義され得る。
【0017】
「抽象的場所」は、物理的な物の位置及び拡がりと必ずしも一致しなくてもよい、環境中の位置及び/又は向きの選択されたセットであるが、抽象的場所は、環境の属性に依存して又は依存せずに一以上の選択された位置及び/又は向きパラメータによって画定することができる。環境は架空オブジェクト及び/又は架空事象を含むことができ、特定の時間間隔によって画定することができる。
【0018】
本明細書において、「架空物理学」は、架空オブジェクトが環境内でいかに作用するかに関する一定量の数学的規則として定義づけされている。したがって、架空物理学は、架空オブジェクト/架空事象について有効である「自然法則」の定義されたセットとみなすことができる。例えば、コンピュータモデル内では、通常の物理的法則は、ボールの動きについて有効であるかもしれないが、地球上の重力定数は、月の表面における対応する定数で置換されている。したがって、ゴルフボール上の一定の与えられた衝撃力が、地球の重力定数で行なわれた場合に比べて計算モデルでははるかに高く長いストロークを与えることになる。しかしながら、架空物理学はいかなる形であれ、現実の言葉に対応する何かを有するような物のみのモデルを作ることに制限されてはいない、ということを指摘しておくべきである。その一例として、それが現実のオブジェクトであった場合にそのオブジェクトを復元することが不可能であったと思われるような程度まで変形されている架空オブジェクトについては、ある種の条件下では架空オブジェクトはそのもとの形状及び/又は特性を回復できるということを意味する「架空物理学」を定義づけすることができる、といったことに例えば言及することができる。
【0019】
さらには、装置又は少なくともその部分と環境との相対的な動きを、装置そのものを動かすことによって実施する応用例をまず以下に記載するが、場合によっては、たとえば環境が静止状態で設置されてはいないオブジェクトによって構成される場合には、静止状態の装置を使用し、代わりに環境を動かすことによって相対的な動きを達成することも可能であることが指摘されるべきである。
【背景技術】
【0020】
従来技術
異なる分野の中で、生き物にとっての仮想現実及び/又は変更された/強調(拡張)された現実の体験を達成する必要性が存在している。これらの必要性は、娯楽産業部門及び体験産業において、ならびに、なかでも工業デザイン、車両の開発、生産、製造及び運転といったその他の分野において存在している。
【0021】
完全な仮想世界ならびに強調(拡張)された現実の体験を作り出すための今日の技術では、コンピュータスクリーン及び/又は壁又はスクリーン上に投射される画像が大幅に使用されている。より高度の解決法では、異なるタイプの特殊三次元メガネを特殊画像技術と組み合わせて、三次元体験を作り出すことができる。これらの解決法は、それらが精密でなく、非常に良好な臨場感を与えないこと、静止型投影機器及び/又はモニターを備えた特殊な空間を必要とすること、又は例えばヘルメットなどの位置及び/又は向きを決定することを目的とし、任意の位置及び/又は向きにヘルメットを設置することを可能にしないシステムを使用しなければならないこと、又は、このような解決法の使用は例えば航空機のコックピットといったような相対的に小さいスペースの中に制限されていること、といったいずれかの欠点を有している。
【0022】
最も簡単で、かつこれまで商業的に最も重要であった形態のコンピューターゲームは、ユーザーに架空世界を提供するために単純なモニターを使用している。それが完全に架想の出来事であるか又は例えばゴルフプレーのシミュレーションであるかにかかわらず、このタイプの技術的解決法には、仮想世界へのユーザーの積極的かつ身体の参加を可能にする能力が大幅に欠如している。
【0023】
今日の技術のさらなる変形形態が例えば航空機シミュレータなどに見られ、ここでは、シミュレータ全体を、方向依存性画像がコックピットの窓に対応するスクリーン上に示されるのと同時に、移動させることができる。同様に、この場合でも、該解決法は、主としてシミュレータ内の人物の自由度が制限されていること及び/又は該人物がなおも動いているときに環境が自然な方法で適合され得ないこと、例えば実物そっくりの視差処理が欠如していることなどによる欠点を有している。
【0024】
この主題での精巧な変形形態が、スパイダーマンのアトラクションの形で米国フロリダ州オーランドにあるユニバーサルスタジオテーマパークアドベンチャーアイランドに2001年の間見られた。三次元メガネ、人間が内部に座れる可動式横断車両及び三次元体験を提供する画像の投影の組合せが使用されている。この高度な場合においても、人間自身の望みに応じて仮想世界を体験する可能性に関して、人間に対する柔軟性は低いものである。さらに、この技術では、一人の行為がもう一人の環境に対して影響をもたらしその逆も行なわれる一方で、各々が1つの世界を体験するように、同時にこの環境内に存在する二人の人物を取込むことが不可能である。
【0025】
6つの自由度での位置及び向き情報を可能にする既知のシステムは、いわゆるポヒマス(Polhemus)システム(Polhemus Inc., Colchester, VT., US)である。このシステムは、仮想現実ならびに変更された/強調(拡張)された現実を作り出すために用いられる。システムは、3軸磁気双極子供給源及び3軸磁場センサーを使用する。伝送される磁場を逐次変動させることにより、互いとの関係において独立している3つの励起ベクトルが達成される。センサーで検知された3つのベクトルは、供給源に対するセンサーの位置及び向きを決定するための充分な情報を含んでいる。しかし、このシステムにはいくつかの欠点がある。1つの欠点は、環境内で発生する他の磁場に対する感応性であり、例えばエンジン及び計器などに由来する多くの変動する磁場が存在するワークショップ内での使用がさらに困難になっている。もう1つの欠点は、隣接するさらに大きな金属オブジェクトがシステムの精度にマイナスの効果をもたらすことにあり、これは、実際にこのシステムが、例えば車体の生産ライン内では使用不能である、ということを意味している。さらにもう1つの欠点は、センサーが磁場供給源に対し比較的近いところに存在しなければならないということにあり、これは、精度が同時に要求される場合に、オペレーションエリアを大きく限定してしまう。これらの欠点のため、このシステムは、特殊な環境内でのみ使用可能になっている。
【0026】
ポヒマス(Polhemus)及び類似のシステムは、今日、いわゆるVRグローブの位置の決定のためにも使用されている。この場合も同様に、測定の精度及びある種の環境に使用が制限されているという事実に関する欠点が存在する。
【0027】
その他の分野の中でも、軍用航空の分野では、人間の網膜上に直接画像を作り出すための部材の異なる設計が使用されている。これらの画像は、別々にでも、又は環境に由来する画像上の全体的又は部分的重ね合せとしても使用可能である。今日、主としてきわめて単純化された情報、例えば人間の視線内の情報、計器設定値及び位置及び/又は向きに依存するその他の情報が重ね合せされている。標的及びより現実的な複雑な画像に対する向きを取り込むためには、前述の場合に比べはるかに高い位置及び/又は向きの情報精度が必要とされ、こうして、それは、人間が存在する環境に対する非常に厳しく制約の大きい必要条件を特徴とする上述のとおりの場合においてのみ実現される。したがって、人間が自由に移動できる状態にある一般的な場合では、今日までのところ、実際の視覚的印象及びより複雑な架空オブジェクトをうまく一緒にするのは不可能である。
【0028】
仮想現実又は強調現実感(拡張現実感)の分野においては、技術的現状を構成する異なる技術的解決法を含む数多くの装置がある。標準的には、これらの解決法は、柔軟性と精度を同時に提供しない。したがって、これらの解決法の各々の利用可能性は、制限があるか又はきわめて専門化されたものである。特に、ここ数年導入されてきた身体障害者用の異なる手段の量から見て、このことは明白である。この点に関して、解決法の一般性はきわめて制限されていた。多くの場合において、協同スタッフ又は同じ組織内のスタッフ用としてくつかの種類の機材が存在しないことが重要である。これは、民間組織についてと同様、軍隊組織の場合にも言えることである。特に、これは、価格/コストが非常に重要であり、上述の装置が顧客にとって受入れることのできる価格で大規模に生産販売され得るようにきわめて一般的な形で使用可能でなくてはならない私的な使用について言えることである。
【0029】
ジェスチュア及び動きの使用及び読取りは、今日、器具を制御するためや架想(球技)ゲームをするための異なる探究プロジェクトの範囲内で今日利用されている。これらの例の多くは、人物が単数又は複数のカメラにより撮影され、画像が分析されることに基づいている。その場合の1つの欠点は、これらの装置及び方法が、カメラを使用すべき場所にカメラを固定して設置する必要があるという点にある。さらに、画像材料からジェスチュアを抽出するために、高度な画像処理が頻繁に必要とされる。
【発明の開示】
【0030】
発明の目的及び発明の概要
本発明の第1の目的は、既知の同様の装置がもつ上述の問題のうちの少なくともいくつかをかなりの程度まで低減させる、導入部で定義づけした種類の装置を提供することにある。
【0031】
この目的は、本発明により、実環境内の信号源からの入射光信号を受信し変換器との関係における受信信号の相対的入射方向を記録することによって実環境との関係におけるその位置及び/又は向きを決定するように配置された変換器及び、変換器の位置及び/又は向きについて及び実環境についての情報を用いて刺激を生成するために、生き物及び変換器の相対的位置及び/又は向きが制限された間隔内にあるように配置されるように生き物と変換器を接続する手段を含む刺激生成部材、及び生成された刺激を生き物に転送し、これにより生き物のための前記強調現実感(拡張現実感)を実現するためのユニットを装置が含んでなることによって達成される。このようにして、非常に大きい柔軟性を提供しかつ、生き物に所望の体験を与えるためいくつかの異なる利用分野及び環境内で使用可能であり、同時に生物のための強調現実感(拡張現実感)を実現するために必要とされる刺激を生成するための基礎を形成するように位置及び/又は向きを測定するための非常に高い精度を提供する装置が得られる。
【0032】
本発明の第2の目的は、既知の同様の方法がもつ上述の問題のうちの少なくともいくつかをかなりの程度まで低減させる、導入部で定義づけした種類の方法を提供することにある。
【0033】
この目的は、本発明により、生き物及び変換器の相対的位置及び/又は向きが制限された間隔内にくるように、生物に対し接続されている変換器を含む刺激を生成する部材(刺激生成部材)が生物に具備されることを該方法が含み、かつ変換器は、実環境内の信号源からの入射光信号を受信し、受信した信号の相対的入射方向を記録することによって実環境に対するその位置及び/又は向きを決定すること、そして刺激が変換器の位置及び/又は向きについて、そして実環境についての情報を用いて生成されること、さらに、生成された刺激が生物に転送され、これにより該生物のための前記強調現実感(拡張現実感)を実現することによって達成される。こうして、非常に大きい柔軟性を提供しかつ、生物に所望の体験を与えるためいくつかの異なる利用分野及び環境内で使用可能であり、同時に生物のための強調現実感(拡張現実感)を実現するために必要とされる刺激を生成するための基礎を形成するように位置及び/又は向きを測定するための非常に高い精度を提供する方法が得られる。
【0034】
本発明の第3の目的は、現実と架空の両方の現象を含む共通の強調現実感(拡張現実感)内で2つ以上の生物が同時に参加又は行動できるような形で、特に、他の生物の前記作り出された強調現実感(拡張現実感)がそれによって直接影響されることなくそれぞれの生物が、依然としてそれ自身の作り出された強調現実感(拡張現実感)の中で参加し行動できる一方でそれが起こるような形で、本発明に従った2つ以上の装置を組合せることのできる、導入部で定義された種類の配置を提供することにある。
【0035】
この目的は、本発明により、実環境内の信号源からの入射光信号を受信し、変換器との関係における受信信号の相対的入射方向を記録することによって実環境に対するその位置及び/又は向きを決定するように配置された変換器及び、変換器の位置及び/又は向きについて、そして実環境についての情報を用いて刺激を作り出すために、生物及び変換器の相対的位置及び/又は向きが制限された間隔内にくるように配置されるような形で、生物と変換器を接続する手段を含む刺激を生成する部材(刺激生成部材)、及び生成された刺激を生物に転送し、これにより該生物のための前記強調現実感(拡張現実感)を実現するためのユニットを含み、そして生物が体験した特性をそれぞれの生物がその中でもたらす、生成された強調現実感(拡張現実感)に基づいた、生物に対して実現された最小共通強調現実感(拡張現実感)を確立するための手段を該配置が含むことによって達成されている。これにより、非常に大きい柔軟性を提供しかつ、2つ以上の生物に所望の体験を与えるためいくつかの異なる利用分野及び環境内で使用可能であり、同時に生物に共通の強調現実感(拡張現実感)を実現するために必要とされる刺激を生成するための基礎を形成するように位置及び/又は向きを測定するための非常に高い精度を提供する配置が得られる。
【0036】
本発明はまた、本発明による装置の異なる使用にも関する。
【0037】
本発明のさらなる利点及び有利な特徴が、以下の記述及び添付の従属請求項で開示されている。
【発明を実施するための最良の形態】
【0038】
以下、本発明の好ましい実施形態が、添付図面を参考にしながら、例として記述されている。
【0039】
発明の好ましい実施形態の詳細な説明
本出願で言及されている刺激生成部材はその最も簡単な実施形態において、実環境内で信号源9から入射光信号を受信するための変換器、変換器と生物を互いに接続するための手段、そして生物に対し刺激生成部材を用いて生成された刺激を転送するためのユニットによって構成されている。
【0040】
接続手段は、たとえば、接着剤であってもよいし、変換器を持ち運ぶためのバッグであってもよいし、変換器を収容する生き物に装着されるための帯状物、たとえば首輪、ブレスレットなどであってもよい。しかし、接続手段は、変換器の他に部品を使用することなく、変換器そのものに含めてもよいし、変換器の設計によって提供してもよいということが強調されるべきである。一例として、変換器は、たとえば生き物が単に変換器を持つ又は噛むことによって変換器を生き物に接続することができるよう、「取っ手」の形態の接続手段を備えてもよい。変換器はまた、生き物に移植されるように設計されていてもよい。
【0041】
また、導入部で定義した「環境」は、以下で説明するそのもっとも簡単な実施態様で、変換器が位置及び/又は向き決定のために受信する信号を発するための信号源のみを含むこともできるということが強調されるべきである。
【0042】
すべての実施態様に関して詳細には記載されないとしても、本明細書に記載するすべての用途及び実施態様に関して、環境中の信号源は、変換器の位置及び/又は向きを決定するために変換器によって受信される信号を送信、反射又は伝播するために使用されるということが指摘される。さらには、明細書を通じて、同様の参照番号は同一又は類似したオブジェクトを示す。
【0043】
図1には、部屋1のいくつかの画定面2及び多数の物3、4が存在する部屋1によって構成される環境が示されている。この場合、環境は建造物中の図示する部屋であるが、実際には、環境はいくつかの属性を有する屋内及び半屋内環境であってもよい。この実施態様では、環境は、家の中の普通の部屋であると考えられる。この部屋には家具が備わっている。この場合、組立てキットとして届けられた2脚の椅子が、組立てられ部屋の中に設置されている。この図が表わしているプロセスの瞬間において、1脚の椅子3は、背面4が組立てられていない状態で部分的に合わせられている。この図では、人間の頭10としてのみ例示されている生き物8が、部屋1の中に存在し、本発明による刺激生成部材14が具備されており、この部材には、単数又は複数の眼11の位置及び/又は向きが決定されかつ視覚的情報12を生き物に転送するため転送用ユニットの中に含まれた手段の位置及び/又は向きが決定されるような形で、実環境に対する頭の位置及び/又は向きを決定するための変換器5を含む。
【0044】
これに関連して、コンピュータ18の中に記憶される環境の3次元モデル内に挿入できるように実環境1に対して視覚情報12を転送するための転送ユニットの手段及び眼11の位置及び/又は向きを決定することが興味深い。この関連で、刺激生成部材に含まれた制御及び計算用ユニット17は、コンピュータ18から取上げられたモデル、この例では椅子及びその一部分である異なる視覚的オブジェクトを生成できるプログラムにより制御及び計算用ユニットに入力されたモデル及び人間の位置及び向きから、架空事象の生成された画像を部屋1の実際の画像情報内に高い精度で取り込むことができるような形で(強調現実感(拡張現実感)はその人物のために実現されている)、転送ユニットの視覚的印象12を転送するための手段に伝達するべき情報を計算することができる。この点において、人物8は、実際のオブジェクト、すなわち、半分完成した椅子3及びまだ組立てられていない椅子の背面4そして、椅子の背面が組立てられた場合にそれがどのように見えるかを示す架空オブジェクト6そして椅子が組立てられた場合に見えるとおりのさらなる椅子の形をした架空オブジェクト7によって構成された強調現実感(拡張現実感)を見ることになる。例えば、Bluetooth技術によるケーブル及び/又は無線通信のいずれかを含む、変換器と装置の転送用ユニットそして信号経路19を含む別に位置設定された制御及び計算用ユニット17の間の通信用手段が、この場合、信号を転送するために装置のコンポーネントを接続している。この特定の場合に架空オブジェクトを生成するためのモデルは、家具製造業者によって作り出されるものと仮定されている。この例では、人物は、マイクロホン16を介した制御及び計算用ユニット17に対する音声による指令で、架空の椅子又はその部品の位置及び/又は向きを制御する。
【0045】
前述の転送ユニットは、視覚的情報12を転送するための手段及び、ヘッドホン及びマイクロホン16の形で聴覚により受理される情報を転送するための手段を含む。好ましくは、変換器5、2つの手段12、15及びマイクロホン16は、ユーザーが快適な形で機器を利用できるようにするため、いわゆるヘッドセット13内に配置されている。こうして、上述のヘッドセット13は、人物3と変換器5の相対的な位置及び向きが、制限された間隔内にくるように配置されるような形で、人物の頭10と変換器5を接続する接続手段を構成している。したがって、変換器の位置及び/又は向きに関する情報を用いて、人物の頭10及び眼11の位置及び/又は向きを決定することができる。
【0046】
さらには、変換器5は、位置又は向きの情報を得るため、環境中の信号源9から信号源9と変換器5との間を直線的に伝搬する入射信号を受信するように設けられ、変換器5と環境とが互い対して移動するたび、すなわち生物8が移動するもしくは頭を動かすたび、環境に対するその位置及び/又は向きを繰り返し決定するように設けられている。さらには、変換器5は、自由に動くことができ、環境によって変換器の携帯者による随意の座標系で機械的に誘導されないように設けられている。
【0047】
本出願における「物又は生き物の位置を決定する」とは、位置パラメータ(x、y、z)の少なくともいくつかを、環境に対する関係が既知である座標系の中で既知にすることをいう。本出願における「物又は生き物の向きを決定する」とは、向きパラメータ(α、β、γ)の少なくとも一つを、環境に対する関係が既知である座標系の中で既知にすることをいう。
【0048】
本発明の当該用途に依存して、生き物の位置及び/又は向きという表現では、身体の1以上の特定的部分の位置及び/又は向きが意図されている。本発明が使用される多くの場合において、通常発生する視覚器官、聴覚器官、触覚器官、味覚器官及び臭覚器官をもつ生き物の頭が、意図されている身体の一部分をおそらく構成するであろう。その他の場合では、それは、手、指、尾又は例えば触覚器官といった感覚器官のみならず体験を得るために刺激を受けることになる動物のその他の特殊な感覚器官を有する身体のもう1つの部分でありうる。変換器/部材の数及びそれらの生き物上の位置並びに位置及び/又は向き決定における精度の必要条件は、これらの要望に多分に依存する。しかしながら、この用途においては、変換器が、刺激を受ける予定の身体の一部分の上にあることがつねに必要又は望ましいとはかぎらない。
【0049】
本発明の装置に部品として使用することができる一つのタイプの変換器は、MEEQ社(Hasslogatan 20, SE-721 31 Vasteras、スウェーデン)によって開発され、市場に投入されたものである。
【0050】
本出願ならびにスウェーデン国特許第444530号、第458427号及び第506517号に記載された計測方法を用いると、高精度で計測を実施する、すなわち位置及び/又は向きを決定することが可能である。場合によっては、位置に関しては1/10mm以上の精度で、向きに関しては1/10mrad以上の精度で可能である。さらには、入射信号の入射方向が記録されるということ及び変換器がそれ自体の位置及び向きならびに「望ましい」信号源の位置を知るということにより、望まれない信号源、代替信号源又は反射信号源から生じた「偽信号」をふるい落とすことができる。また、必要な最小数よりも多い信号源を使用することにより、感知可能な程度の精度に影響することなく、遮蔽された信号源の形態の外乱を装備によって取り扱うことができる。
【0051】
本発明を適用するときには、ユーザーが装備を利用する前に、変換器5が信号源9の位置すなわち環境の座標系に関する十分な情報を受信するまで、変換器5を部屋1の中で移動させることにより(人8又は乗り物、自由に動くロボットなどの手段によって実施することもできる)、変換器5が、環境の座標系を画定する少なくとも2個、好ましくは3個又は4個、通常は5個以上の信号源9からの信号を受信するよう手順を進めることが適当である。加えて、その後の使用中、長さの絶対目盛りを知ることが必要であるならば、たとえば計測処理の間に周知の寸法のオブジェクトを参照ゲージとして環境中に配置することによって計測基準を同時に使用しながら信号源9の計測を実施する。
【0052】
変換器5は、スウェーデン国特許第444530号に記載されている種類の二次元変換器であってもよい。たとえば、変換器は、本出願では可視波長帯域内外の光放射線によって構成される又は利用される信号をいう「光信号」とで作動する光学機器であってもよい。好ましい波長範囲は10〜15000nmの範囲である。好適には波長範囲200〜1600nmを適用することができるが、本発明はいかなるふうにもこの波長範囲に限定されないということが強調されるべきである。たとえば発光ダイオードの形態にある多数の信号源9を変換器及び互いから離間させて設けて、変換器の通常の使用中、常に少なくとも3個、好ましくは4個の信号源が同時に信号を変換器に転送するようにしてもよい。信号源の互いに対する位置は、たとえば、各信号源に共通の座標系の中で信号源の位置を計測することによって知られ、そのような計測は変換器によって実施することができる。一般に信号源の位置の計測に関しては、スウェーデン国特許第506517号を参照すること。
【0053】
図2には、三つの信号源9からの信号がどのように変換器5に入射するのか及び受信された信号の入射角がどのように相関するのかが図に示されている。各信号の入射方向はφi及びθiによって決定される(i=1、2又は3)。この場合、入射方向は、必要な向き及び位置決定を計算するための基礎である。
【0054】
一例として、図2aには、信号を検出するための広角レンズ50及び表面51が示されている。環境中の信号源9から広角レンズに入射する信号が、検出面上、変換器5に対する信号の入射方向φ、θに一致する位置に示されている。唯一の位置、すなわち検出面におけるその相対的x、y座標を検出することにより、信号の入射方向φ、θを導き出す、すなわち、変換器から当該信号源への視線方向を決定することができる。
【0055】
簡潔にいうと、この場合、向き及び位置の計算は、3個、一般には4個の信号源9を選択し、変換器5からこれらの信号源9への視線の、変換器5に対する方向を決定し、視線方向及び信号源9の既知の位置ならびにこれらの量の間の幾何学的関係を使用することによって、変換器5の位置及び向きを得ることで実施することができる。信号源9の互いに対する位置は既知であると仮定する。あるいはまた、信号源9の相対的な位置は、各信号源の位置を座標系で知ることによって間接的に知ることもできる。
【0056】
立体角によって構成され、前記信号源から入射信号を受信するために変換器が設けられている受信方向の収集量によって形成される受信方向エリアは少なくとも0.2ステラジアンであり、それ未満では、変換器の軸に沿う、すなわち変換器の主方向における決定に関して性能を維持することは困難であり、これは、変換器の他の2軸にも均しくいえる。しかし、好ましくは、受信方向エリアは少なくとも1ステラジアンであり、そのようなエリアが大きくなればなるほど、環境に対する変換器の向き及び位置の決定で一定の精度を得るために環境中で必要な信号源の数は少なくなる。環境中で動くオブジェクトが多ければ多いほど、たとえば突出する箱状物、斜めの角部及び障害物となる他の物のせいで環境の形状が複雑になればなるほど、前記受信方向エリアは大きくすべきであり、多数の可動部品がある作業場では、4ステラジアンを超える受信方向エリアを有することが有利であり、さらに、おそらくは、変換器のための向き及び位置の情報の確実な決定を達成するためには100個を超える信号源が環境中に必要になるかもしれない。また、その場合、決定的に必要ではないとしても、受信方向エリアが位相的に接続されていることが好ましい。
【0057】
前記受信方向エリアは、いかなる形状及び仮想立体角球体上の展開を有することもできる。本発明の好ましい実施態様によると、変換器の受信方向エリアは位相的に接続されているが、受信能力のない囲い込み方向エリアを有することもできることを含む。受信方向エリアは、外因から独立しており、変換器の受信方向だけに関連する。これは、方向エリアの外部遮断の形態の制限や信号源の部分的不在によって影響されない。
【0058】
信号源は変換器の受信方向エリア内で十分に展開していることが好ましい。理由は、環境中の信号源の数が割合的に低いレベルに維持されるとしても、発生する外乱、たとえば人、フォークリフト、ロボットなどによる環境の一部の遮蔽が正しい情報の獲得を妨害しない確率を向上するからである。しかし、実際は、特に広い受信方向エリアを有する本発明の装置の設計では、そのような十分な展開をこのタイプの既知の装置におけるほど重要としない。
【0059】
受信方向エリアに関して、以下を付け加えることができる。
0.2未満のステラジアンからなる受信方向エリアは、本質的には、実際には使用しにくい。理由は、そのような場合、環境中で障害物になっている少数のオブジェクトが変換器を容易に妨げることができ、したがって変換器が作動しなくなるからである。加えて、このような小さな受信方向エリアの場合、環境中に必要な信号源の数が実施不可能なほど多くなり、それこそが実際にユーザを制限するものである。加えて、このような小さな受信方向エリアでは、特にそれらが相互接続されているならば、すべての位置計測方向で同じ高い位置計測精度を維持することは困難になる。
【0060】
好ましくは、受信方向エリアは1ステラジアンを超えるべきであり、そのため、必要な信号源の数が妥当な数になり、すると、相当に均一な位置計測精度を得ることができる。
【0061】
たとえば多くのおそらくは可動性のオブジェクト、反射鏡面及び/又は信号源をもたない大きなオブジェクトの近くの変換器位置を有する(典型的なそのような環境は、多くの人、カメラ、小道具、サイドスクリーン、鏡及び乗り物が同時に存在する映画スタジオであるかもしれない)といった幾何学的に複雑な環境ならば、受信方向エリアは2ステラジアンを超えるべきである。受信方向エリアがより大きい方がいいというさらなる理由は、信号源をもたない大きな隠れセクタのせいで変換器が最初の向きに関して限られた作動範囲を有しないということである。また、特に、大きなオブジェクトが信号源を遮蔽し、信号源の数が限られる複雑な環境では、4ステラジアンを超える受信方向エリアが望ましい。
【0062】
作動範囲に及ぶ信号源の分布は、好ましくは、環境の異なる部分における計測精度の要件及び環境の性質に適合させることができる。これは、環境中に自然に存在する信号源を使用する可能性を相当に促進する。多数の信号源の必要性は、確かに、上記にしたがって、変換器の受信方向エリアにも依存する。理由は、通常の場合に変換器によって記録される信号源の最小数が4以上でなければならないからである。しかし、信号源の数の増加は、より高い精度及びさらなる外乱に対する改善された耐久性を与える。
【0063】
変換器の構造及び対応する計算回路の構造ならびのそれらの機能は、前述したとおりであり、上述のスウェーデン国特許第444530号にさらに詳細に記載されている。
【0064】
信号源9は、パルス又は変調させることができる光を発する能動的な信号源、たとえば発光ダイオードなどであることもできるし、たとえば反射テープでできた反射マーカのような受動的な信号源9であることもできる。マーカは、平面的な形であってもよいし、見る方向にかかわりなく同じ形状を示すよう、反射球体によって構成されていてもよい。さらには、マーカは、計算ユニット及びその信号処理回路が異なるマーカを識別し、それらを離しておくことを容易にするため、互いに対して異なる形状を有することもできるし、あるいはまた、同じ目的で、形状は同じであるがサイズ及び/又は「色」が異なるマーカを使用してもよい(「色」は、電磁スペクトルの非可視部分をも含む)。受動的な反射信号源9の使用に際して、装置は、反射マーカによって反射されるための信号を発信するための手段を含むことができる。このような場合には変換器5に接続して設けられることが適当である発信手段は、当該信号をたとえば干渉光源から分けることができるよう、好ましくは一定の周波数でパルス又は変調される赤外線を伝送することができる。
【0065】
代替態様では、特別に設けられる信号源を要さず、信号源としては、環境中にすでに存在する適当な細部が使用される。適当な細部の例は、特徴的な外観及び輪郭がはっきりした既知の位置を有する角部、穴及び類似物である。装置を起動すると、これらの細部が適当な方法で指示され、識別され、それらの位置が、たとえばCADシステムからのダウンロードを介して決定され記憶されるか、あるいはまた、変換器によって計測される。信号源として使用される細部は、通常の室内照明のみから照らすこともできるが、必要ならば特殊な光源を設けて照射に所望の強さ又は性質を与えてもよいことも確かである。確かに、信号源の少なくともいくつかは、特別に設けられるマーカ、たとえば暗い背景に配置された明るいテープの部分、パターン又は形によって構成することもできる。スウェーデン国特許第458427号では、このタイプの変換器の位置及び向きを計算する方法ならびにこの計算を実施するための装備の構造及び機能がより詳細に記載されている。
【0066】
図3aでは、本発明の一実施形態の異なるコンポーネント及び対応する通信経路を明らかにするブロック図が例示されている。本発明の刺激生成部材14には、変換器5及び転送ユニット36が含まれている。変換器は、上述の方法に従った信号源9を用いて、環境の中でのその位置及び/又は向きを決定する。位置及び/又は向きの情報は、例えばケーブル19を介して直接転送用ユニットに通信される。この非常に単純なケースにおいては、この場合、単純な環境について、位置及び向き情報は、類推的に光ビーム37に変換され、これは生き物の眼11に転送される。生き物の眼は、同時に、実環境内でのオブジェクトの画像3の形でその他の刺激を受理し、前記強調現実感(拡張現実感)がその生き物のために実現される。
【0067】
図3bでは、さらなるブロック図が例示されており、これから、本発明のさらなる単純な実施形態の対応する通信経路及び異なるコンポーネントが現われる。前述の例に含まれていたものに加えて、刺激生成部材14は、この例では、制御及び計算用ユニット17を含む。このユニットは、この場合、ケーブル19を介して変換器5からの位置及び向き情報を受取り、この例では外部コンピュータ18からのモデル情報をも受け取る。制御及び計算用ユニット17内では、得られたモデル情報及び位置及び向き情報に基づいて計算が行なわれる。生成された刺激の形での前記計算の結果は、転送ユニット36に転送され、これがそれを、生き物の眼11に転送される光ビーム37へと変換する。前述の例と同じ方法で、こうして強調現実感(拡張現実感)が生き物について実現される。
【0068】
図4では、軍用車両38の運転者8は、ここでは、運転者に対し外部環境全体に対する必要とされた直接的眺望を与える、例えば潜望鏡といった他の手段も窓も全く装甲板42に備わっていないことを特徴とする運転室41で構成された環境の中にすわっている。この配置により、運転者は、増大した物理的保護に加えて、異なるタイプの眩惑からも保護されている。車両38の外では、外部環境に対する接点において、1以上の波長間隔内の画像情報及び/又は音響情報を記録するための手段39が、制御可能な方法で誘導されることができることを意味するような仕方で位置設定されているか又は固定的に取り付けられて、この手段は、信号を転送するために車両の(本発明による装置の一部である状態の)制御及び計算用ユニット17に接続されている。前記ユニット内には、この場合スウェーデン特許出願第0003373−8に記述されている装置を用いて作り出された車両の運転室41の詳細な3次元コンピュータモデルが存在する。これらの獲得手段39の位置及び/又は向きは、定義/制御された機械的接続によってこのモデルの座標系との関係において、充分に規定されている。
【0069】
運転者8は、例えば運転室41のような環境に対して合計6つの自由度での頭8の位置及び向きを決定し、この位置及び向き情報を、別々にかつ安全な方法で設置され装置内に含まれている制御及び計算用ユニット17に伝送する、変換器5を含む、本発明による刺激生成部材14に対して頭10を接続するための手段を構成するハンドセット13を、頭10の上に配置された状態で有している。刺激生成部材もまた、それぞれの眼の検分方向を測定する各眼に1つずつの、装置に機械的に接続された2つの獲得手段、それぞれの眼の焦点合せを測定する各眼に1つずつの2つのさらなる手段、及びそれぞれの瞳孔の開口サイズを測定する各眼に1つずつの2つの手段をも含む。これらの測定からの情報は、制御及び計算用ユニット17に伝送される。刺激生成部材14内では、刺激を転送するためのユニット12がさらに含まれ、これには、各々、サーブフューチャー,リンシューピン,スェーデン(Saab Future, Linkoping, Sweden)によって開発されたタイプの網膜に直接的な画像生成手段からなる各眼に1つずつの2つの刺激手段、及び、各々、表示装置の解像度内の各画素について光に対し透明か又は不浸透性のいずれかである能力をもつLCD表示装置の形をした手段が含まれている。
【0070】
さらに、この例の最も単純な実施形態における制御及び計算用ユニット17には、正しい縮尺と遠近感をもち画像情報を獲得するための前記手段から抽出されている画像情報がどの方向及び拡がりにおいて、運転者に直接又は画像処理によって与えられるはずの強調現実感(拡張現実感)の中に導入されるかに関するいくつかの規則が具備されてきた。
【0071】
こうして、外部環境からの画像情報は、対応する開口部、潜望鏡又は透明な窓が車両内の一定の与えられた場所に存在したであろうかのように、転送ユニットを用いて運転者に対し実現されるべきものである。こうして、転送ユニットは、外部環境40についての正しい縮尺と遠近感をもつ画像情報43を伴う1以上の架空の窓44、及び残りの環境の運転者の画像を含む強調現実感(拡張現実感)を実現する。
【0072】
この関係で、外部獲得手段39から、変換器5から、注視方向、焦点合せ及び開口サイズの決定用手段からの情報は、運転室の詳細なモデルを有する制御及び計算用ユニット17内で考慮され、網膜上に、画像を作り出すための手段のような形及びやり方で視覚的情報を転送するため転送ユニットの手段12に伝送されることになり、ここで前記画像は、視覚的印象が遮断され網膜上に直接生成された画像により置換されない視野の一部分の中に運転者が得る現実の視覚的印象に直接挿入され接続される。こうして、実現された強調現実感(拡張現実感)により、運転者は、自らがこの場合外部環境の架空窓44の中に見る画像が実環境内に挿入された架空事象の一部分としてみなされることになる現実の窓をもつ車両の中に自らがすわりそれを運転している体験をすることができる。前記実施形態に従った本発明による当該装置は、変換器の位置及び向きの決定に関するその精度により、運転者又はその頭が定義づけられた場所で前記架空窓を見ることができるようにある位置及び/又は向きに置かれるように又は非常に制限されたその間隔内に存在するように制約を受けないという利点を伴って、全体で運転者の強調現実感(拡張現実感)を作り出す、1つの強調現実感(拡張現実感)の継ぎ目のない現実的体験を作り出す可能性を提供している。さらに、同じ装置は、運転者が例えば外部の獲得手段又はエンジンを修理するために車両の外に行く場合に、運転者が本明細書の図1に関する例の場合と同じ要領で重ね合わされた画像情報として提示されたオブジェクトの交換についての情報を受けとり、運転者により有利に使用されうる。
【0073】
前述の例による軍用車両38を有する実施形態の一変形実施形態においては、押しボタンの状態についての情報が本発明による装置の制御及び計算用ユニット17に転送されうる、押しボタンと実施手段からなる携帯式コンポーネントが運転者に具備される。このコンポーネントを用いて、運転者は、制御及び計算用ユニット17内に予め画定されたいくつかの架空窓44モデルセットの間で選択することができる。特に、通常の車の場合と全く同様に運転者が制限されたセクター内で頭を前方に向け、なおも後退又は駐車といった動作を行なうことができるように、同じく架空のバックミラーセットも含む一組の架空の窓を作り出す可能性について言及することができる。
【0074】
軍用車両の例のさらなる実施形態においては、外部獲得手段39には、夜間及び/又は霧が存在する場合に外部環境についての情報を獲得するためのIRカメラが含まれている。窓のある車両内の運転者もこの実施形態において本発明による装置を有利に使用することができる、ということを指摘しておかなくてはならない。特に、運転室内で、外部環境からの増幅された画像が運転者の実環境内に挿入されるのと同時に、計器及び制御機器に最大限の明瞭さを与えるために、全スペクトル光を使用することが可能である。
【0075】
軍用車両の例のさらなる実施形態においては、制御及び計算用ユニット17及び軍用車両に取付けられた1以上の外部の位置及び/又は向き変換器を合わせてコンピュータの形をした手段が含まれており、これらの変換器は、有利には、本発明による装置で用いられるものに対応する構造をもつものであり、環境が例えば都市環境といった半屋内タイプのものである場合、例えば架空オブジェクトの形でのその他のシミュレートされた軍用車両についての情報を、本発明の装置によって実現された強調現実感(拡張現実感)に付加することができる。特に、スウェーデン特許出願第00033738号に記述されている環境についての情報を獲得するための手段を、それまで未知の外部環境も調査し使用できるような形で使用可能である。この例は、数多くの異なる技術的解決法を必要とする類似の解決法と比べて、本発明による装置がもつ柔軟性及び広い有用性をさらに一層示すものである。
【0076】
軍用車両の前記例がもつ1つの利点は、同じ又は異なる計算用ユニットを用いる(後者の場合、通常の高速LAN(車両中のローカルネットワーク)に接続されている)本発明による類似の装置が、運転者と同じく例えば射手といったような車両内にいるその他の職員によっても使用され得るという点にある、ということを指摘しておくべきである。射手及び、運転者の両方を伴うケースでは、各人物は、環境の形状及び車両の内部設計を考慮して、それぞれの人物に合う場所にその架空窓を設置することができる。また、車両内に随伴する同乗者は、同等の装置を使用でき、彼らが例えば車両の付近で車両外での任務のため車両を離れる場合、彼らは、その他の種類の任務を遂行するためこれらの環境及びその他のオブジェクトから現実の強調現実感(拡張現実感)を作り上げるため本発明の装置に基づいて同じ機器を利用することができる。数多くの場合において、協力スタッフ又は同じ組織内のスタッフ用として機器のタイプを複数にしないことが重要である。本発明の装置は、同じコンポーネントの使用を伴う数多くの大幅に異なる利用分野のために機器を設計することを可能にしている。
【0077】
この第1の例のみならず、以下のいくつかのさらなる例をも示すために使用される図5では、実環境内での架空テニスの試合が配置されている。本発明の1つの実施形態において、プレーヤである人物8は、頭10の上にいわゆるヘッドセット13の形をした手段を支持しており、これによりプレーヤの頭10は本発明の装置に接続されている。前記装置は、この実施形態においては、変換器5、各眼に1つずつの視覚に情報を転送するための2つの手段12及び各耳に1つずつと頭がい骨上に1つが配置された単数又は複数の聴覚器官により知覚されるように情報を転送するための3つの手段15を含む転送ユニット及び制御及び計算用ユニット17を含む。後者のユニット内には、ゲームが行なわれようとしている実際の部屋である環境の実行されたモデルが存在する。対戦相手は制御及び計算用ユニット17又はそれと通信状態にあるもう1つのシミュレーション手段によりシミュレートされた対戦相手より構成されており、その最も単純な形態において、この対戦相手は、転送ユニットによって作り出された強調現実感(拡張現実感)によりプレーヤにとって唯一目に見えるものである架空ラケット28で表わされている。
【0078】
視覚情報のための転送手段12は、この例においては、環境から通常入射する画像が重ね合わされることになる眼の網膜上に画像を投射する能力をもつ機器で構成されている。単数又は複数の聴覚器官により知覚された情報を転送するように配置されたそれぞれの転送用手段15は、耳道のすぐ下で耳46の各側に配置されたもの2個と耳道47のすぐ上のもの1個を含む3つのスピーカー要素45をもつイヤホン(図6参照)で構成されており、このスピーカー要素45は、変換器5に機械的に接続されたハンドセットを介して変換器5により構成されている刺激生成部材の座標系内の明確な位置及び/又は向きで、耳道から明確な距離のところに配置される。頭の頂部に配置された特殊な転送用手段は、変換器の座標系内の明確な1つの位置で、頭がい骨に対し直接的に配置された振動要素からなる。
【0079】
さらに、プレーヤはコンポーネント26を自らの手の中に保持している。前記コンポーネントは、例えばテニスでボールを打つため、実際のプレー行為を実施するためのツールを構成するように意図されている。このツールは、普通のテニスラケットのグリップとして設計されており、6つの自由度で実環境に対し、その位置及び/又は向きを決定するように配置され、そうでなければ自由に可動であるコンポーネント及び制御及び計算用ユニット17への情報伝達用の実施手段に機械的に固定接続されているさらなる変換器を含む。
【0080】
この例においては、吊下げランプ30の形をした物理的オブジェクトが環境に存在するが、このオブジェクトは、発生するいかなる実際のオブジェクトであってもよい。このオブジェクトは制御及び計算用ユニット17内でモデリングされる。さらに、制御及び計算用ユニット17の中には、架空ボール29、架空テニスネット24及び架空テニスライン25についての情報、テニスボールがどのように物理的に作用するかについての計算モデル、及び現実世界の中でゲームテニスがいかに行なわれるかについてのその他の規則が記憶されている。
【0081】
最初に、上述の種類の架空テニスゲームの中央にある状況が本明細書で記述される。プレーヤの頭の位置及び向きについての情報が変換器5から得られ、制御及び計算用ユニット17に伝送される。ここで、人物の視野内にある実際の部屋の部分は、環境の記憶されたモデルと頭の上にある感覚器官の位置及び向きを含むプレーヤの頭10の位置及び向きについての情報を組合わせることにより計算される。可能性ある音声情報計算のためには、確かに全架空強調現実感(拡張現実感)が計算に用いられる。また、ツールコンポーネント26の位置及び向きについての情報は、プレーヤの視野の中でそれ自身の架空ラケットが存在する場合及び場所を計算するために用いられる。さらに、他の情報及び履歴の関数としての、架空テニスネット24、ラインの位置25及び架空ボール29の位置についての情報が計算される。ツールコンポーネントの位置及び向き情報の時間系列を用いて、架空ボールを打つときの力及び加速度といったパラメータを計算することができ、これにより、すべての時点での架空ボールの運動経路を計算するための条件が作り出される。架空ネット24、架空ボール29、架空ライン及びシミュレートされた対戦相手の架空ラケット28の画像がどこでどのように生成されることになるかについての情報が次に、制御及び計算用ユニット17から、転送ユニット及びその視覚への情報転送用手段12に伝送される。また、プレーヤ自身の架空ラケット27についての情報が、プレーヤが見るコンポーネント26の実際の画像に加えられるような形で生成される。前記転送用手段は、網膜上に直接画像を投射することによって強調現実感(拡張現実感)の架空部分を実現し、実際の部分は眼を通して通常の方法で得られる。
【0082】
これに対応して、例えば存在する架空音源は、制御及び計算用ユニット17内でモデリングされる。例えば、一定の与えられた条件下でボールがラケットを打つとき又はボールがフロアを打ちはね返るとき、どのように音が出るかという点からの音である。架空音はこのとき、架空オブジェクト及び実環境の特性の両方を考慮に入れて、音声情報を転送するための転送ユニットの手段15の音及び振動生成用要素が位置設定されている変換器の座標系内の点においてその音がもつ特性へと変換される。この情報は、単数又は複数の聴覚器官によって知覚されるべき刺激を転送するための手段を用いて強調現実感(拡張現実感)内のプレーヤに対し実現される。同時に、転送用手段が閉じられていない場合、実環境からの通常の音声が聞こえるかもしれない。
【0083】
こうして、聴覚及び視覚の両方についての実現された強調現実感(拡張現実感)により、プレーヤ8は、架空の対戦相手を打ち負かすことができるように、あたかもそれが実際のテニスの試合であった場合と同じやり方で自ら動くことのできる、実環境内の非常に現実的なテニスゲームを体験することができる。有利には、ゲームは、プレーをアレンジできるようにするため全く又は最低限しか準備を必要としない場所及び敷地内でプレーできる。これは、実現された強調現実感(拡張現実感)の現実的な画像を提供する精度が得られるということと同時に、真実である。一般の表示装置に基づくコンピューターゲームに関して、テニスの物理学がすでに充分にモデリングされていることが留意されうる。
【0084】
架空の試合が実環境内で(この場合はランプ30の形をした付加的なオブジェクトを伴って)行なわれる場合、制御及び計算用ユニット17内のモデルの中でこのランプを考慮するか、しないかを選択することができる。これまでに提示されてきたテニスゲームの例に比べ、本発明の装置のさらに精巧な実施形態においては、視覚をシミュレートするための転送用手段の一部として視野の中にある透明なLCDディスプレーが使用されており、このディスプレーは、その表面上の各画素内で光を阻止するか又は通すことができるという特徴を有する。この点に関して、装置の変換器5からの位置及び向き情報及び前記環境モデルに基づいて、制御及び計算用ユニット17は、遮へい物12を用いて、ランプの画像を作り出す実環境から光を締め出すことができる。これは、変換器の位置及び向きについての認識を用いて遮へい物の位置及び向きが決定され得ることから、可能である。これにより、架空ボール29は、実現された強調現実感(拡張現実感)の中でじゃまされずに動くことができるように見える。この効果は、プレーヤの視野についての位置及び向き情報及びモデルの両方の精度が少なくとも眼の解像力と同じ規模のものである、すなわち円弧の約1分である場合にのみ得ることができる。
【0085】
前記テニスの例のもう1つの実施形態においては、架空ボール29の経路の計算の中で、環境内にランプ30が存在するものとみなされている。したがって、架空ボール29はランプにあたってはね返る可能性があり、これにより、より複雑なプレー状況が存在する。こうして、プレーヤは、より挑戦的なゲーム変形形態を作り出すこと、又は、そうでなければ考えつかないような強調現実感(拡張現実感)の中でゲームをプレーすることができる。一例としては、低く吊り下がった大きなカットグラスシャンデリアのある部屋の中で普通のテニスをプレーすることは経済的に理にかなっていない。実現された強調現実感(拡張現実感)内で高度の現実性を得るためには、物理的オブジェクトのモデルは高い精度のものでなくてはならない。本発明の装置の柔軟性を例示する目的で、1つの実施形態においては、装置には、環境に関する情報のための獲得手段が具備されており、本発明の装置はこの手段と変換器及び制御及び計算用ユニットを共有するように配置されている。この点において、部屋内の可動オブジェクトも同様に、プレーヤが実現された強調現実感(拡張現実感)からの情報に基づいて行動することにより、モデリングされテニスゲームを直接実施することができる。
【0086】
さらなる例においては、前述の実施例におけるテニスゲームがいかなる形であれ架空対戦相手に制限されないことが例示されている。実際の対戦相手(プレーヤ)には、特定の実施形態において本発明による両方の装置が1つの制御及び計算用ユニットを共有するように配置された本発明による類似の装置が具備されている可能性がある。この点に関しては、架空ボール及び両方のプレーヤのそれぞれの架空ラケットの経路及びネット及びラインを計算するために、位置及び向きの情報の2つの組が共通の制御及び計算用ユニットに伝送され、そのような方法で、該情報がそれぞれのプレーヤーの転送ユニットのために作り出されそれに伝送されることになる。この例の1つの変形形態においては、2人のプレーヤは、同じ物理的環境内に存在している。聴覚器官によって受理される情報を伝送するための手段が、実際の環境からの音声が締め出されるような形で配置されている場合、それぞれのプレーヤの強調現実感(拡張現実感)が実現される時、視覚的印象及び聴覚的印象は、環境から大きい程度に取り上げられ、制御及び計算用ユニットにより転送ユニットに転送された架空事象についての情報からはより小さい程度で取上げられる。
【0087】
2人のテニスプレーヤを有する実施例のさらなる変形形態においては、これら2人のプレーヤは、共通のコートとして使用されるそれぞれの部屋内のエリアが同じ幾何特性をもつように構築されているか又は少なくとも単一のモデルにより互いの間で容易かつ明確な形で変換されうる2つの異なる部屋の形で、各々1つの環境内に位置設定されている。それぞれのコートの外のエリアは完全に異なっていてよい。これはすなわち、強調現実感(拡張現実感)が実現された場合に、各プレーヤが完全に異なる背景を見、そのそれぞれの実環境により与えられた異なる照明条件をもつことを意味している。彼らは異なる音声背景などを有するが、それぞれの転送ユニットからの刺激により、ゲーム/強調現実感(拡張現実感)内の架空事象を共有する。これに関連して、この単純な例では、対戦相手の架空ラケットのみが目に見える、シミュレートされた目に見えない対戦相手とのゲームの場合と同じ視覚的効果が得られる。ゲームは、隣接する部屋ならびにさらに隔離した部屋の中で行なわれ得る。この例は、本発明の装置が、複数の人間を含む対話型プレー状況のためにそれが使用される完全に類似した環境に制限されるものではないということを示している。
【0088】
1つの実施形態の例においては、前のテニスの例による本発明による2つの装置及び最小の共通コートを確立するための手段を含む、本発明の配置が使用される。さらに、この配置には、各生き物に対して1つの環境についての情報を得るための2つの獲得手段が含まれており、この手段は、最小限の出発環境から出発して共通のコートとして使用するのに充分な共通の特性をそれぞれの環境のどれほど大きな部分が有しているかを比較するために、それらの手段が本発明の装置に含まれた制御及び計算用ユニットのうちのいずれか1つの中又は別の制御及び計算用ユニットの中に実現されたアルゴリズムを使用するような形で構築されている。該アルゴリズムは、該エリアを漸進的に増大させ、該エリアを増大させる各段階の中にどの静止したオブジェクトが見い出されるかを比較する。環境のうちのいくつかの中に1つの障害物が発見された時点で、その他の環境の中に対応する障害物が存在するか否かが調査される。後者の場合には、複数の障害物が非常に類似の特性を有する場合、その障害物を含ませることができるが、そうでなければ、反復はそれらの障害物が画定する方向で停止される。アルゴリズムは、そのエリアを増加させる方法が全く残っていなくなるまでくり返される。このようにして得られたコートはこのとき、それぞれのプレーヤについて異なる断片的な景色のみが作り出される前述のテニスの場合と比べて実質的な程度まで増強された種類の体験の可能性を提供しうる、ゲームをプレーするための2つの世界の間の遭遇場所を構成している。
【0089】
テニスゲームの後者の変形形態の1つの実施例においては、各プレーヤの装置の別々の制御及び計算用ユニット及び共通の所要入力データが用いられる。計算は、1つのネットワークを介して(この特殊な例においてはインターネットを介して)、制御及び計算ユニットの両方間に伝送される。この単純な実施例においては、それぞれの制御及び計算用ユニットがもう1つの制御及び計算用ユニットに対して、ラケットならびに頭との関係におけるそのプレーヤの位置及び向きについての情報を提供する。架空ボールの経路は、それぞれのユニットの結果を各々が互いに制御できる両方のユニット又は共通の制御及び計算用ユニットのいずれかによって計算され得る。それぞれの計算ユニットはこのとき、独自のそれぞれの転送ユニットに伝送されるべき情報を計算する。
【0090】
本発明による装置をもつプレーヤが1人しかいない上述の最初のテニス例のさらなる変形形態においては、この特定のケースではランプである、実際のオブジェクトの付近で架空ボールがいかに動くことになるかに関連する通常の自然の法則以外のその他の特別な物理的法則が制御及び計算用ユニット内で作り出される。ボールのように丸く、相対する電荷をもつ2つの点の形状の電気微粒子の間と同じタイプの反発電位をもつランプが、その中でモデリングされた。このことは、ボールの経路に大きな影響を及ぼし、それにより、異なるゲーム体験の可能性を伴う異なる強調現実感(拡張現実感)がそのプレーヤのために実現される。この例は、純粋な物理的世界と非常に特殊な世界の間の特性を混合し、それに関連して、生き物がそこから体験を得ることのできる実現された強調現実感(拡張現実感)の形で結果を例示するために装置を使用することができるということを示している。この状況でも現実性を作り出すためには、環境と架空事象を高い精度で相互接続させることが必要である。
【0091】
1人のプレーヤ用に意図され、前述のテニスの例の変形形態に類似している1つの例においては、グラウンドは、電圧が印加される変電所をもつ囲い地で構成されており、この囲い地は、ブレーカ、転換器、変圧器、誘電子などといったような通常発生する電気器具をこのようなエリア内に含む。該環境の特性電位は、前述の種類の器具のまわりの電位のCADモデルを用いてモデリングされ、制御及び計算用ユニット内に実現され、架空ボールは、小型の、電荷され、点の形状の供給源といった架空の電気特性を有する。プレーヤはこの場合、電界が器具のまわりでいかに挙動するかを理解するためにそのパフォーマンスを実施することができる。この例は、該装置の有用性が、特定のタイプの環境に、又は外乱を受けた非磁性環境内での使用に制限されないということ、及び本発明による装置が有効なトレーニングのために使用可能であることを示している。
【0092】
前述の例のより高度な実施形態においては、視覚器官に対し刺激を転送するための転送用手段は、画像情報のための獲得手段を有している。さらに、眼に向かって直接光が入射するための経路は、不透過性の遮へい物の形をした遮断手段によって遮断される。獲得手段から得られた情報は、環境のモデル内でシミュレートされた電位からの画像情報と重ね合わされ、その結果、環境の電気特性についての情報は、実際の画像に対し継ぎ目なく適合された異なる半透明の濃淡により表わされるようになっている。転送ユニットは、このとき、眼の網膜上の画像の投射のため、転送用手段を用いて全画像を生成する。この場合、実現された強調現実感(拡張現実感)内の架空のテニスボールが実環境内のポテンシャル場の中を移動しているのが見えるかもしれない。本明細書に記述された例は、プレー及びゲームの性質を有するが、本発明による当該装置は、例えば科学的用途のために現実的な方法で、1つの環境と完全に又は部分的に一致する強調現実感(拡張現実感)の中の事象を調査し視覚化することを可能にする。この例の特徴は、ここでもまた、プレーヤの視野に関する位置及び向き情報ならびにモデルに高い精度が要求されているという点にあり、これは、1つの同じ装置を用いて最も異なる環境の中でその機能を得ることができなくてはならないという必要条件が同時に存在するならば、実現された強調現実感(拡張現実感)を作り出すための既知の装置を使用した場合には達成不可能である。
【0093】
上述の本発明による装置の実施形態の例のうちのいくつかの中に機器ホルダーの形で含まれているコンポーネント26には、いくつかの制御ボタンが具備されていてよい。その点について、プレーヤは、実現された強調現実感(拡張現実感)の中で架空事象の異なる特性を調整することができる。特に、制御ボタンを用いて、制御及び計算用ユニット17に制御記号を伝送することによって、架空テニスコート上の架空ライン25の色の選択を、変更することができる。
【0094】
視覚情報を転送するための転送ユニットの手段12が画像情報を得るための獲得手段、環境の照明を遮断する手段及び網膜上の画像の直接的投射用の視覚情報のための転送用手段を含んでおり、かつツールコンポーネント26に制御ボタンが具備されているテニスの例においては、プレーヤが体験する強調現実感(拡張現実感)がクレーのコート上でのプレーに類似しているような形で、制御及び計算用ユニット17に対し制御ボタンから信号が発信される。この場合、実環境内のフロアのすべての色は、砂利様の色範囲内の色と交換され、さらに人間には、クレーのコートに対応する肉体的条件と質感の体験が提供される。前述の例と同様の本発明による機器を伴うもう1つのテニスの例においては、実際の対戦相手が、制御及び計算用ユニット内のシミュレーションを介して、対戦相手の架空衣服を変えるために修正された機器コンポーネントの制御ボタンを使用する。この例の次の段階では、プレーヤの1人は、自らをその対戦相手から見えなくする目的で、制御及び計算用ユニット内の特殊計算モジュールを活動化させるように制御ボタンを介して選択する。これには、対戦相手の後に強調現実感(拡張現実感)を継ぎ目なく挿入することが必要となる。このように、対戦相手が画像内に発生する欠陥を通して出し抜くことができず、そしてこれによりもう1人のプレーヤがどこに存在するかを間接的に理解することのできない画像を提供するように、環境の詳細モデル及び位置及び向き測定のきわめて高い精度が要求される。
【0095】
本発明による装置又は配置の用途は、記述されている変形形態又はその他の変形形態の架空のテニスのゲームに制限されないということを強調しておくべきである。制御及び計算用ユニット内のモデルを容易に交換することにより、グラウンドを、例えばゴルフ又は異なる精巧度のクイディッチゲームといったようなゲームへと改変させることができる。(クイディッチは、ハリーポッターについての想像的文学の本の中及び「時代と奇想天外な動物達そして彼らを見い出せる場所を通したクイディッチ」という特別刊行物(ISBN:0439284031)の中でJ.K. Rawlingsが記述しているゲームである)。さらに、本発明による装置を伴う環境の中で、その他すべての形のゲーム、プレー及びスポーツを行なうことができ、そして1つの強調現実感(拡張現実感)内で実現された環境の実際の画像と統合させた架空事象を伴う世界の中でこれをプレーすることが可能である。機器コンポーネントの架空テニスラケット27を、ゲームが進行中である間に、あらゆるタイプの刀剣、レーザーソード、槍、銃器と容易に交換することが可能である。例えば機器コンポーネントが例えば実際のテニスラケットか又は前述の種類の変換器に接続された実際の刀剣によって構成されていたとしても全く問題はない。したがって、プレーヤがもつ機器は、隠されていても、又は架空の機器として生成されていてもよい。ゲーム及びゲームのルールは、変更されてもよいし、又は制御及び計算用ユニット17内に別途記憶されていてもよい。
【0096】
図7は、一例として、オーケストラの数名の架空の奏者48及びヘッドセット13の形をした手段により頭10に接続された本発明による装置の1変形形態を有するリスナー(生き物)からなる1つの環境を例示している。この場合では、装置は、前述の例の中に言及されている種類の変換器5、単数又は複数の聴覚器官に対し刺激を転送するための3つのコンポーネントを有する手段15を含む転送ユニット、及び環境の3次元表現を含む制御及び計算用ユニットを含み、さらにこの特定のケースでは、レコ−ディングにおいて使用されてきた単数又は複数のマイクロホンに対するそれぞれの楽器からの位置及び方向の表示を伴う(同じテンポで)同じ楽曲を演奏する異なる楽器からの音の録音を伴うデータベースも含まれている。音声情報のための転送手段の3つのコンポーネントのうちの2つは、図6に従った生き物の耳のまわりに配置された3つのスピーカー要素45により構成されており、ここで変換器に対するそれぞれのスピーカー要素の位置及び向きは固定され充分知られている。第3のコンポーネントは、変換器に対し既知の位置及び既知の方向で、生き物の頭の上に位置設定された振動要素49によって構成されている。
【0097】
本発明による装置をつけたリスナーが部屋内を移動し、頭10を動かした時点で、頭の位置及び向きが、制御及び計算用ユニット17に伝送されることになる。制御及び計算用ユニット17内では、環境の既知のモデルから出発して、異なる架空のオーケストラ団員48が共通の考えられるレコーディングにおいて座っているとおりの又は彼らが置かれるべきモデルの中で定義されているとおりのいずれかのこれらの団員の位置設定で、計算が実施される。強度及び遅延といったような音声画像が計算される各々の新たな計算の機会において、なかでも、レコーディングが行なわれている/又は行なわれたきわめて正確な時間が考慮され、音声形成及び/又は振動形成のための転送ユニットの手段が位置設定されている点における各々の別の音声の特性が考慮される。転送ユニット内の音声形成のための各々の手段についてすべての音声により作られた信号は、それぞれの手段に伝送され、リスナーに対し1つの音響強調現実感(拡張現実感)を実現し、この強調現実感(拡張現実感)は、位置と向きに依存している。これにより、リスナーは、オーケストラ内を歩きまわり、それが異なる位置からどのように聞こえるかを聞くか、又は遠くから音楽を聴くべくオーケストラから離れることを選ぶことができる。
【0098】
前述の例で使用した本発明による装置の1つの実施形態においては、環境の音響特性についての情報が、モデルとして記憶されている。その結果、実現された強調現実感(拡張現実感)はある意味では実環境と録音された楽曲の統合となる。
【0099】
前述の例で使用された本発明による装置のもう1つの実施形態においては、リスナーは、録音されたオーケストラの中の第1バイオリンを除外し、本来この第1バイオリニストがすわって演奏していたはずの考えついた位置に自分のバイオリンをもってすわることを選択することができる。この場合、例えば、転送ユニットは、実際の音声を架空の形で達成された音声と重ね合わせることができるように音声伝送用の各転送用手段についてのマイクロホンの形をした音声形成用獲得手段によって補完される。実現された強調現実感(拡張現実感)は、汎用カラオケ器具として描写することができる。
【0100】
前述の実施例のさらなる変形形態においては、本発明による第2の装置を備えたさらなるリスナーが存在しており、ここで、この第2の装置は、第1のリスナーの装置と共通の制御及び計算用ユニットを有するが、ここで第2のリスナーの変換器はその位置及び向き情報も伝送する。第2のリスナーは、共通の制御及び計算用ユニットから自らの転送ユニットまで、実環境内の自らの装置の位置及び向きについてのシミュレーション情報を受けとる。このようにして、実現された強調現実感(拡張現実感)は、第2のリスナーにとって、第1バイオリニストに関する以外は架空のものであるオーケストラを聴く可能性を提供する。こうして、装置は、著しい3次元音響性をもつ統合された音楽体験を構成する、実現された強調現実感(拡張現実感)を提供する。
【0101】
さらなる一例においては、前述の音楽聴取の例は、本発明による装置に視覚情報のための転送用手段が含まれることによって補足されている。これにより、実現された強調現実感(拡張現実感)の中に架空の演奏者を生成することが可能である。これに関連して、1つの実施形態においては、上述のテニスの例の中で記述されているものと同じ視覚情報のための転送用手段が使用される。
【0102】
前述の例における環境に類似した環境の中では、当該例ではオーケストラ内の実際の人々の形をしたいくつの実際の音源が存在している。リスナーには、各々の音声形成要素においてマイクロホンの形をした録音手段により補足された前述の例に従った音響情報のための転送用手段からなる転送ユニットを含む発明による装置が具備されている。このマイクロホンは、情報が、音声を分析し情報を位置及び方向情報と一緒にする制御及び計算用ユニットに伝送されるような形で、接続されている。この点において、異なる音声成分を、電子回路を介してか又はコンピュータプログラムにより分離することが可能であり、リスナーの頭の向きに対して一定の与えられた方向に沿って位置設定された供給源に由来するという性質をもつある種の音声のみが、実現された強調現実感(拡張現実感)を介してリスナーにもたらされることになる。この場合、本発明による装置は、リスナーに対し、自身の位置及び向きの絶対的方向及び位置決定の可能性と共に、有向聴取の形での聴取体験を提供している。この点に関して、リスナーの実現された強調現実感(拡張現実感)の中で、有向音声及び非有向音声を同時に混合することが可能である。
【0103】
本発明による装置のもう1つの実施形態においては、環境すなわち部屋のモデルは、その部屋の異なる事象についての異なる音声と組合わされる。例えば盲目の生き物によって使用される本発明による装置は、前述の例のように設計され、制御及び計算用ユニット内に存在する環境のモデルが、部屋の中の異なるオブジェクトまでの距離の関数として音声情報を作り出すような形で配置される。さらに、盲目の生き物には、制御及び計算用ユニットに対し信号を伝送し得る制御ボタンをもつ上述のテニスの例で記述されたものと同じ種類の機器ホルダの形をし装置内に含まれた自由に移動可能なコンポーネントが具備され得る。一実施形態においては、変換器からの位置及び向き情報に従って生き物が鋭利なコーナーに近づいた場合に、モデル内の部屋の中のすべての鋭利なコーナーが盲目の生き物に警告音を作り出すようにすることが選択されている。情報は、転送ユニットを介して、実現された強調現実感(拡張現実感)を介して伝送され、盲目の生き物は、鋭利なコーナーに衝突するのを容易に避けることができる。
【0104】
本発明による装置及び本発明による方法が、例示された実施形態のみに制限されないということは明白である。いくつかの修正の可能性がすでに以上で言及されてきている。本発明の考えがひとたび導入された時点で、当業者にとっては、さらなるこのような可能性が明白である。従って、本発明が、以下の請求項によって定義されている保護範囲にのみ制限されること、そして特許保護の枠内には同等の実施形態が含まれることが強調される。
【図面の簡単な説明】
【0105】
【図1】人が存在し、実現された強調現実感(拡張現実感)の中に実際のオブジェクトならびに架空のオブジェクトを見る部屋の形をした環境の斜視図である。
【図2】本発明に含まれている変換器及び環境内の信号源から生じる該変換器上の入射信号の概略的斜視図である。
【図2a】広角レンズ及び検出器表面を含む本発明に含まれた変換器の斜視図である。
【図3a】発明の装置及び装置内に含まれる部品間の通信ライン及び考えられるデータ変換及びモデル計算の例のブロック図である。
【図3b】発明の装置及び装置内に含まれる部品間の通信ライン及び考えられるデータ変換及びモデル計算の例のブロック図である。
【図4】運転者に対し、彼がその中で完全に保護されている1つの環境の中で展望を与えるための、本発明の装置を伴う軍事車両を示す。
【図5】架空の対戦相手に対する環境内の架空のテニスの試合を示す。
【図6】聴覚器官が受信した情報を転送するための手段の中に含まれる部品の概略図である。
【図7】架空のオーケストラを示す。

Claims (45)

  1. 生き物にとっての実環境内でその生き物のために強調現実感(拡張現実感)を作り出すための装置において、該強調現実感(拡張現実感)が、実環境の少なくとも1部分と少なくとも1つの架空事象の両方を含み、該生き物が体験する前記強調現実感(拡張現実感)の特性が、実環境に対する該生き物又はその一部分の位置及び/又は向きに依存する装置であって、実環境内の信号源からの入射光信号を受信し変換器との関係における受信信号の相対的入射方向を記録することによって実環境に対するその位置及び/又は向きを決定するように配置された変換器及び、変換器の位置及び/又は向きについて及び実環境についての情報を用いて刺激を生成するために、生き物及び変換器の相対的位置及び/又は向きが制限された間隔の中にくるように配置されるような形で生き物と変換器を接続する手段を含む刺激生成部材、及び生成された刺激を生き物に転送して該生き物のための前記強調現実感(拡張現実感)を実現するためのユニットを含んでなることを特徴とする装置。
  2. 変換器及び転送ユニットと通信し、必要とされる刺激を計算し転送ユニットを制御するため、実環境について及び実現された強調現実感(拡張現実感)についての情報を提供するように配置されたコンピュータモデルを使用する、制御及び計算用ユニットを刺激生成部材が含むことを特徴とする、請求項1に記載の装置。
  3. 転送ユニットが、生き物の視覚器官を介して刺激を転送するための手段が含むことを特徴とする、請求項1又は2に記載の装置。
  4. 転送用手段が、生き物の視神経に直接インパルスを通して刺激を転送するように設計されていることを特徴とする、請求項3に記載の装置。
  5. 転送用手段が、生き物の単数又は複数の眼の中に直接画像を投射することにより刺激を転送するように設計されていることを特徴とする、請求項3に記載の装置。
  6. 転送ユニットが、生き物の聴覚器官を介して刺激を転送するための手段を含むことを特徴とする、請求項1〜5のいずれか1項に記載の装置。
  7. 転送用手段が、生き物の聴覚神経に直接インパルスを通して刺激を転送するように設計されていることを特徴とする、請求項6に記載の装置。
  8. 転送用手段が、生き物の頭がい骨又は聴覚器官の一部分を機械的に振動させることによって刺激を転送するように設計されていることを特徴とする、請求項6に記載の装置。
  9. 転送ユニットが、生き物の触覚器官を介して刺激を転送するための手段を含むことを特徴とする、請求項1〜8のいずれか1項に記載の装置。
  10. 転送用手段が、生き物が熱を環境から吸収又は環境へ放出するように生き物に対し実環境の少なくとも一部分の温度を制御することによって刺激を転送するように設計されていることを特徴とする、請求項9に記載の装置。
  11. 転送ユニットが、生き物の嗅覚器官を介して刺激を転送するための手段を含むことを特徴とする、請求項1〜10のいずれか1項に記載の装置。
  12. 転送ユニットが、生き物の味覚器官を介して刺激を転送するための手段を含むことを特徴とする、請求項1〜11のいずれか1項に記載の装置。
  13. 実環境が1以上の位置及び/又は方向に有する1以上の特性を記録又は測定することによって実環境からの情報を得るための獲得手段を含んでなることを特徴とする、請求項1〜12のいずれか1項に記載の装置。
  14. 獲得手段が、制御及び計算用ユニットと通信するように配置されていることを特徴とする、請求項2及び13に記載の装置。
  15. 獲得手段が、実環境に対して生き物の単数又は複数の眼が有する位置及び/又は向きを検出するために配置されていることを特徴とする、請求項13又は14に記載の装置。
  16. 獲得手段が、実環境に対して生き物の単数又は複数の耳が有する位置及び/又は向きを検出するために配置されていることを特徴とする、請求項13、14、又は15に記載の装置。
  17. 獲得手段が、生き物の単数又は複数の眼の焦点合せを検出するために配置されていることを特徴とする、請求項13〜16のいずれか1項に記載の装置。
  18. 獲得手段が、光を導入する生き物の単数又は複数の眼の開口部のサイズを検出するために配置されていることを特徴とする、請求項13〜17のいずれか1項に記載の装置。
  19. 変換器が、変換器と実環境が相互に移動した場合に実環境に対するその位置及び/又は向きを反復的に決定するように配置されていることを特徴とする、請求項1〜18のいずれか1項に記載の装置。
  20. 変換器が、変換器と実環境が相互に移動した場合に任意の座標系内で実環境により機械的に誘導されず生き物により自由に移動可能となるように配置されていることを特徴とする、請求項1〜19のいずれか1項に記載の装置。
  21. 変換器(5)が、0.2ステラジアン(sr)を上回る立体角を構成し、かつ変換器が前記信号源(9)からの入射信号を受信するように配置されている信号受信方向の収集量によって形成されている信号受信方向エリアを伴って設計されていることを特徴とする、請求項1〜20のいずれか1項に記載の装置。
  22. 変換器(5)の信号受信方向エリアが、1ステラジアンを上回る立体角を構成することを特徴とする、請求項21に記載の装置。
  23. 変換器(5)の信号受信方向エリアが、2ステラジアンを上回る立体角を構成することを特徴とする、請求項21に記載の装置。
  24. 変換器(5)の信号受信方向エリアが、4ステラジアンを上回る立体角を構成することを特徴とする、請求項21に記載の装置。
  25. 変換器(5)の信号受信方向エリアが、位相的に接続されていることを特徴とする、請求項21〜24のいずれか1項に記載の装置。
  26. 変換器(5)が、環境に対して少なくとも2つの自由度に関するその位置及び/又は向きを決定するように配置されていることを特徴とする、請求項1〜25のいずれか1項に記載の装置。
  27. 変換器(5)が、環境に対して少なくとも3つの自由度に関するその位置及び/又は向きを決定するように配置されていることを特徴とする、請求項26に記載の装置。
  28. 変換器(5)が、環境に対して少なくとも4つの自由度に関するその位置及び/又は向きを決定するように配置されていることを特徴とする、請求項27に記載の装置。
  29. 刺激生成部材に対し信号を転送し、これによりその機能を制御するため生き物が携帯できる部品を含むことを特徴とする、請求項1〜28のいずれか1項に記載の装置。
  30. 生き物の実環境に対して部品の移動のさせ方によって生き物のために実現された強調現実感(拡張現実感)内での1つの動作を達成するための機器を構成するように、携帯式部品が配置されていることを特徴とする、請求項29に記載の装置。
  31. 携帯式部品が、前記変換器又は、実環境に対してその位置及び/又は向きを決定するように配置されているさらなる変換器を含むことを特徴とする、請求項29又は30のいずれか1項に記載の装置。
  32. 前記少なくとも1つの架空事象が、特別に定義された物理的法則に従うように設計されていることを特徴とする、請求項1〜31のいずれか1項に記載の装置。
  33. 変換器が、実環境に対して少なくとも2つの自由度に関するその位置及び/又は向きを決定するように配置されていることを特徴とする、請求項1〜32のいずれか1項に記載の装置。
  34. 変換器が、実環境に対して少なくとも3つの自由度に関するその位置及び/又は向きを決定するように配置されていることを特徴とする、請求項1〜33のいずれか1項に記載の装置。
  35. 変換器が、実環境に対して少なくとも4つの自由度に関するその位置及び/又は向きを決定するように配置されていることを特徴とする、請求項1〜34のいずれか1項に記載の装置。
  36. インターネットのようなローカル及び/又はグローバルなネットワークに接続されていることを特徴とする、請求項1〜35のいずれか1項に記載の装置。
  37. それぞれの装置を用いて、生き物にとっての実環境内でその生き物のために1つの強調現実感(拡張現実感)を作り出すためのネットワークに接続されている2つ以上の装置を含む配置において、前記強調現実感(拡張現実感)が、前記実環境の少なくとも1部分と少なくとも1つの架空事象の両方を含み、該生き物が体験する前記強調現実感(拡張現実感)の前記特性が、実環境に対して該生き物又はその一部分の位置及び/又は向きに依存する装置であって、それぞれの装置が、実環境内の信号源からの入射光信号を受信し変換器との関係における受信信号の相対的入射方向を記録することによって実環境に対してその位置及び/又は向きを決定するように配置された変換器及び、変換器の位置及び/又は向きについて及び実環境についての情報を用いて刺激を作り出すために、生き物及び変換器の相対的位置及び/又は向きが制限された間隔の中にくるように配置されるような形で生き物と変換器を接続する手段を含む刺激生成部材、及び生成された刺激を生き物に転送し、これにより該生き物のための前記強調現実感(拡張現実感)を実現するためのユニットを含んでなること、及び内部で生き物が体験した特性をそれぞれの生き物が影響をもたらす、生成された強調現実感(拡張現実感)に基づいた生き物に対して実現された最小共通強調現実感(拡張現実感)を確立するための手段を含むこと、を特徴とする装置。
  38. 生き物にとっての実環境内でその生き物のために強調現実感(拡張現実感)を作り出すための方法において、該強調現実感(拡張現実感)が、実環境の少なくとも1部分と少なくとも1つの架空事象の両方を含み、該生き物が体験する前記強調現実感(拡張現実感)の特性が、実環境に対して該生き物又はその一部分の位置及び/又は向きに依存する方法であって、生き物及び変換器の相対的位置及び/又は向きが、制限された間隔内にくるように生き物に対し接続されている変換器を含む刺激的生成部材が生き物に具備されることを含んでなり、かつ変換器は、実環境内の信号源からの入射光信号を受信し変換器との関係における受信信号の相対的入射方向を記録することによって実環境に対してその位置及び/又は向きを決定すること、そして刺激が変換器の位置及び/又は向きについて及び実環境についての情報を用いて生成されること、さらに、生成された刺激が生き物に転送され、これにより該生き物のための前記強調現実感(拡張現実感)を実現することを特徴とする方法。
  39. スポーツ、ゲーム又はプレーを行なうための、請求項1〜36のいずれか1項に記載の装置の使用。
  40. 前記スポーツ、ゲーム又はプレーが、特別に定義された物理的法則に従う少なくとも1つの架空事象を有する、請求項39に記載の使用。
  41. 車両の運転者に対し車両外部の環境を体験させるための、車両の外側にある1以上のセンサーと組合せた形での請求項1〜36のいずれか1項に記載の装置の使用。
  42. 環境に対して1つのオブジェクトをいかに操作すべきかを示すための、請求項1〜36のいずれか1項に記載の装置の使用。
  43. 一つのそして同一の輸送手段を用いる異なる人に対し異なる体験を生成するための、請求項1〜36のいずれか1項に記載の装置の使用。
  44. 立体音響体験を生成するための、請求項1〜36のいずれか1項に記載の装置の使用。
  45. 医療及び/又は心理学的研究作業及び/又は診断のための、請求項1〜36のいずれか1項に記載の装置の使用。
JP2003507008A 2001-06-19 2002-06-18 生き物のための環境を作り出すための装置及び方法 Pending JP2004530501A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE0102217A SE523098C2 (sv) 2001-06-19 2001-06-19 Anordning och förfarande för att i en reell omgivning skapa en virtuell företeelse
US35429002P 2002-02-07 2002-02-07
PCT/SE2002/001200 WO2003000367A1 (en) 2001-06-19 2002-06-18 A device and a method for creating an environment for a creature

Publications (2)

Publication Number Publication Date
JP2004530501A true JP2004530501A (ja) 2004-10-07
JP2004530501A5 JP2004530501A5 (ja) 2006-01-05

Family

ID=26655496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003507008A Pending JP2004530501A (ja) 2001-06-19 2002-06-18 生き物のための環境を作り出すための装置及び方法

Country Status (5)

Country Link
US (1) US7554511B2 (ja)
EP (1) EP1417008A1 (ja)
JP (1) JP2004530501A (ja)
CA (1) CA2451196A1 (ja)
WO (1) WO2003000367A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
JP2009195707A (ja) * 2008-02-21 2009-09-03 Palo Alto Research Center Inc 位置認識混合現実感ゲームプラットフォーム
JP2016537701A (ja) * 2013-10-25 2016-12-01 インテル コーポレイション ユーザ体験をキャプチャおよび生成するための装置及び方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
IL162612A (en) * 2004-06-17 2010-12-30 Michael Braiman Tracking system using fixed optical radiators and method thereof
US9703369B1 (en) * 2007-10-11 2017-07-11 Jeffrey David Mullen Augmented reality video game systems
US20090175463A1 (en) * 2008-01-08 2009-07-09 Fortune Grand Technology Inc. Noise-canceling sound playing structure
US8963804B2 (en) * 2008-10-30 2015-02-24 Honeywell International Inc. Method and system for operating a near-to-eye display
US9228785B2 (en) 2010-05-04 2016-01-05 Alexander Poltorak Fractal heat transfer device
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US20140195285A1 (en) * 2012-07-20 2014-07-10 Abbas Aghakhani System and method for creating cultural heritage tour program and historical environment for tourists
EP3485215B1 (en) 2016-07-12 2023-06-07 Alexander Poltorak System and method for maintaining efficiency of a heat sink
US10942252B2 (en) * 2016-12-26 2021-03-09 Htc Corporation Tracking system and tracking method
TWI659221B (zh) * 2016-12-29 2019-05-11 宏達國際電子股份有限公司 追蹤系統、追蹤裝置及追蹤方法
US11486961B2 (en) * 2019-06-14 2022-11-01 Chirp Microsystems Object-localization and tracking using ultrasonic pulses with reflection rejection
US11207599B2 (en) * 2020-02-26 2021-12-28 Disney Enterprises, Inc. Gameplay system with play augmented by merchandise

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0954542A (ja) * 1995-08-16 1997-02-25 Namco Ltd 動作検出装置、シミュレータ装置及び動作検出方法
JPH10198506A (ja) * 1997-01-13 1998-07-31 Osaka Gas Co Ltd 座標検出システム
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
JP2000137822A (ja) * 1998-04-08 2000-05-16 Trisen Systems Inc 現実強調システム
JP2000317141A (ja) * 1999-05-12 2000-11-21 Mcm Japan Kk 仮想空間情報処理装置
JP2000353046A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk ユーザインタフェース装置、ユーザインタフェース方法、ゲーム装置およびプログラム記憶媒体
JP2000353248A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感装置及び複合現実感提示方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684561A (en) * 1992-05-26 1997-11-04 Daphne Eye Technologies Device and method for evaluation of refraction of the eye
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US6278418B1 (en) * 1995-12-29 2001-08-21 Kabushiki Kaisha Sega Enterprises Three-dimensional imaging system, game device, method for same and recording medium
GB9616261D0 (en) * 1996-08-02 1996-09-11 Philips Electronics Nv Virtual environment manipulation device modelling and control
WO1998007129A1 (fr) * 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
US6317127B1 (en) * 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
US6684063B2 (en) * 1997-05-02 2004-01-27 Siemens Information & Communication Networks, Inc. Intergrated hearing aid for telecommunications devices
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US6159100A (en) * 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
GB2337828A (en) * 1998-05-25 1999-12-01 Daewoo Electronics Co Ltd Virtual reality simulation apparatus
ATE543546T1 (de) * 1999-06-11 2012-02-15 Canon Kk Vorrichtung und verfahren zur darstellung eines von mehreren benutzern geteilten raumes, wo wirklichkeit zum teil einbezogen wird, entsprechende spielvorrichtung und entsprechendes schnittstellenverfahren
WO2001017628A1 (de) * 1999-09-03 2001-03-15 Florian Juergs Unterhaltungsgerät
WO2001056007A1 (en) * 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
US20020010734A1 (en) * 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
US6647297B2 (en) * 2000-08-09 2003-11-11 The United States Of America As Represented By The Secretary Of The Navy Permanent retinal implant device
US6891518B2 (en) * 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
US7064742B2 (en) * 2001-05-31 2006-06-20 Siemens Corporate Research Inc Input devices using infrared trackers
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0954542A (ja) * 1995-08-16 1997-02-25 Namco Ltd 動作検出装置、シミュレータ装置及び動作検出方法
JPH10198506A (ja) * 1997-01-13 1998-07-31 Osaka Gas Co Ltd 座標検出システム
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
JP2000137822A (ja) * 1998-04-08 2000-05-16 Trisen Systems Inc 現実強調システム
JP2000317141A (ja) * 1999-05-12 2000-11-21 Mcm Japan Kk 仮想空間情報処理装置
JP2000353046A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk ユーザインタフェース装置、ユーザインタフェース方法、ゲーム装置およびプログラム記憶媒体
JP2000353248A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感装置及び複合現実感提示方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
JP2009195707A (ja) * 2008-02-21 2009-09-03 Palo Alto Research Center Inc 位置認識混合現実感ゲームプラットフォーム
JP2016537701A (ja) * 2013-10-25 2016-12-01 インテル コーポレイション ユーザ体験をキャプチャおよび生成するための装置及び方法

Also Published As

Publication number Publication date
US20040150666A1 (en) 2004-08-05
WO2003000367A1 (en) 2003-01-03
EP1417008A1 (en) 2004-05-12
CA2451196A1 (en) 2003-01-03
US7554511B2 (en) 2009-06-30

Similar Documents

Publication Publication Date Title
US11231770B2 (en) Augmented reality system with spatialized audio tied to user manipulated virtual object
US7554511B2 (en) Device and a method for creating an environment for a creature
RU2109336C1 (ru) Способ погружения пользователя в виртуальную реальность и устройство для его реализации
US11956620B2 (en) Dual listener positions for mixed reality
CN103635891B (zh) 大量同时远程数字呈现世界
JP3247126B2 (ja) 可搬型可視表示装置を提供する方法並びに装置
US20090046140A1 (en) Mobile Virtual Reality Projector
WO2018124280A1 (ja) シミュレーションシステム、画像処理方法及び情報記憶媒体
CN110536665A (zh) 使用虚拟回声定位来仿真空间感知
US20060017654A1 (en) Virtual reality interactivity system and method
KR100988338B1 (ko) 생명체용 환경을 생성하기 위한 장치 및 방법
WO2008157061A1 (en) Spatially aware mobile projection
Zhou et al. The role of 3-D sound in human reaction and performance in augmented reality environments
JP2019175323A (ja) シミュレーションシステム及びプログラム
US20230214007A1 (en) Virtual reality de-escalation tool for delivering electronic impulses to targets
JP7104539B2 (ja) シミュレーションシステム及びプログラム
US11553297B1 (en) Method and apparatus to generate a six dimensional audio dataset
Afonso et al. Collision avoidance in virtual environments through aural spacial awareness
de Sorbier et al. A virtual reality installation
Holloway Art-Related Virtual Reality Applications at the University of North Carolina at Chapel Hill

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060516

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060811

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070306

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070606

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070906

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080708

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080716

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20081003