JP2006313549A - 実マーカオブジェクトを識別する拡張現実システム - Google Patents

Abstract

【課題】拡張現実システムとその方法に対して、仮想オブジェクトの追跡、および、仮想オブジェクトへの特定の実環境の挿入の際に、柔軟性を高め、“忠実性”(fidelity)を向上させる。
【解決手段】実環境から画像データを収集する手段と、前記画像データから仮想画像を生成する手段と、画像データに基づいて実環境の既定マーカオブジェクトを識別する手段と、前記既定マーカオブジェクトに対応する仮想画像の位置において、オブジェクト画像データに前記仮想画像データを重ね合わせる手段と、を備える拡張現実システムを提供する。
【選択図】図１ｄ

Description

概して、本発明は、実世界環境を調査し、その画像データを生成し、仮想画像データをレンダリングし、その仮想画像データに、実世界環境を“拡張”するために、付加的なオブジェクトデータを重ね合わせる拡張現実システムに関する。

コンピュータ技術のめざましい発展は、画像処理、ソフトウェア開発、その他様々な技術分野についても重要な進歩をもたらしている。この結果、小規模なコンピュータ装置までもがリアルタイムで画像データを操作することのできる演算力と資源を備え、日常的な用途に利用される多くの技術の発展の可能性に寄与している。そのような重要な例の一つが、いわゆる拡張現実技術と呼ばれるものである。拡張現実技術では、実環境の画像データを生成するために実環境を調査し、実環境からの画像データを処理及び加工し、この画像データを“仮想オブジェクト”からのオブジェクト画像データによって補足し、ユーザに、仮想オブジェクトを含む画像を提供するものである。加えて、ユーザの実環境に対する認識は、対象用途に応じてどのような情報によっても拡張することができる。通常、拡張現実システムは、実環境の画像データを生成するためのビデオカメラなどの画像システムを有する。次いで、ユーザを拡張環境に置くために、実環境の画像データはコンピュータによって生成された画像やその他の情報と組み合わされ、ユーザに提供される。例えば、ユーザが、その所有する家の居間やキッチンを設計しようとする場合、対象の部屋（これはいくつかの家具を有する可能性がある）は、ビデオカメラが捉える実環境を表し、ユーザの適切な表示装置に提供される拡張現実は、適切なデータベースに基づいてコンピュータによって生成された付加的な家具を備えるかもしれない。この用途のため、画像化された実環境の特定の位置は、対応するカーソル、またはそれに似たもので通常印付けられる。そして、ユーザによって一つ、選択されたデータベース上のオブジェクトを、仮想オブジェクトと“実”オブジェクトの位置関係を見ながら、画像に挿入することができる。これら従来の拡張現実システムは、例えば、部屋や家を設計するための安価な選択肢を提供するが、仮想オブジェクトを実環境に配置する際に、例えば、仮想オブジェクトに対して観察者の位置を高い自由度で変化させたいような場合、柔軟性に乏しい。

よって、仮想オブジェクトの追跡、および、仮想オブジェクトへの特定の実環境の挿入の際に、柔軟性を高め、“忠実性”(fidelity)を向上させる拡張現実システムとその方法が必要とされている。

本発明の特徴の一つによると、この課題は、実環境の画像データを収集する手段と、画像データから仮想画像データを生成する手段と、画像データに基づいて、実環境の既定マーカオブジェクトを識別する手段と、そして、既定マーカオブジェクトに対応する仮想画像における位置で、オブジェクト画像データに仮想画像データを重ね合わせる手段と、を備える拡張現実システムによって解決される。

したがって、本発明の拡張現実システムによると、既定マーカオブジェクト（実環境の任意の場所に配置することができる）は、実環境に対応する画像データに基づいて、自動的に識別される。これにより、例えば所望のどの視点からでも仮想オブジェクトを“見る”ことを可能にする高い柔軟性が得られる。実環境の画像に基づいて仮想オブジェクトの位置が通常選択される、従来の拡張現実システムと反して、本発明は、プレースホルダ、即ち、マーカオブジェクトを、観測することで実環境にすでにある仮想オブジェクトを“見る”ことを可能とする。したがって、様々な視角や視点を選択することが可能となり、環境内の仮想オブジェクトと実オブジェクトの空間的な関係に関する詳細情報が生成され、実環境の近隣へ仮想オブジェクトをさらに現実的に埋め込むことを支援する。たとえば、マーカオブジェクトは頻繁に環境内において再配置されてもよい。このとき、再構成された実環境から生成された画像データは（特に視点も変化した場合に）、照明条件(illumination conditions)をより正確に考慮することを可能とする場合がある。例えば、部屋を通過するユーザは、連続的にマーカオブジェクトを指すことで、仮想オブジェクトの複数の異なる視点に関する実条件についての複数の情報によって部屋が表される、仮想画像データを生成してもよい。よって、仮想オブジェクトの挿入はより現実的な方法で達成することが可能となる。

さらなる好ましい実施例では、複数のオブジェクトデータの組を既定マーカオブジェクトと相互に関連付けるための手段が提供される。よって、ユーザが選択した際に、選択された特定の仮想オブジェクトの一つが仮想現実内のマーカオブジェクトを置換するように、実環境の一つのマーカオブジェクトを複数の仮想オブジェクトに関連付けることができる。要求に応じて、複数のオブジェクト画像データの組が、適切なデータ（これは事前に記録されていても、要求に応じて生成されてもよい）から生成されることが可能である点は認識すべきである。例えば、仮想オブジェクトを表すデータは、異なる実環境の画像データから得られたものであるかもしれない。これは、仮想オブジェクトを実環境の画像データ上に埋め込む際に、仮想オブジェクトの特定された空間方向性に基づいて、必要に応じて三次元画像データの生成を可能とするように、加工、操作してもよい。同様に、オブジェクト画像データを生成するためのデータは対象の実環境から得ることもできる。例えば、画像データの一部を孤立させ、任意の方法でこのデータを加工し、必要に応じてオブジェクト画像データを提供する。その他の実施例では、オブジェクト画像データは、全てソフトウェア資源によって生成されたデータであっても、あるいは一部をソフトウェアツールによって生成されたデータであってもよい。ここで、ソフトウェアツールとは、デザインソフトウェアなどを指す。

さらなる好ましい実施例では、仮想画像データを重ね合わせるために、オブジェクト画像データの組のうち一つを選択する手段を備える。オブジェクト画像データの組とマーカオブジェクトとの間の相互関係はいくつかの用途において、システムによって既定されるものがある（例えば、各オブジェクト画像の組が、適時の既定順序で拡張現実を生成するために利用されるような場合）。しかし、本実施例においては、オブジェクト画像データとマーカオブジェクトの各々の関連は、ユーザが選択できる。

図示された実施例の一つでは、相互関係を選択する手段は、実環境に組み込む、複数の仮想オブジェクトを簡便に選択できるように、音声認識システムを備える。

さらなる好ましい実施例では、システムは少なくとも仮想画像データだけでも表示する出力手段を備える。仮想画像データを好ましくはリアルタイムでユーザに表示することで、オブジェクト画像データの組の数に応じて、異なる視点や複数の仮想オブジェクトが実現される拡張現実環境を、実質的に瞬時にユーザに提供することが可能となる。

その他の実施例では、出力手段は、仮想画像データに加えて、音声情報、感触情報、嗅覚情報、あるいはその他の類似情報を提供するように構成されている。例えば、パニック状況をシミュレーションする場合、実環境には可視的な仮想オブジェクトだけでなく、音声や嗅覚“オブジェクト”を含むことが適切だと考えられる。無論、これらは仮想オブジェクトとして考慮されなくてもよい。

さらなる好ましい実施例では、出力手段はヘッドマウント型表示手段を備えている。拡張現実が極めて現実的な三次元であるという印象を提供するために、例えば、ヘッドマウント型表示手段は、レンズの代わりに液晶ディスプレイなどの適切な表示面を有する、眼鏡などの形状で提供されてもよい。ヘッドマウント型表示手段は音声データそして／あるいは嗅覚データを、例えば、ガス状の要素などの形で提供する相応の手段、を有することができる。

さらなる好ましい実施例では、ヘッドマウント型表示手段は実環境の画像データを収集するための手段を有する。よって、ヘッドマウント型表示手段を装着しているユーザは、例えば、適切に配置されたカメラや、その他によって収集された仮想画像データに基づいて、実環境を“見る”ことができる。一方、マーカオブジェクトは特定されたオブジェクトデータの組と置換される。したがって、例えば、ユーザの目の位置に対応する場所に配置されている対応する画像要素を置換することで、極めて忠実な三次元画像データが実環境から得られる。即ち、仮想オブジェクトによって置換されたマーカオブジェクトはユーザに実際には可視でなくとも、見ることが可能となり、仮想オブジェクトを含む環境に高い“現実感”を作り上げる。

さらなる好ましい実施例では、既定マーカオブジェクトを識別するための手段は、追跡システムを有する。追跡システムは、実環境の画像データを収集する手段に対してのマーカオブジェクトの相対位置データおよび方向性データを特定するよう構成される。よって、追跡システムは視点（すなわち、カメラなどの視点）、とマーカオブジェクトとの空間的関係を特定することを可能とする。これにより、マーカオブジェクト、そして仮想オブジェクトの方向性と位置を、視点の動きに応じて、連続的に更新することができる。さらに、相対位置データと方向性データに基づいて、仮想オブジェクトを適切に縮尺変更し、視点とマーカオブジェクトの相対距離を考慮に入れることができる。さらに、追跡システムは、縮尺変更(scaling)システムを有し、仮想オブジェクトの一般的なサイズを実環境に適合させることができる。この目的のために、追跡システムは、距離測定システムを備えることができる。距離測定システムは、実環境にあるオブジェクト同士の距離の絶対値を一つ以上、画像データに基づいて特定するよう構成される。例えば、家具が、実環境に組み込まれるべき複数の仮想オブジェクトだとすると、これら仮想オブジェクトの絶対寸法は、仮想オブジェクトをアクセスするときに得ることが通常可能である。追跡システムから得られた、これら絶対的寸法と絶対距離に基づいて、仮想オブジェクトは適切に拡大縮小され、過度の変形なく、実環境に組み込まれる。

追跡システムは、実質上リアルタイムで、相対位置データと方向性データの他に、絶対距離を提供・操作するように構成されていることが好ましい。これによって、オブジェクト画像データのリアルタイムな操作が可能となり、拡張現実も実質上リアルタイムで提供できる。ここで、“リアルタイム”とは、観察者に対し、実質的に過度の遅延なく拡張現実を認識できるようにするデータ操作時間を意味する。例えば、実環境の視点を比較的ゆっくりと変化させた場合、人間の知覚で感知できる遅延を生じることなく、対応する拡張現実が実質的に提供される。例えば、実環境の画像データを得るカメラを備えた、前述のヘッドマウント型表示手段を利用した場合、表示された拡張現実は、ゆっくりと頭部を回したり、環境の中を歩いたりと言った、ユーザの任意の動作に実質上対応することとなる。

システムはさらに、オブジェクト画像データの一つ以上の組を得るためのオブジェクトデータ生成機を備えていることが好ましい。
オブジェクトデータ生成機は、仮想オブジェクトとして利用される“実”オブジェクトの画像データ、および／または少なくとも仮想オブジェクトの一部を仮想的に生成するグラフィックツール、および／または対象の仮想オブジェクトに関連するその他の情報（音声データ、嗅覚データ、等）に基づくことができる。例えば、生成機は、リアルタイムに仮想オブジェクトを提供するために、オブジェクトベースのソフトウェアツールを有してもよい。ここで、仮想オブジェクトの外観は、前述のように、追跡システムによって適切な方法で実環境の画像データに適合される。その他の例では、既定の手順フローや、ユーザの選択に応じて、仮想オブジェクトの大きさや形の変化を可能にするために、リアルタイムアニメーションを備えてもよい。例えば、建物の火事などのパニック状況をシミュレーションする際、当初マーカオブジェクトによって指定された位置に配置された仮想オブジェクトの大きさや形を変化させたり、どのマーカオブジェクトにも指定されなかった位置にさらなる仮想オブジェクトが新たに配置されたりしてもよい。対象仮想オブジェクトの実質上動的な性質を提供するためである。

その他の実施例では、複数マーカオブジェクトを識別できるようマーカオブジェクトの認識手段が構成される。ここで、マーカオブジェクトのそれぞれは、一つ以上の仮想オブジェクトと相互に関係づけられている。実環境はこのようにして環境内の各マーカオブジェクトを置換することで適合されるため、高い柔軟性が提供される。

さらなる好ましい実施例では、オブジェクト画像データを、仮想画像データによって表される照明条件に適合するために、システムは、オブジェクト画像データの組、および仮想画像データに対して操作を行うレンダリングシステムを備える。実環境に挿入された仮想オブジェクトに関しても高い“現実性”を確保するために、本発明は仮想オブジェクトの外観を、実環境における照明条件に関して、適切に適合することを可能とする。通常、仮想オブジェクトは実環境の画像データからは独立して生成され、仮想オブジェクトの大きさと方向性は、実際の視点とマーカオブジェクトの位置に適切に適合される。仮想オブジェクトの画像データを生成する際には、マーカオブジェクトの位置やその周辺におけるローカルな照明状況を、レンダリングシステムを用いて、考慮に入れることができる。よって、実環境、とくにマーカオブジェクトの位置、における特定の照明条件に影響されるグローバル、またはローカルな輝度、そして色変化を、オブジェクト画像データの生成時に作り出すことができる。

レンダリングシステムは、実環境におけるマーカオブジェクトの位置、オブジェクト画像データの組、そして照明条件に基づいて、仮想影を生成するよう構成されていることが好ましい。これにより、仮想オブジェクトの極めて現実的な実環境への挿入を達成することができる。例えば、マーカオブジェクトは、実際には“実”照明システムに、マーカオブジェクトの位置で大きく影響するオブジェクトを表すものではなく、二次元の記号のみを実質的には表すものであるかもしれない。そうであったとしても、レンダリングシステムは拡張現実の仮想照明状況を、適切な仮想影を生成するために、推定することができる。ここで、仮想影は、仮想オブジェクト、および／または仮想オブジェクト上の実オブジェクト、あるいは、その一部によって生じるものであってもよい。

さらなる有利な実施例では、システムは、収集した画像データに基づいて、実環境内の、少なくとも一つの実光源の少なくとも位置および／または光強度、および／または色分布を特定するよう構成されている仮想照明システムを有している。よって、仮想照明システムは、少なくとも一つの光源を特定し、その特性の少なくともいくつかを数値的に特徴づけることで、実環境の照明条件を数値的に分析することを可能にする。例えば、実環境が一つ以上の電球や窓を備える部屋を表すとき、現在“有効(active)”な光源を特定し、対応する情報を、この特定された光源の仮想オブジェクトへの影響を考慮しつつ、実環境に仮想オブジェクトを適切に導入するために利用することができる。

さらなる実施例では、仮想照明システムは、特定された実光源のうち、少なくとも一つに対応する仮想光源を生成するように構成される。したがって、光源は仮想現実に統合することができ、仮想光源によって提供される照明条件に、仮想オブジェクトを、精度良く適合する。仮想照明システムは、仮想光源の位置、および／または光強度、および／または色を変化できるように構成される。よって実環境は、現在の照明状況とは異なる照明条件の下で“観測”が可能となる。これによって、仮想オブジェクトを色々な異なる環境条件の下で評価することができる。例えば、アクセサリー、衣服などの影響を、異なる光の条件の下で評価してもよい。仮想照明システムは、一つ以上のさらなる仮想光源を生成するよう構成されていることが好ましい。“仮想”照明条件の生成の際に、より正確には、実環境の現在の照明条件をシミュレーションする際に、柔軟性を提供するためである。例えば、拡散された照明を考えた場合、実環境の照明条件は、一つ、あるいは少数の光源では容易にシミュレーションできない。また、比較的大きな三次元仮想オブジェクトを組み込めば、全体の照明条件を大きく変えてしまうかもしれない。その他の実施例では、仮想オブジェクト自体が光源であるとしてもよい。すなわち、仮想オブジェクト自体が一つ以上のさらなる光源を実環境に取り入れていると考えてもよい。

本発明のさらなる特徴として、前述の実施例、そして、添付の図を参照して以降説明される実施例に記載される拡張現実システムを備える仮想ミラーシステムが提供される。さらに、仮想ミラーシステムは、実環境における関心部分の前部に配置された表示面を備える表示手段を備える。このとき、実環境の画像データを収集する手段は、関心部分の前部に配置されている光学的画像化システムを備える。

したがって、表示面の配置と、光学的画像化システムの配置によって、システムの鏡像機能を得ることが可能となる。このとき、ユーザが関心部分であってもよい。このとき、ユーザは自分自身の姿を対応する仮想オブジェクトで置換されるマーカオブジェクトとともに見ることができる。例えば、マーカオブジェクトはアクセサリー、衣服、化粧小物、異なる髪型などの仮想オブジェクトを表すことができる。

仮想ミラーシステムは関心部分に提供される、複数の既定マーカオブジェクトを識別できるような構成であることが好ましい。よって、複数の仮想オブジェクトを様々な組み合わせで、ユーザが評価することができる。例えば、イヤリングを、ネックレスとともに眺めたり、異なる衣服の部分を組み合わせたりすることも可能となる。さらに、美容整形や外科手術の評価をユーザが前もって行うことも可能となる。

本発明のさらなる特徴として、拡張現実を生成するための方法が提供される。この方法は実環境から画像データを収集し、画像データに基づいて実環境に提供される既定マーカオブジェクトを識別する手順を備える。さらに、実環境の仮想画像データが生成され、少なくとも既定マーカオブジェクトに対応する仮想画像データが、既定のマーカオブジェクトに関連付けられているオブジェクト画像データによって置換される。

よって、方法の発明は、前述した拡張現実システムと組み合わせて用いることで、実質的に同様の強みを提供する。

方法は、実環境から、変更された画像データが収集された際に、既定マーカオブジェクトを追跡する手順を備えていることが好ましい。即ち、変化した画像データが実環境から得られても、既定マーカオブジェクトが“観測”される。これにより、仮想画像データにおいて、マーカオブジェクトを置換する仮想オブジェクトを、適切に再構成することが可能となる。

図示される実施例の一つでは、既定マーカオブジェクトの追跡は、少なくとも既定マーカオブジェクトの仮想基準点に対する相対位置と方向性を特定する手順より構成される。よって、実環境において自由に動くことのできる仮想基準点（例えば、カメラなどの光学的画像化システムの位置など）を適切に選択することで、仮想オブジェクトは、実環境の仮想画像に、適切な位置、寸法、そして方向で組み込まれることが可能となる。その他の場合では、例えば、ある環境内で移動するオブジェクトの影響を可視化するために、マーカオブジェクトを環境内で移動させてもよい。このとき、仮想基準点に対する相対位置データおよび方向性は、仮想環境内で仮想オブジェクトが適切に拡大縮小、配置、方向づけ、される可能性を提供する。

その他の好ましい実施例では、オブジェクト画像データは、実環境と異なる第二の実環境からの画像データに基づいて、および／または、実環境からの画像データに基づいて、および／または、仮想現実に基づいて、生成することができる。前述したように、実オブジェクトから得られるデータ（即ち、実オブジェクトの画像データ）を適切な画像処理ツールとともに用いることで、仮想オブジェクトを生成するための高い柔軟性を示した。これにより、追跡システムが、仮想オブジェクトを実環境画像データに正しく統合するのに必要な拡大縮小、配置、方向づけを実施するために、追跡システムの操作する、対応する三次元データを得ることができる。さらに、本発明は、例えばデザインソフトウェアなどの適切なソフトウェアツールによって、あるいはその他適切なグラフィックツールによって仮想的に生成されたオブジェクトデータのどのような組み合わせをも可能にする。あるいは、純粋に仮想的に生成されたオブジェクトデータを、実オブジェクトを画像化して得られたデータと合成することができる。オブジェクトデータの生成は、対応する拡張現実システムのコンピュータ資源に応じて、任意の適切な時間に実施することが可能である。例えば、一つ以上のオブジェクトデータの組を予めデータベースに保存しておき、続いて、要求に応じて読み出してもよい。その他の例では、拡張現実システムと同時に動作するソフトウェアアプリケーションによって、一つ以上の仮想オブジェクトを生成する。このとき、可視データの生成に影響を与えるように、ユーザはソフトウェアアプリケーションと対話式にコミュニケーションを行ってもよい。その他の場合では、ソフトウェアアプリケーション自体が仮想オブジェクトの具体的情報を少なくとも部分的に特定してもよい。例えば、あるパニック状況をシミュレーションする場合、ソフトウェアアプリケーションは、無作為に、および／またはユーザ対話に基づいて、および／または既定の手順フローに基づいて、仮想オブジェクトデータを提供することができる。

さらなる有利な実施例では、方法は、スキャンデータを生成するために、少なくとも実環境の一部をスキャンし、このスキャンデータに基づいて実環境の照明条件を特定する手順を備える。例えば、視角を２７０度、あるいは３６０度の範囲内で変化させることで実施する実世界のスキャニングは、照度マップの作成を可能にする。この照度マップは、仮想オブジェクトの外観を、与えられた照明条件下に適切に適合するために使用することができる。実環境の一部のスキャニングは少なくとも二つの異なる照明条件について実施されることが好ましい。したがって、少なくとも二つの異なる照明条件の対応する照度マップはより正確に、仮想オブジェクトの正しい輝度と色を推定するために利用することができる。さらに、スキャンデータに基づいて、異なる照明条件を基準にして、ユーザに対して拡張現実システムを表示することができる。これらの異なる仮想照明条件は測定データに基づいているため、高い“現実性”をしたがって提供する。例えば、異なる露光量および／または異なる色で様々なスキャン操作を実施してもよい。こうすることで、環境における実オブジェクトの対応する変化（例えば、マーカオブジェクトやマーカオブジェクトの周辺の任意のオブジェクト）に基づいて、仮想オブジェクトの輝度や色の様々な違いを計算できる可能性を提供する。

照明条件の特定は、実環境を照らす、少なくとも一つの光源を識別することと、その光源の位置、および／または光強度、および／または色を特定することから成る。例えば、スキャンデータに基づいて、光強度や色の分布、そして、特に、実環境に対する“仮想”または実の光の放射の基点、及び、対応する入射角を特定することができる。例えば、天井、あるいは対応する部屋の壁が有する一つ以上の電球は、スキャンデータに基づいて容易に特定することが可能となり、仮想オブジェクトに対する入射角を、対応する仮想光源を生成することで、算出することが可能となる。よって、対応する仮想影やその他の輝度の変化を仮想光源に基づいて算出することが可能となる。さらに、実照明条件に対応する仮想光源を、例えばユーザの要求に応じて変更してもよい。これにより、仮想オブジェクトを有する実環境に対して、実環境の現在の照明条件を表すものとは異なる照明条件を提供する。仮想光源をさらに付加的に生成してもよい。これにより、実環境から得られない光に関する条件を確立することが可能となる。例えば、仮想オブジェクト自体が、部屋や家、そして庭や公園などの屋外空間の照明システムを表してもよい。これによって、異なる照明システムが実環境に対して及ぼす影響を調査することも可能となる。仮想光源に、極めて高い“現実性”を授けるために、一つ以上の実照明条件に関して実環境から得られたスキャンデータに基づいて、付加された仮想光源の影響を効率よく算出することができる。

好ましい実施例では、マーカオブジェクトがオブジェクト画像データによって少なくとも置換されて、仮想画像データがユーザに表示される。よって、仮想オブジェクトを有する仮想画像データは特定の用途に適した任意の形で表示されてもよく、本発明の拡張現実手法を用いる際に高い柔軟性を提供する。例えば、ユーザによって操作されるカメラなどで実環境の画像データを収集する場合、仮想オブジェクトを有する、対応する仮想現実は、適切な表示装置がないがために、適切にカメラに表示されない一方で、仮想画像データは、対応画像データの操作と処理を経て、適切な表示装置に表示される場合がある。実環境からの画像データの収集と、仮想オブジェクトデータの組み込みは、極めて複雑なデータ操作を経て実質的に同時に実施されるため、いくつかの応用では、そのとき提供されるコンピュータ資源に応じて、システムのリアルタイムな作動が許されない場合がある。このような場合、実環境の画像データを、適切に選択された時間間隔に基づいて適切に分割し、この分割画像データに基づいて仮想オブジェクトを組み込むための相応したデータ操作を実施し、それらを合わせて適切に表示することができる。よって、画像データの収集に対して、ある遅延が生じる。一方で、さらに入来する実環境の画像データを対応するバッファに記録することができる。入来する画像データに関する変更は、実イベントに対してある絶対的な時間遅延を伴うが、仮想画像データに“瞬時”に反映されるため、画像データの処理は、“リアルタイム”であると言える。

さらなる好ましい実施例では、方法は、一つ上のオブジェクトデータの組を一つ以上のマーカオブジェクトと関連付ける手順を有する。よって、マーカオブジェクトと対応する仮想オブジェクトの間に適切な関係を、前もって、またはリアルタイムで、またはその他任意の構成で、築くことができる。これは、拡張現実システムの利用において、高い柔軟性を可能とする。よって、一つ以上のオブジェクトデータの組をマーカオブジェクトに関連付けた後、特定のオブジェクトデータの組を選択すると、選択されたオブジェクトデータの組で複数のオブジェクトデータの組と関連づけられた特定のマーカオブジェクトを置換できる。したがって、同じマーカオブジェクトに関連づけられたオブジェクトデータの異なる組を選択した際には、仮想オブジェクトを迅速に置き換えることが可能となる。所望の仮想オブジェクトの選択は、音声認識、ユーザ手動の相互作用、ソフトウェアアプリケーションなどによって行ってもよい。

本発明のさらなる特徴として、仮想鏡像画像を生成する方法は、表示手段および画像取得手段を実環境の関心部分の前部に配置すること、そして画像取得手段を作動することで関心部分から画像データを収集すること、から成る。さらに、関心部分において提供される既定オブジェクトマーカが画像データに基づいて識別され、関心部分に対応する仮想画像データが生成される。最後に、少なくとも、既定マーカオブジェクトに対応する仮想画像データが、既定マーカオブジェクトに関連づけられているオブジェクト画像データによって置換される。よって、仮想画像（例えば、ユーザの仮想画像）を得ることができる。このときユーザの外観は、ユーザに付随する任意のマーカオブジェクトに応じて変更することが可能となる。

本発明のさらなる好ましい実施例は、付随の請求項に定義されるとともに、添付の図に関連して、以下に説明される。

図１ａは本発明に関する拡張現実システム１００の概略を、簡略図にて図解するものである。システム１００は実環境１２０から画像データを収集する手段１１０を有する。手段１１０は、ビデオカメラ、複数のビデオカメラ、あるいは、その他適切な画像取得装置やそれに類似するものを代表する。加えて、いくつかの実施例では、手段１１０は、実環境１２０から以前取得された画像データソースである。以降、画像データを収集するための手段１１０をカメラ１１０と呼ぶ。これは、本発明を特定の光学的(optical)画像化システムに制限するものではない。実環境１２０は、例えば、家の部屋、特定の地形の一部、または、その他対象としている任意の適当な領域を表す。図１ａに示す代表的な実施例では、例えば、実環境１２０は居間である。居間は、壁１２４、および家具１２１、１２２、そして１２３という、複数の実オブジェクト１２１から１２４を有している。加えて、実環境１２０は、マーカオブジェクト１２５、１２６とされる実オブジェクトを有することも可能である。これらマーカオブジェクトは、自動化された画像処理アルゴリズムによって容易に識別されるような任意の適当な構成を備えている。例として、マーカオブジェクト１２５、１２６は容易に識別できる顕著なパターンを各自に形成していてもよい。一方マーカオブジェクト１２５、１２６の形状は、複数の異なる視角から識別が可能なように形づくることができる。ただし、マーカオブジェクト１２５、１２６は、それらそれぞれに識別パターンを持つ二次元形態であってもよい、という点を認識すべきである。システム１００はさらにマーカオブジェクト１２５、１２６を、カメラ１１０の提供する画像に基づいて識別する識別手段１３０を備える。識別手段１３０は、マーカオブジェクト１２５、１２６を代表する既定のテンプレートを有した、画像を比較する既知のパターン認識アルゴリズムを備えることができる。例えば、識別手段１３０はカメラ１１０から取得された画像を、既定の照度に関するしきい値に基づいて、白黒画像に変換するようなアルゴリズムを実装してもよい。アルゴリズムは、画像を、正方形などの既定された区分に分割し、学習されたパターンテンプレートをその各区分で検索するように構成することもできる。このテンプレートはマーカオブジェクト１２５、１２６の特徴的な部分を表してもよい。識別手段１３０には、その他のパターン認識手法を実装してもよい。

図示された実施例の１つでは生ビデオ画像が照明に関するしきい値に基づいて白黒に変換される。次いで、この画像について正方形の領域が検索される。ソフトウェアはバイナリ画像の全ての正方形を検索する。この正方形のうち、多くはオブジェクト１２５、１２６などの追跡マーカではない。各正方形について、正方形内のパターンと学習されたパターンテンプレートを照合する。照合すれば、オブジェクト１２５、１２６などの追跡マーカの一つを、ソフトウェアが見つけたことになる。続いて、ソフトウェアは既知の正方形のサイズとパターンの方向性(orientation)を利用して、オブジェクト１２５、１２６などの物理的なマーカに対する実ビデオカメラの位置を計算する。そして、３ｘ４のマトリクスは、識別されたマーカに対するビデオカメラの実世界の座標で埋められる。このマトリクスは次いで仮想カメラの座標位置を設定するために利用される。仮想カメラと実カメラの座標は同じであるため、描画されたコンピュータ画像は特定された位置に実マーカオブジェクトを正確に重ね合わせる。それ以降は、仮想カメラ座標を設定し、仮想画像を描画するためにレンダリングエンジンを用いてもよい。

システム１００はさらに、カメラ１１０から得られた画像データと、オブジェクトデータ生成機１５０から得られたオブジェクトデータとを合成する合成手段１４０を備える。合成手段１４０は追跡システム、距離測定システム、そしてレンダリングシステムを備えることができる。詳細については図１ｂに関する記述において説明する。通常、合成手段１４０は、マーカオブジェクト１２５、１２６に対応する仮想オブジェクトを付加された、実環境１２０の三次元画像を表現する仮想画像データを生成するために、識別されたマーカオブジェクトに対応する、オブジェクトデータ生成機１５０から得られた、画像データを導入するように構成されている。このようにして、合成手段１４０は実環境１２０におけるマーカオブジェクト１２５、１２６のそれぞれの位置を特定するように、そして、マーカオブジェクト１２５、１２６と実環境１２０における静止物との間、および、マーカオブジェクト１２５、１２６とカメラ１１０の視点との間の相対的な動きを特定するように構成される。

システム１００はさらに、オブジェクトデータ生成機１５０によって生成された仮想オブジェクトを含む、仮想画像データを提供するように構成された、出力手段１６０を有することもできる。ここで、好ましい実施例として、出力手段１６０は画像データに加えて、その他のデータの種類、例えば、音声データ、嗅覚データ、感触データ、など、を提供するように構成してもよい。

作動中において、カメラ１１０は環境１２０の画像データを生成する。ここで、画像データは環境１２０の動的な状態に対応できることが望ましい。動的な状態は、例えば、カメラ１１０を環境１２０に対して動かすことや、あるいは、移動可能なオブジェクトを環境に配置することで表すことができる。例えば、マーカオブジェクト１２５、１２６やオブジェクト１２１から１２３のうちの一つ以上のオブジェクトを移動可能とすることができる。環境１２０の視点はカメラ１１０を環境１２０内で動かすことによって変えることができるため、特にマーカオブジェクト１２５、１２６を異なる観点から観測することが可能となる。これにより、オブジェクトデータ生成機１５０の生成した仮想オブジェクトを様々な視点から評価できる。カメラ１１０の提供する、連続的に更新される画像データは、マーカオブジェクト１２５、１２６を認識する識別手段１３０によって受け取られる。カメラ１１０を動かしたり、マーカオブジェクト１２５、１２６を動かしたりすることで、連続的に視点が変化し、パターン認識が阻止されても、判断手段１３０は一度マーカオブジェクト１２５、１２６を識別すると、それらの追跡を可能とする。例えば、マーカオブジェクト１２５、１２６に関連する既定のパターンの存在を画像データ内に認識すると、判断手段１３０は、合成手段１４０に、特定の画像データ領域内のマーカオブジェクトの存在を通知する。次いで、この情報を基に、時間と共にマーカオブジェクト１２５、１２６が消滅しないことを前提に、判断手段１４０は、マーカオブジェクト１２５、１２６を識別するために利用される画像データによって表わされる対応オブジェクトを、連続的に追跡する。その他の実施例では、マーカオブジェクト１２５、１２６の存在を確認し、合成手段１４０の追跡精度を検証、あるいは上げるために、マーカオブジェクト１２５、１２６を識別する手順を実質上連続的に、あるいは少なくとも十分定期的に繰り返して実施してもよい。環境の画像データと識別手段１３０の提供する情報を基に、合成手段１４０は三次元画像を生成し、オブジェクト生成機１５０から受け取った対応する三次元画像データを重ね合わせる。ここで、三次元画像データは合成手段１４０の追跡動作に基づいて、永久に更新される。例えば、合成手段１４０は、識別手段１３０の情報に基づいて、マーカオブジェクト１２５、１２６に対するカメラ１１０の相対的な位置を算出してもよい。そしてこの座標情報を、仮想カメラの座標を決定するために利用してもよい。これによって、マーカオブジェクト１２５、１２６と、オブジェクトデータ生成機１５０によって届けられたオブジェクトデータの正確な“重ね合わせ”が可能となる。座標情報はカメラ１１０に対してのマーカオブジェクト１２５、１２６の相対的な方向性データをも含む。これによって、合成手段１４０は仮想オブジェクトの方向性を正しく適合できるようになる。最後に、合成された三次元仮想画像データは出力手段１６０によって任意の適切な形で表現することができる。例えば、出力手段１６０は、マーカオブジェクト１２５、１２６に関連する仮想オブジェクトを含む環境１２０を可視化するための、適切な表示手段を備えることができる。システム１００を作動する際、少なくともマーカオブジェクト１２５、１２６のうち、１つに関する認識基準をプリインストールすることは効果的である。これによって、実質的に信頼性のあるリアルタイムでの画像処理が可能となる。加えて、それぞれのマーカオブジェクトと一つかそれ以上の仮想オブジェクトとの相互関係をシステム１００の動作の前に設定したり、仮想オブジェクトをマーカオブジェクトに割り当てるため、双方向(interactive)定義が可能なように設計したりしてもよい。例えばユーザの要求に応じて、初期にマーカオブジェクト１２５に割り当てられた仮想オブジェクトを、マーカオブジェクト１２６に割り当てることや、その逆もまた可能である。加えて、複数の仮想オブジェクトを単一のマーカオブジェクトに割り当ててもよく、複数の仮想オブジェクトから一つが、ユーザ、ソフトウェアアプリケーション、あるいはそれに類似するものによって、選択される。

図１ｂは模式的に合成手段１４０の詳細を示す。この実施例では、合成手段１４０は追跡システム１４１、距離測定システム１４２，そしてレンダリングシステム１４３から構成される。前述したように、追跡システム１４１はマーカオブジェクト１２５、１２６の相対的な位置と方向性を追跡するために構成される。これによって、オブジェクトデータ生成機１５０の提供するオブジェクトデータを適合することが可能となる。しかしながら、多くのアプリケーションでは、初期状態では環境１２０で遭遇される絶対的な寸法は未知であるため、仮想オブジェクトの環境１２０への正確な適合は、実環境１２０において、絶対的な基準距離が必要となる場合がある。この目的のため、距離測定システム１４２が追跡システム１４１に接続され、少なくとも一つの絶対的な尺度を特定するために適合される。絶対的な尺度とは、例えば、環境１２０内で容易に識別できる二つのオブジェクト間の距離や、その一部である。距離測定システム１４２は、環境１２０のいくつかの要素に関する絶対尺度を特定するために、例えば、干渉計測ツール、高音波測定装置などの、任意の適切なハードウェアおよびソフトウェア資源を有することができる。距離測定システム１４２は、環境１２０内の要素に関する絶対尺度を特定するために、追跡システム１４１によって制御してもよい。絶対尺度は、追跡システムによって認識することもできる。これによって、絶対尺度の結果を各特定された要素を表現する画像データのそれぞれに適用することができる。図示された実施例の１つでは、一つ以上のマーカオブジェクト１２５、１２６をその最大絶対距離を特定するための基準要素として利用してもよい。マーカオブジェクト１２５、１２６は識別手段１３０によって容易に特定されるからである。その他の実施例では、距離測定システム１４２は利用されなくてもよく、仮想オブジェクトを正しく測定するための対応する情報は、ユーザが入力してもよい。

合成手段１４０はカメラ１１０から得られた画像データと、オブジェクトデータ生成機１５０のデータに基づいて三次元仮想画像データを生成するための、データレンダリングシステム１４３を備える。加えて、環境１２０の照明条件を特定し、それに応じて、出力手段１６０の提供する三次元画像データの“仮想”照明条件を適合するようにレンダリングシステム１４３を構成してもよい。この目的のため、レンダリングシステム１４３は、例えば、環境１２０を適切にスキャンし、照明マップを作成し、実光源を特定することで、環境１２０の実際の照明条件を決定してもよい。

図１ｃは、既定位置に配置されたマーカオブジェクト１２５、１２６、および実オブジェクト１２１、１２２を含む環境１２０の概略を示す。ここで、複数の実光源１２７は、環境１２０内の、特定の照明条件を既定することができる。この状況において、レンダリングシステム１４３はカメラ１１０からスキャンデータを受け取ることができる。カメラ１１０は光源１２７の特性を少しでも特定できるように、動かしてもよい。例えば、カメラ１１０を、その相対位置に応じて、環境１２０に対応する立体角の大部分に渡って動かしてもよい。スキャンデータに基づいて、レンダリングシステム１４３は、次いで複数の光源１２７に関する、位置、光強度、そして場合によっては色分布を特定してもよい。

図１ｄは、環境１２０の照明条件に関する情報を得るために、レンダリングシステム１４３が実施する、典型的な手順のフローを図示する模式的なフローチャート１８０を示す。

ステップ１８１で、ユーザ、および／またはソフトウェアの要請によって手順フローが開始される。ここで、過度のカメラの動きはスキャン活動とみなしても、現在の照明条件やその他の基準に関する評価を行うと判断してもよい。ステップ１８２では、適切な数の区画を有する照明マップとして整備された、カメラ１１０から得られた画像データが、それまでに全ての区画で評価されたかどうかについて評価される。全区画の分析が終了していれば、手順フローは１８９に遷移し、その場面において最も光強度の高い光（図１ｃでは複数の光源１２７）の情報がさらなるデータ処理に利用される。全区画の分析が終了していない場合は、手順フローはステップ１８３に遷移し、それら区画は、光源を特定するために適した区画探索範囲として設定される。次いでステップ１８４で、対象区画に関する、光強度やその他光に関する特性を推定するために必要な貢献(contributions)が全て加算されているか否かが判断される。全ての貢献が考慮されていない場合は、ステップ１８５で全ての貢献が加えられ、手順フローは１８４へと戻る。一方、全ての貢献が考慮されている場合、手順フローは１８６へと進み、対象区画の光強度は、例えば、貢献数を評価して、推定される。貢献の値が異なる場合は、それぞれの大きさから推定される。ステップ１８７では、対象区画の光強度を現在最も高い光強度と比較し、その場面における最も高い光強度を特定する。ステップ１８７で、対象区画が、現在処理されている場面で最も高い光強度を有していないと判断された場合、手順フローはステップ１８２へと戻る。一方、対象区画の光強度が、現在処理されている場面において最も高いと判断された場合、手順はステップ１８８へと遷移する。ここで、この区画に関する適切な情報が記録され、全区画が分析された後にステップ１８９で提供することができる。

再度図１ｃを参照すると、例えば手順フロー１８０によって、環境１２０で識別された位置データと光源の光強度に基づき、レンダリングシステム１４３は、環境１２０の照明条件をシミュレーションするために三次元画像空間にて対応する仮想光源を特定してもよい。次いで、レンダリングシステム１４３は、図１ｃにて破線で示されるマーカオブジェクト１２５、１２６に対応する仮想オブジェクトを環境１２０に導入した際の、環境１２０に対する仮想光源の影響を算出してもよい。図１ｃから解されるように、光源１２７の特定の構成によって、実環境１２０には実質的には影が存在しないかもしれない。しかしながら、仮想オブジェクト１２５ｖおよび１２６ｖを“挿入”することで、仮想オブジェクト１２５ｖ、１２６ｖが仮想配光に影響を与え、仮想影や輝度に変動を生じる可能性が生じる。例えば、仮想オブジェクト１２５ｖは、光源の光を遮ることによって、実オブジェクト１２２上に輝度の低減した領域１２８を生じる可能性がある。同様に、オブジェクト１２５ｖおよび１２６ｖの存在によって、実オブジェクト１２２は仮想影１２９を生じるかもしれない。したがって、レンダリングシステム１４３は、仮想オブジェクト１２５ｖ、１２６ｖの外観を、実オブジェクト１２１、１２２の外観とともに、適合してもよく、適合は、スキャンデータおよび実照明条件に基づいて生成された仮想光源を踏まえて行われる。

いくつかの実施例では、異なる照明条件に応じて、対応する照明マップを設けるために、例えば、光源の露光量を変化させ、実照明条件を変えてもよい。したがって、対応する仮想光源は多様な実照明条件に対応するように生成されてもよい。加えて、レンダリングシステム１４３は付加的な仮想光源や仮想照明条件を提供するように構成されてもよい。これにより、スキャンデータから導くことのできないどのような照明条件をも確立することが可能となる。例えば、仮想オブジェクトが反射率の高いオブジェクトを表すことや、仮想オブジェクト自体が光源を表すことも可能である。この場合、これらは、スキャンデータから導くことのできない、環境１２０内の照明条件を提供することになる。

図２は本発明による拡張現実システムのさらなる実施例を概略的にしめしたものである。この実施例では、システム２００はデータ操作部２０１を有する。データ操作部２０１は、例えば、図１ａから１ｃに図解された構成と同様の構成を備え、マーカオブジェクト識別手段２３０、合成手段２４０、そして仮想オブジェクト生成機２５０を有する。特に、合成手段２４０は、対応するシステム１４１および１４３のような、追跡システム、およびレンダリングシステムを備えてもよい。データ操作システム２０１には、ヘッドマウント型表示装置２７０が接続されている。ヘッドマウント型表示装置２７０は表示面２６０、および、２つの適切に配置されたカメラの形で提供される光学的画像化システム２１０により構成されている。加えて、各マーカオブジェクトを有する実環境２２０が提供される。

システム２００の動作はシステム１００のものに類似する。しかしながら、データ操作システム２０１は、大きな遅延を生じることなく、実質上はリアルタイムで画像データを処理するように構成されている。この場合、ヘッドマウント型表示装置２７０を装着しているユーザは、同様に各マーカオブジェクトに関連する仮想オブジェクトによって補足される実環境２２０に対して、とても正確な印象を得るかもしれない。カメラ２１０は実質的にユーザの目に相当するように配置してもよい。カメラ２１０は、環境２２０から光を転送するための表示面２６０は必要ないため、ここに示す方法とは異なり、表示面２６０内に配置してもよい。結果、環境２２０の高度な三次元仮想画像が実現され、環境２２０、および対応する仮想オブジェクトから得られた仮想画像の“現実感”を増すこととなる。加えて、ヘッドマウント装置２７０は、環境２２０内の実オブジェクトに対する仮想オブジェクトの正確な測定を可能にする、距離測定システムを有してもよい。

図３は、仮想ミラーシステム３００の概略を示す。仮想ミラーシステムは、データ操作システム３０１を備える。データ操作システム３０１は、マーカ識別手段３３０、画像データを合成する合成手段３４０ａ、そして仮想オブジェクト生成機３５０を有することができる。データ操作システム３０１における対応する要素は、システム１００、およびシステム２００の要素に関して説明したものと同様な構成をしている。

加えて、システム３００は、環境３２０における関心部分の前部に配置される表示面を備える、出力手段３６０を有する。加えて、システム３００は、同様に関心部分の前部に配置される光学的画像化システム３１０を有している。これによって、仮想的な“鏡像”画像が、システム３００の作動時に、表示面３６０上に表示されることとなる。原理的には、システム３００の動作はシステム１００およびシステム２００の動作と同様である。光学画像化システム３１０から画像データを収集すると、マーカオブジェクトが、例えば、ユーザに付着しているとして識別される。ユーザは光学的画像化システム３１０と表示面３６０に面した位置に存在する。そして、マーカオブジェクトは前述のように、識別され追跡される。さらに、既定、あるいはユーザ駆動による一つ以上のマーカオブジェクトと各仮想オブジェクトの関連、に基づいて、オブジェクト生成機３５０は対応するオブジェクトデータを合成手段３４０に提供する。合成手段３４０は仮想オブジェクトを含む対応する仮想画像データを生成してもよい。対応する仮想画像データは次いで、ユーザに鏡像画像としての印象を与えるために、出力手段３６０へと提供される。また、システム３００の出力機能、および／または、入力機能を拡張するために、例えば、スピーカ、マイク、その他の、さらなる入出力手段３６１が提供されてもよい。例えば、仮想画像のマーカオブジェクトを置換する特定の仮想オブジェクトを選択するような場合に、ユーザがデータ操作システム３０１を制御するために、音声認識システムを入出力手段３６１に実装してもよい。また、システム３００において、マーカ識別手段３３０は実質的に同時に複数のマーカオブジェクトを認識できるよう構成することができる。これにより、仮想画像内に複数の仮想オブジェクトが存在することが可能となる。例えば、アクセサリー、衣服、その他を仮想オブジェクトとして逐次的に、あるいは同時に利用することができる。さらに、合成手段３４０はレンダリングシステム１４３と同様のレンダリングシステムを有することが可能である。これにより、様々な実、または仮想の光の条件下で仮想鏡像が提供され、適切な照明条件が適合されるため、アクセサリー、衣服、美容または外科手術、その他の評価などへの応用に有利であると考えられる。

本発明に基づいた拡張現実システムを概略的に示した図である。 図１ａの実施例において、追跡システム、距離測定システム、レンダリングシステムなどの付加的な要素を概略的に示した図である。 図１ｂに示すレンダリングシステムの作動原理を概略的に示す図である。 レンダリングシステムの動作を図示したフローチャート図である。 図示された実施例の一つに基づいた、ヘッドマウント型表示装置を備える実施例を概略的に示した図である。 本発明の図示された実施例の一つに基づいた、仮想ミラーシステムを概略的に示した図である。

符号の説明

１００ 拡張現実システム
１１０ カメラ
１２０ 実環境
１２５、１２６ マーカオブジェクト
１２７ 実光源
１３０ 識別手段
１４０ 合成手段
１５０ オブジェクトデータ生成機
１６０ 出力手段
２７０ ヘッドマウント型表示装置
３６０ 出力手段

Claims (40)

1. 実環境の画像データを収集する手段と、
   前記画像データから仮想画像データを生成する手段と、
   前記実環境から前記画像データに基づいて、既定マーカオブジェクトを識別する手段と、
   前記既定マーカオブジェクトに対応する仮想画像の位置において、オブジェクト画像データに前記仮想画像データを重ね合わせる手段と、
   を備える拡張現実システム。
2. 複数のオブジェクト画像データの組と、前記既定マーカオブジェクトとを相互に関係付けるための手段をさらに備える、ことを特徴とする請求項１記載の拡張現実システム。
3. 複数のオブジェクト画像データの組から、前記仮想画像データと重ね合わせるものを一つ選択する手段をさらに備える、ことを特徴とする請求項２記載の拡張現実システム。
4. 複数のオブジェクト画像データの組から一つを選択する前記手段は、音声認識システムをさらに備える、ことを特徴とする請求項３記載の拡張現実システム。
5. 複数のオブジェクト画像データの組から一つを選択する前記手段は、手動の入力手段を有する、ことを特徴とする請求項３または４記載の拡張現実システム。
6. 少なくとも前記仮想画像データを表示するための出力手段をさらに有する、ことを特徴とする請求項１乃至５いずれかに記載の拡張現実システム。
7. 前記出力手段はヘッドマウント型表示手段から成る、ことを特徴とする請求項６記載の拡張現実システム。
8. 前記ヘッドマウント型表示手段は、実環境から画像データを収集する前記手段を備える、ことを特徴とする請求項７記載の拡張現実システム。
9. 既定マーカオブジェクトを識別する前記手段は、実環境の画像データを収集する前記手段に関する、相対位置データ、および方向性データを特定するよう構成された追跡システムから成る、ことを特徴とする請求項１乃至８いずれに記載の拡張現実システム。
10. 前記追跡システムは、実質的にリアルタイムで、前記相対位置データおよび方向性データを提供するよう構成されている、ことを特徴とする請求項９記載の拡張現実システム。
11. 前記オブジェクト画像データの組を得るためのオブジェクトデータ生成機をさらに有する、ことを特徴とする請求項１乃至１０いずれかに記載の拡張現実システム。
12. 前記オブジェクト画像データ、および、前記仮想画像データを操作して前記オブジェクトが画像データを、前記仮想画像データによって表される照明条件に適合させるよう構成されるレンダリングシステムをさらに有する、ことを特徴とする請求項１乃至１１いずれかに記載の拡張現実システム。
13. 前記レンダリングシステムは、前記マーカオブジェクト、前記オブジェクト画像データ、そして、前記照明条件に基づいて、仮想影を生成するようさらに構成されている、ことを特徴とする請求項１２記載の拡張現実システム。
14. 前期画像データから少なくとも一つの実光源の、少なくとも位置、および／または、光強度、および／または色分布を特定するよう構成された仮想照明システムをさらに備える、ことを特徴とする請求項１３記載の拡張現実システム。
15. 前記照明システムは、前記少なくとも一つの実光源に対応する仮想光源を生成するよう、さらに構成されている、ことを特徴とする請求項１４記載の拡張現実システム。
16. 前記仮想照明システムは、前記仮想光源の位置、光強度、色分布のうち一つを変化させるようさらに構成されている、ことを特徴とする請求項１５記載の拡張現実システム。
17. 前記仮想照明システムは、前記少なくとも一つの実光源に対応する前記仮想光源の他に、第二の仮想光源を生成するようさらに構成されている、ことを特徴とする請求項１５乃至１６いずれかに記載の拡張現実システム。
18. 請求項１乃至１７いずれかに関する拡張現実システムと、
    実環境の関心のある部分の前に配置された表示面を備える表示手段と、
    を備え、
    画像データを実環境から収集する前記手段は、前記関心のある部分の前に配置された光学的画像化システムを備える、ことを特徴とする仮想ミラーシステム。
19. 既定マーカオブジェクトを識別するための前記手段は、前記関心部分に提供されている複数の既定マーカオブジェクトを識別するよう構成されている、ことを特徴とする請求項１８記載の仮想ミラーシステム。
20. 実環境から画像データを生成し、
    前記画像データに基づいて、前記実環境に提供されている既定マーカオブジェクトを識別し、
    前記実環境の仮想画像データを生成し、
    少なくとも、前記既定マーカオブジェクトに対応する仮想画像データを前記既定マーカオブジェクトに関連するオブジェクト画像データで置き換える、
    手順から成る、拡張現実を生成する方法。
21. マーカオブジェクトの移動を示す、変更された画像データが前記実環境から収集された際に、前記マーカオブジェクトの追跡を行う手順をさらに含む、ことを特徴とする請求項２０記載の方法。
22. 前記マーカオブジェクトの追跡を行う手順は少なくとも、仮想基準点に対する、前記既定マーカオブジェクトの相対位置および方向性を特定する手順を備えることを特徴とする請求項２１記載の方法。
23. 前記実環境と異なる第二の実環境からの画像データに基づいて、前記オブジェクト画像データを生成する手順を備える、ことを特徴とする請求項２０乃至２２いずれかに記載の方法。
24. 前記実環境からの前記画像データに基づいて、前記オブジェクト画像データを生成する手順をさらに備える、ことを特徴とする請求項２０乃至２２いずれかに記載の方法。
25. 仮想現実に基づいて、前記オブジェクト画像データを生成する手順をさらに備える、ことを特徴とする請求項２０乃至２４のいずれかに記載の方法。
26. スキャンデータを生成し、前記スキャンデータに基づいて、前記実環境の照明条件を特定するために、実環境の少なくとも一部をスキャンする手順をさらに備える、ことを特徴とする請求項２０乃至２５いずれかに記載の方法。
27. 前記実環境の前記部分をスキャンする手順は、少なくとも二つの異なる照明条件に関して実施される、ことを特徴とする請求項２６記載の方法。
28. 照明条件を特定する手段は、前記実環境の少なくとも一つの光源を識別する手順と、前記少なくとも一つの光源の位置、および／または光強度、および／または色を特定する手順とをさらに備える、ことを特徴とする請求項２６または２７記載の方法。
29. 前記少なくとも一つの特定された光源に基づいて仮想照明条件を生成する手順をさらに含む、ことを特徴とする請求項２８記載の方法。
30. 前記仮想照明条件を生成する手順は、前記オブジェクト画像データ、および／または前記実環境に対応する前記仮想画像データによって生じる仮想影を生成する手順を備える、ことを特徴とする請求項２９記載の方法。
31. 前記仮想照明条件を生成する手順は、前記少なくとも一つの光源の位置、光強度、および色のうち少なくとも一つを変化させる手順を含む、ことを特徴とする請求項２９または請求項３０記載の方法。
32. 少なくとも一つの仮想光源を生成する手順をさらに備え、前記少なくとも一つの仮想光源は、前記実環境に対応する光源を有さない、ことを特徴とする請求項２０乃至３１いずれかに記載の方法。
33. 前記オブジェクト画像データによって、少なくとも前記マーカオブジェクト画像データが置き換えられている前記仮想画像データを表示する手順をさらに含む、ことを特徴とする請求項２０乃至３２いずれかに記載の方法。
34. 一つ以上のオブジェクトデータの組と一つ以上のマーカオブジェクトとを関連づける手順をさらに備える、ことを特徴とする請求項２０乃至３３いずれかに記載の方法。
35. 複数のオブジェクトデータの組と関連づけられている特定のマーカオブジェクトに対応する前記仮想画像データを置き換えるために、特定のオブジェクトデータの組を選択する手順をさらに備える、ことを特徴とする請求項３４記載の方法。
36. 前記特定のオブジェクトデータの組を選択する手順は、音声データを認識する手順と、前記音声データが複数のオブジェクトデータの組の内一つに対応するかどうかを特定する手順とを備える、ことを特徴とする請求項３５記載の方法。
37. 表示手段と画像キャプチャ手段とを実環境の関心のある部分の前に配置する手順と、
    前記画像キャプチャ手段によって、前記関心の部分から画像データを収集する手順と、
    前記画像データに基づいて、前記関心の部分に提供されている既定マーカオブジェクトを識別する手段と、
    前記関心のある部分の仮想画像データを生成する手順と、
    少なくとも前記既定マーカオブジェクトに対応する仮想画像データを、前記既定マーカオブジェクトに関連付けられたオブジェクト画像データによって置き換える手順と、
    を備える、仮想鏡像を生成する方法。
38. 前記関心の部分は前記既定マーカオブジェクトを装着しているユーザの一部分を少なくとも含む、ことを特徴とする請求項３７記載の方法。
39. 前記オブジェクト画像データは衣服を表すことを特徴とする請求項３８記載の方法。
40. 第二のオブジェクト画像データに関連付けられている、第二の既定マーカオブジェクトを提供する、ことを特徴とする請求項３７乃至３９いずれかに記載の方法。
    

Images