JP2006505330A - ビデオ作動インタラクティブ環境 - Google Patents

Abstract

低コスト装置を使用し、関係者に対して高度なインタラクティブ環境を形成する表面ベースのインタラクティブ環境。ゲームは、エアホッケー、フットボール、サッカー等のような伝統的なゲームの電子バージョンを含むことができる。ゲームは、関係者が相互作用することができる１つ又はそれ以上の電子的に発生されるキャラクタも含むことができる。本システムは、高く取り付けられたプロジェクタ（１０１）を使用し、前記ゲーム環境を形成する、及び／又は、前記キャラクタを発生する。離れて取り付けられた赤外線光源（１０５）及び赤外線カメラ（１０６）を使用し、関係者が前記ゲームのインタラクティブ領域（１０４）内を動き回るときに、前記関係者を検出する。

Description

本発明は、インタラクティブゲームの分野に関し、より特には、種々の表面に投影されるインタラクティブ環境を形成するシステム及び方法を提供する。

ショッピングモール、テーマパーク、美術館、映画館等のような多数の客をひきつける場所は、訪問者を、お気に入りの店、お気に入りの乗り物、新しい展示物、又は、所望の映画のような所望の場所に案内する問題に頻繁に遭遇する。先行技術におけるいくつかは、この問題を、地図及び他の情報を客に表示することができるインタラクティブなタッチスクリーンベースの情報キオスクを提供することによって改善することを試みている。残念ながら、これらのキオスクは、これらと相互作用して所望の場所を見つけるのに必要な時間が、人間のサービス係からの情報を要求するのに必要な時間よりしばしば重大に長くなるため、限定された成功しか得ていない。

多数の客をひきつける場所に対面する他の問題は、客が所望の場所から所望の場所へ移動するとき、又は、客がアトラクションへのアクセスを待つとき、彼らを楽しませ続けることである。この問題は、訪問者が、彼らが所定の乗り物に乗ることができる前、映画のチケットを得る又は映画を観ることができる前、又は、彼らの食事に関して着席できる前に、重要な長さの時間待つことを要求されるかもしれない、テーマパーク、映画館及びレストランにおいて、特に激しい。

数の客をひきつける場所に対面する依然として他の問題は、訪問者に戻ってきたがらせる新たでエキサイティングなアトラクションを提供することである。その教えがその全体における参照によってここに含まれる、ＩＢＭシステムジャーナル（２０００）のボリューム３９、ナンバー３及び４において現れる“性能におけるメディア：ダンス、劇場、サークル及び美術館展示物に関するインタラクティブ空間”において、Ｆ．スパラチノ（Sparacino）、Ｇ．ダベンポート及びＡ．ペントランドは、個々の美術館訪問者が、限定された展示空間における多数の展示物と相互作用し、これらを見ることを可能にするコンピュータベースの複雑な視覚及び触覚センサを記載している。このスパラチノシステムは、個々のパフォーマの動きを監視することもでき、それによって、パフォーマがコンピュータ制御された音楽、投影されたテキスト、又は、簡単な振舞いに基づく同様のものにアクセスするのを可能にする。

スパラチノのようなあるものは、制御された環境において良好に機能するシステムを開発したが、これらのシステムは、それらの広範囲な使用を妨害するいくつかの制限を有する。例として、これらのようなシステムによって要求される装置は、代表的にとても大きく、重大な物理的空間を必要とし、前記装置は、しばしば、シリコングラフィックスワークステーション等のような、高価でハイエンドなコンピュータ装置である。さらに、現在のシステムは、代表的に、特定の環境にのみ好適である。例えば、スパラチノ等は、彼らのビデオセンサベースインタラクティブ仮想環境が、背景が動かない場合にのみ使用することができることと、彼らの環境は、単独の個人のみの監視をサポートすることとを示している。これは、スパラチノのアプローチを、実世界の環境におけるその使用を考慮するより、ステージ上の個々のパフォーマのようなきわめて狭い潜在的用途に限定する。ＶＴＴインフォメーションテクノロジーによって開発されたノーチラスゲームや、スミソニアン学術協会国立自然史博物館におけるバイタルスペース展示物のような他のシステムは、接触感応テーブル、フロアマット等を必要とし、これは、これらのようなシステムが使用されることができる環境も制限する。

したがって、本発明は、前記関連技術の制限及び欠点による問題の１つ又はそれ以上を実質的に除去するビデオ作動インタラクティブ環境を形成するシステム及び方法に向けられる。本発明の追加の特徴及び利点は、以下の記載において説明され、部分的にはその説明から明らかになり、又は、本発明の実施によって学ばれるかもしれない。本発明の目的及び他の利点は、本明細書及び請求項並びに添付した図面において特に指摘される構造によって実現され獲得される。

本発明は、多数のインタラクティブ客エンターテインメント、教育及び／又は情報用途が構成されることができるプラットフォームを提供する。本発明を限定することを意図しない例として、野外の設定において、いくらか暗くなった野外の歩道に沿ってぶらぶら歩く、又は、テーマパークにおけるアトラクション、映画館、博物館等に並んで待っている客は、インタラクティブフットボール、サッカー、エアホッケー、又は他のそのようなゲームを、グランド、セメント、舗装路、又は他のそのような表面上に投影された“仮想”ボール、パック等を前後に蹴る、又はそうでなければこれらと相互作用することによってすることができる。

本発明の一実施例は、オーバヘッドビデオプロジェクション及び検出手段を使用し、床をベースとしたインタラクティブ領域を形成する。前記オーバヘッドビデオプロジェクション及び検出手段は、好適には、コンピュータ処理手段に結合され、前記コンピュータ処理手段は、前記インタラクティブ領域における人間の関係者の存在を決定することができると共に、静止画像からフルモーション三次元ビデオまで変化する投影されたアイコンを、一人又はそれ以上の関係者に割り当てることができる。前記オーバヘッドプロジェクション手段は、他のアイコンを前記インタラクティブ領域においてどこにでも投影させることも好適にはできる。

ここに記載された実施例は、前記インタラクティブ領域が床にあるシステムに焦点を合わせているが、本発明は、前記インタラクティブ領域が壁、天井、家具表面等を含むがこれらに限定されない任意の表面にあるように、容易に適合され得ることは、当業者には明らかであるべきである。したがって、ここで使用される限り、“オーバヘッド”、“上”、“下”等の用語は、絶対的な位置基準として解釈されるべきではなく、むしろ前記インタラクティブ領域として使用されている表面に関する位置を示すように解釈されるべきである。

本発明は、好適には、低コストビデオベース検出システムを使用し、大規模なインタラクティブ客体験を提供する。動作において、１つ又はそれ以上の低コスト赤外線ビデオカメラは、表面を観察し、インタラクティブ領域を形成することができる。赤外線ビデオカメラは、任意の可視光が利用可能である場合でさえ、赤外線シーン照明が客を知覚されずに追跡することを可能にするため、好まれる。前記赤外線ビデオカメラからのビデオ信号は、好適には、処理用の低コストパーソナルコンピュータベースビデオ処理システムに送られる。

システム性能を改善するために、客は、ドッグタグ様識別タグ、リストバンド、ピン、ボタン等のような着用可能再帰反射ターゲット、又は、１つ又はそれ以上の再帰反射ターゲットが取り付けられた魔法の杖、バトン等のような移動可能棒を支給されてもよい。複数の再帰反射ターゲットが１つの棒、人間等に割り当てられる場合、ターゲット又は物体の方向を決定することが可能になり、したがって、本システムは、さらに強力な経験を客に提供することができる。このような実施例において、好適には、非正三角形を形成する３個のターゲットの組は、簡単な方向識別を容易にするのに使用されることができる。これらのような棒は、無線周波数識別（ＲＦＩＤ）タグ、バーコード、又は、他の識別子も含み、個々の客の積極的な識別を容易にしてもよい。

複数のターゲットが使用され、これらのターゲット間の距離が知られている場合、前記ターゲットの前記カメラからの距離を決定することもできる。これは、インタラクティブ環境における相互作用が、前記ターゲットが前記インタラクティブ領域に関して取り付けられる表面の位置に部分的に依存する状況において有利であるかもしれない。本発明を限定することを意図しない例として、ホッケースタイルのゲームにおいて、プレイヤが、ブレードの先端に近いターゲットと、ブレードの末端に近いターゲットとを有するホッケースティックを支給される場合、前記ターゲット間の距離は、本発明によって監視されることができる。前記スティックが前記カメラに近づいて移動するにつれ、すなわち、床から上昇するにつれ、前記ターゲット間の距離は、カメラのパースペクティブから増加するように現れる。したがって、ゲームが行われるとき、本発明が、前記ホッケースティックが前記インタラクティブ表面の上に所定の高さだけ上げられることを検出すると、パックは、前記ホッケースティックのブレードの下を通過するように現れることができる。

前記ターゲット間の距離が知られていないところでさえ、複数のターゲットを使用することは、投影された画像のスケーリングを可能にし、前記ターゲットに関して所望のアスペクト比を満たすことを可能にする。本発明を限定することを意図しない例として、複数の円板が、各々の円板の中心において取り付けられたターゲットと、各々の円板の外側エッジにおけるある点において取り付けられたターゲットと共に、暗くされた部屋の天井の近くのベニヤ板の動くシートから吊り下げられてもよい。このような配置は、本発明が、特に、エッジタグの位置が中心タグに関して知られている（例えば、エッジタグが常に中心タグの上にある）場合、各々の円板の中心と、各々の円板のエッジとを決定することを可能にする。前記ターゲット間の距離に基づいて、本発明は、可視光プロジェクタによって前記円板上に投影すべきアイコンのスケールを、前記アイコンが背景中に断ち切られることなしにディスクの最大の利点を活用するように計算することができる。前記円板の位置も監視されることができ、前記円板上に投影されるアイコンは、該投影されるアイコンが前記円板に対して移動するように現れるように正確に位置決めされることができる。特に視覚的に印象的な効果は、前記投影されるアイコンが、開いたり閉じたりする目玉のような、しかしこれに限定されないダイナミック画像である場合、形成されることができる。

再帰反射ターゲットは、客が前記インタラクティブ領域に入るときに、彼又は彼女の検出を簡単にし、強めることができ、客の特定の部分、又は、彼又は彼女が相互作用のために運ぶ棒の特定の部分を隔離することができる。本発明を限定することを意図しない例として、ターゲットを客の靴のつま先領域に適用し、これによって、靴のつま先がフットボールのようなコンピュータが発生する又はコンピュータが制御する物体と“衝突”した場合を特に明確にすることができる。変化するサイズのターゲットを単一の棒又は関係者において使用し、前記棒又は関係者の異なった部分間を容易に区別することもできる。

複数のこのようなターゲットを使用することによって、“ホットスポット”を人間又は棒において形成することができ、これらのホットスポットを容易に追跡することができる。コンピュータが発生する又はコンピュータが制御するマーカを、１つ又はそれ以上のホットスポットに割り当て、これらにおいて投影し、関係者が、これらのホットスポットの現在知覚されている場所における正確な知識及びフィード縛を有することが可能になるようにすることができる。

本発明の一実施例を使用し、プレイヤを仮想“エアホッケー”のインタラクティブゲームに没頭させることができる。このような実施例におけるプレイヤは、ターゲットを各々の靴に取り付け、これによって、事実上、仮想パドルになるようにすることができる。ドール及びテーブル境界を、地面に投影することができ、又は、地面において物理的に区分することができる。プレイヤは、前記テーブル境界内中を移動することができ、地面に投影されるホッケーパックの画像を“蹴る”ことができる。パーソナルコンピュータシステムは、好適には、前記ホッケーパック及びプレイヤの足の投影された位置、前記プレイヤの足が移動する速度等を追跡し、前記ホッケーパックを、これがエアホッケーテーブル上にあるかのように移動する。

他の実施例において、アニメーションするキャラクタを、客の位置を意識するようにし、これによって、前記キャラクタが客と相互作用し、客に話し、所望の方向に客を向けることを可能にすることができる。例えば、投影された漫画キャラクタは、歩く客を好きな乗り物、特定の店、又は他のこのような開催地に導くことができる。前記キャラクタを、客が止まった時に止まることや、客が所望の方向において動いていない場合、彼又は彼女の進路を変えさせることとを含むがこれらに限定されない種々の方法において、客と相互作用するように形成することができる。音響合図を前記キャラクタに結びつけ、前記漫画キャラクタが客に実際に話しているように見せかけることもできる。当業者には、アニメーションするキャラクタをここで説明したが、予め記録された又は生の人間の役者を含む代わりのキャラクタ形式を、本発明の精神又は範囲から逸脱することなく代用することができることは明らかであるべきである。大規模ゲームを達成するのに必要な好適な物理的装置は、小型で低コストであり、開催地から開催地への移動に関して持ち運びのできるようにセットアップすることさえできる。さらに、マスタコンピュータシステムを、個々のシステムを結合し、これによって、客が、単一のキャラクタへのアクセスを依然として有している間に、大きい空間を歩き回らせることを可能にするために、そして、各々のシステム内のより高い解像度のプロジェクションに関してインプリメントすることができる。

上記の一般的な説明及び以下の詳細な説明の双方は好例及び説明的であり、請求される本発明のさらなる説明を提供するように意図されることは、理解されるべきである。

本発明のさらなる理解を与えるように含まれ、本明細書に含まれると共にその一部を形成する添付図面は、本発明の実施例を、本発明の少なくとも１つの実施例の原理を説明するのに役立つ記述と共に例示する。

ここで、本発明の好適実施例を詳細に参照し、これらの実施例の例は、添付図面において例示される。

図１は、床においてインタラクティブ領域１０４を形成する本発明の使用を例示する。図１に例示した実施例において、前記インタラクティブ領域は、好適には、赤外線（ＩＲ）カメラ１０６によって上から見られ、好適には、１つ又はそれ以上のＩＲ照明１０５、又は、比較的制限された波長範囲を有する電磁エネルギーを発生することができる他の電磁エネルギー源によって照らされる。ＩＲ照明の効果を、１つ又はそれ以上のビームスプリッタ１０７によって増すことができる。像は、好適には、可視光プロジェクタ１０１によってインタラクティブ領域１０４上に投影される。１つ又はそれ以上のプロジェクタ１０１によって投影されるビデオ画像物体１２０を、インタラクティブ領域１０４内の人間又は物理的物体１０３の検出される位置に反応するように形成することができる。

ＩＲ照明１０５は、好適には複数の赤外線ＬＥＤを使用し、インタラクティブ領域１０４一面に、赤外線照明の明るい一様な領域を与える。レインボーＣＣＤからのＩＲＬ５８５Ａのような、しかしこれに限定されない照明は、この用途に好適である。

ＩＲカメラ１０６は、どのような内部赤外線遮断フィルタも除去した代表的な白黒ＣＣＤビデオ監視カメラ、又は、赤外線波長における電磁エネルギーを検出することができる他のビデオカメラであってもよい。多数の低コストの監視形式カメラが容易に利用可能であり、この用途に容易に適合され得る。

ＩＲ遮断フィルタ１０２は、好適にはプロジェクタ１０１の光経路において置かれ、プロジェクタ１０１からの余剰ＩＲ光が前記インタラクティブ領域を汚染するのを防ぐ。同様に、ＩＲ遮断フィルタは、インタラクティブ領域１０１の近くに位置するランプ、街灯、及び他のこれらのような照明手段において用いられてもよい。

ＩＲ透過フィルタ１０８は、好適には、カメラ１０６の光経路中に挿入され、カメラ１０６がＩＲ照明１０５によって放射された波長に対して感度が最高になり、他の波長に対して事実上無反応になることを確実にする。この方法において、本システム全体は、インタラクティブ領域１０４の近くにある干渉する可能性がある光の既知の光源に対して無反応にされる。

他の検出手段が可能であっても、赤外線光の使用は、人間の目がこの照明に対して無反応であり、プロジェクタ１０１によってインタラクティブ領域１０４に投影されている可視光に干渉せず、光が弱い環境におけるムードを変えないため、好適である。

一実施例において、関係者は、一般的にカメラ１０６に面して、好適には、代表的に関係者の身体によって遮断されない位置において構成される再帰反射パッチ１１２を装備することができる。本発明を限定することを意図しない例として、０．２５インチ×０．２５インチ反射器を、関係者のシャツの後襟にピン止めするか、関係者の方又は靴に付ける等してもよい。１つ又はそれ以上の再帰反射器を有する関係者の身体の部分は、前記再帰反射器が照明１０５の光を実質的に照明１０５の位置に戻すため、カメラ１０６の視野内の他の物体と比べて、カメラ１０６の視野において極めて明るく現れる。

関係者は、図１に例示されたホッケースティック状再帰反射ターゲットホルダ１３０のような棒を使用してもよい。一実施例において、プロジェクタ１０１によって表示される１つ又はそれ以上の物体を、前記再帰反射ターゲットが取り付けられる棒１１２の末端に物理的に取り付けられるように現れるようにすることができる。さらに、前記棒は、関係者の身体から離れた前記再帰反射器まで延び、前記再帰反射器のカメラ１０６の視野が、前記関係者のいずれかによって妨げられることがなさそうにする。

依然として他の実施例において、関係者及び／又は棒は、ＩＲ透過フィルタが取り付けられた慣例的なフラッシュライト、赤外線放射ダイオード（ＬＥＤ）、又は、複数の拡散赤外線エネルギーの他の単一の点光源のような、しかしこれらに限定されない赤外線放射器を装備してもよい。これらのような放射器は、ターゲットの代わりに、又はこれらに加えて使用されてもよい。

図２において例示される実施例において、カメラ１０６からのビデオ画像データは、回路２１０によって前処理される。図２が例示するように、回路２１０は、好適には、カメラ１０６からの入力ビデオ２０１を、一度に１フレーム、カメラ１０６によって獲得され格納されたビデオフレーム２０２と比較する。格納されたビデオフレーム２０２は、好適には、インタラクティブ領域１０４にプレイヤ又は他の物体がまったくないときに獲得される。しかしながら、格納されたビデオフレーム２０２は、周期的にリフレッシュされ、前記インタラクティブ環境における変化を考慮してもよい。

差ビデオ信号２０８は、好適には、ビデオ減算器２０３によって、格納されたビデオフレーム２０２を現在のフレームから減算することによって発生される。この差ビデオ信号は、格納されたビデオフレーム２０２が獲得された時間からインタラクティブ領域内に入った、又はこの中で移動したプレイヤ及び他の物体のみを表示する。差ビデオ信号２０８は、好適には、ＰＣ搭載ビデオデジタイザ２２１に適用される。好適なデジタル化ユニットは、コレコイメージングによるＰＣバージョンビデオフレームグラバーを含むがこれに限定されない。

代わりのビデオ減算器２１０は、関係者が落とし、依然としてインタラクティブ領域にある再帰反射ターゲットのような、カメラ１０６の視野内のアーティファクトの除去を簡単にすることができるが、ビデオ減算器は常に必要ではない。本発明を限定することを意図しない例として、ターゲットの位置はずっと監視されることができ、本システムは、所定の期間後、動いていないターゲットをターゲットが再び動くまで無視してもよい。本システムは、ターゲットが所定の時間中静止している場合、これは負傷している関係者又はインタラクティブ領域内の他の問題を示すかもしれないため、本システムの制御における人間に警告してもよい。代わりの実施例において、フレームごとのターゲット検出は、他のフレームから独立して行われてもよい。

ブロブ検出アルゴリズム２２２は、画像において動作し、画像における各々の明るい物体、すなわち“ブロブ”の中心のＸ及びＹ位置を計算する。ブロブ検出アルゴリズム２２２は、各々のブロブのサイズも計算することができる。ブロブ検出アルゴリズム２２２は、好適には、低及び高画素輝度しきい値、低及び高ブロブサイズしきい値、及び、粒状性検索を含むがこれらに限定されないユーザが選択可能なパラメータを使用して実施される。所定のビデオフレームにおける任意のブロブのサイズ及び位置が決定されたら、この情報は、アプリケーションソフトウェア２２３に渡され、インタラクティブ領域１０４における人間とどう相互作用するかを決定する。本発明を限定することを意図しない例として、アプリケーションソフトウェア２２３は、インタラクティブ領域１０４において投影されるビデオ出力を発生することができる。

図３は、ブロブ検出アルゴリズム２２２に与えられる前処理されたビデオ画像２０８を示す。上述したように、ブロブ検出アルゴリズム２２２は、差信号２０８における個々の明るいスポット３０１、３０２、３０３を検出してもよく、これらの“ブロブ”の中心３１０のＸ−Ｙ位置が決定される。代わりの実施例において、前記ブロブは、ＩＲカメラ１０６からのフィードから直接識別されてもよい。当業者には、本発明の精神又は範囲から逸脱することなく、フレームレートが変化してもよく、又は、いくつかのフレームが欠けてもよいことが明らかであるべきだが、ブロブ検出は、好適には、入力ビデオの各々のフレームにおける隣接する明るい画素の各々のグループに関して行われる。

上述したように、ブロブは、好適には、調節可能な画素輝度しきい値を使用して検出される。各々のフレームは、好適には、起点画素から開始して走査される。各々の画素は、最初に、興味あるこれらの画素、すなわち、下限及び上限輝度しきい値内に入るこれらの画素を識別するために評価される。試験下の画素が前記下限輝度しきい値より下、又は、前記上限輝度しきい値より上の輝度レベルを有する場合、この画素の輝度レベルはゼロ（すなわち黒）に設定される。上限及び下限輝度しきい値の双方がしきい値目的に使用されてもよいが、当業者には、１つのしきい値が比較目的に使用され、輝度値がこのしきい値より下のすべての画素の輝度値がゼロにリセットされてもよいことは明らかであるべきである。

興味ある画素が識別され、残りの画素がゼロにされたら、前記ブロブ検出アルゴリズムは、ブロブに関して前記フレームの走査を開始する。この走査プロセスは、起点画素から開始される。画素の輝度値がゼロならば、同じ行における次の画素が検査される。現在の画素と次の画素との間の距離は、ユーザが調節可能な粒状性設定によって決定される。より低い粒状性は、より小さいブロブの検出を可能にし、より高い粒状性は、より速い処理を可能にする。所定の行の終わりに達したら、検査は次の行に進み、行間の距離も、前記ユーザが調節可能な粒状性設定によって配列される。

検査されている画素がゼロでない輝度値を有する場合、ブロブ処理ソフトウェア２２２は、ブロブの上エッジが見つかるまで（すなわち、ゼロ輝度値画素に出会うまで）、同じ列で一度に１行フレームを上げはじめる。前記上エッジの座標は、今後の参照のために保存される。ブロブ処理ソフトウェア２２２は、次に、試験下の画素に戻り、ブロブの下エッジが見つかるまで行を下げる。前記上ブロブエッジと下ブロブエッジの間の線の長さが計算され、この線の中間点が決定される。検出された上ブロブエッジ及び下ブロブエッジを接続する前記線の中間点は、試験下の画素になり、ブロブ処理ソフトウェア２２２は、前記上及び下エッジを決定するのに使用されたのと同様なプロセスによって左及び右エッジを見つける。次に、前記左及び右ブロブエッジを接続する線の中間点が決定され、この中間点は試験下の画素になる。次に、前記上及び下ブロブエッジは、この新たな試験下の画素の位置に基づいて再び計算されてもよい。適切なブロブ境界が決定されたら、この情報は、後の使用のために記憶される。次に、前記上、下、左及び右エッジによって描かれる境界ボックス内のすべての画素は、ゼロの輝度値を割り当てられ、ブロブ処理ソフトウェア２２２は、元の試験化の画素を起点として再び開始する。

この検出アルゴリズムは、フレーム内の一様にシャープな連続する明るい領域をすばやく検出するのには良好に働くが、前記検出アルゴリズムは、１つのみのブログが実際に存在する場合にいくつかのブロブの検出を生じるかもしれない。これを改善するために、ブロブ座標が比較され、交差する又は接触する任意のブロックは単一のブロックに結合され、その大きさは個々のブロブを取り囲む境界ボックスである。各々の結合されたブロブの中心は、各々の角から斜めに反対側の角まで延在する線の交点に基づいて計算される。このプロセスを通じて、好適には各々のブロブの中心と、ブロブのエッジを表す座標と、エッジの各々の中心からの距離の平均として計算される半径と、境界矩形内の非ゼロ値を有する画素の割合として計算される各々のブロブの重みとを含むがこれに限定されない、検出されたブロブリストを容易に決定することができる。

しきい値は、好適には、ブロブ処理ソフトウェア２２２によってブロブとして識別されるべき連続する画素の最小及び最大グループに関しても設定されてもよい。本発明を限定することを意図しない例として、均一なターゲットサイズが使用され、前記インタラクティブ領域のサイズと、前記カメラの前記インタラクティブ領域上の高さとが既知である場合、有効ターゲットサイズ範囲を決定することができ、この有効ターゲットサイズ範囲内に入らないどのブログも、ブロブ処理ソフトウェア２２２によって無視することができる。これは、ブロブ処理ソフトウェア２２２が前記インタラクション領域内の無関係のノイズを無視することを可能にし、ターゲットが使用される場合、前記インタラクティブ領域内の実際のターゲットと、任意の無関係の不可避な干渉光から、又は、いくつかのアスレチックシューズにおいて一般的になっているような、客の従来の衣服の一部として身に着けている反射ストリップからのもののような、しかしこれらに限定されない他の反射とを区別することを可能にする。ユーザによって設定されるしきい値境界の外にある、ブロブ処理ソフトウェア２２２によって検出されたブロブは、好適には、前記検出されたブロブリストから外される。

図２のコンピュータ２２０の好適実施例は、ブロブ処理ソフトウェア２２２及びアプリケーションロジック２２３の双方を含むが、ブロブ処理ソフトウェア２２２及びアプリケーションロジック２２３は、好適には、モジュラコードベースから構成される。これは、ブロブ処理アルゴリズム２２２が１つのコンピュータにおいて動作することを可能にし、アプリケーションロジック２２３に伝送されるそこからの結果は、１つ以上の他のコンピュータにおいて動作する。本発明を限定することを意図しない例として、このような結果は、８０２．１１（ｇ）準拠の無線ネットワーキングインタフェースを使用して前記他のコンピュータに伝送されてもよく、システム移植性を容易にしてもよい。所定のコンピュータの計算容量が多数のブロブを追跡するのに十分でないイベントにおいて、このモジュラアーキテクチャは、複数のターゲットを、前記インタラクティブ表面を横切って容易に追跡できるようにすることができる。

前記インタラクティブ領域内のターゲットの位置を知ることによって、アプリケーションロジック２２３は、１つ以上のターゲットと、コンピュータが発生したビデオ物体（例えば、ビデオ投影されたパック又はボール）、又は、インタラクティブ空間における関係者（又は彼らの棒）の物理的位置に固定されるもののような他の投影された画像との間の衝突を検出することができる。加えて、ＭＩＤＩトリガを使用し、ブロブ、ビデオ物体又はこれらの組み合わせの、互いの、インタラクティブ領域境界との、又は、インタラクティブ領域の他の特徴との衝突に応じて音を発生することができる。

図４に例示した実施例において、客は、本発明によって提供される床ベースのインタラクティブ領域を使用し、“エアホッケー”の電子バージョンをプレイすることができる。ここで、客は、好適には、彼らの靴のつま先に再帰反射器１１２を取り付けられた後、投影されたパック１２０を前後方向に蹴ることができる。この場合において、客の足の位置は、ブロブ処理ソフトウェアによって決定され、“とがったフットスクープ”を、各々の客の足におけるターゲットの周囲に投影することができる。例えば、とがったスクープ４１３を床に投影し、プレイヤが、投影されたパック１２０との接触が達成されるゾーンを見ることを可能にすることができる。

代わりに、プレイヤは、図４のホッケースティック状装置１３０のような棒を使用し、“パック”をあたりに押し動かすことができる。棒が使用される場合、この棒は、取り付けられた１つ以上の再帰反射ターゲットを有してもよい。このような実施例において、客の靴に関して上述したのと同様の方法において、グラフィカル画像を前記棒の周囲に投影してもよい。投影されるグラフィカル画像は、客の足に関係付けられたブロブの中心から発する所定の半径の円を測定することによって決定できるような可視及び／又は不可視境界を有することができる。このような境界を使用し、投影されたパックのような他のゲーム物体との“接触”が起こった場合を決定することができる。

前記パック又はボールのビデオ画像は、写真、例えば、実際のエアホッケーパックのデジタル化された写真、又は、架空の様式化された画像であってもよい。パックが入ることに反応する床上のゴールが設定されてもよく、実際のパックの動きの物理は、ゲーム動作のすべてにおいてプログラムされてもよい。関係者が、前記実施例において記載されたホッケースティックのような棒を使用して本システムと相互作用している場合、“ポン”、ホッケー、サッカー、卓球又は他のゲームのバージョンを容易に実施及びプレイすることができる。パックが打たれる方向に応じて、プレイヤが実際に現実の物に当ったなら起こったことをシミュレートするビデオ運動によってそれを伝えることができる。

図５において例示した代わりの実施例において、ＩＲ光源１０５は、インタラクティブ領域１０４の視野を有するカメラ１０６に照明を提供する。この実施例において、ＩＲ光源１０５は、好適には、カメラ１０６及びプロジェクタ１０１から実質的に離れて位置する。ＩＲ光源１０５の位置は、客に、インタラクティブ領域１０４内に影（赤外線における）５１０を投げかけさせる。この影は、カメラ１０６によって画像化することができ、奇抜で強力な幻影を構成することができる。この実施例に関する処理システムを図６に示す。

図６において例示するように、図１−３の実施例に関して説明した減算前処理をこの実施例において任意に使用し、前記インタラクティブ領域における無関係の物体又は光によって形成される任意の影響を除去し、これによって、本システムが関係者５０５との相互作用を検出及び促進することを可能にしてもよい。減算前処理を使用する場合、差ビデオ画像がビデオ反転器６１０に供給され、その出力をプロジェクタ１０１に供給することができる。減算前処理を使用しない場合、カメラ１０６からの出力をビデオ反転器６１０に直接供給することができる。

差ビデオ信号又はカメラ１０６からの出力を反転することによって（再び図５を参照）、赤外線の影における領域を明るくすることができる。この反転された画像を前記インタラクティブ領域に投影し、赤外線画像において明るい領域（すなわち、前記インタラクティブ表面の残りの大部分）を暗くすることができ（すなわち、投影された光を受けることができない）、赤外線画像において暗い領域が投影された光を受けることができるようにすることができる。客は前記赤外線の影を見ることができず、投影された反転された“影”のみを見るため、彼らの日常の体験において影は暗く、明るくないため、彼らは驚かされ、楽しまされるであろう。当業者には、物理的歪み、色、ストライプ、スポット等を含むがこれらに限定されない代わりの効果が前記“影”領域に加えられてもよいことが明らかであるべきである。

依然として他の実施例において、光検出及び投影方法は、図５及び６において例示した実施例において使用されるのと同様であるが、ここでは、好適には前記インタラクティブ表面において投影される漫画キャラクタが客と相互作用する。本発明を限定することを意図しない例として、図７のＡ−Ｄにおいて例示するように、インタラクティブ領域１０４を通って歩く客は、彼らと共に歩く漫画キャラクタによって近づかれてもよい。

前記漫画キャラクタは、ラウドスピーカ（図示せず）によって再生されるリアルタイム又は記憶されたオーディオクリップの使用によって“歩く”ように形成されてもよい。さらに、複数のスピーカ及び慣例的な３Ｄオーディオアルゴリズムを使用することによって、前記キャラクタの声は、単に壁におけるスピーカからでなく、前記キャラクタの物理的位置から来るかのように現れるようにすることができる。

前記ソフトウェアは、好適には、見ている人に対して“直立”して現れるように前記キャラクタを描く。これを、図７のジオメトリを考慮して容易に成し遂げることができる。前記ソフトウェアは、ＩＲ光源に最も近い人間のＩＲ影の端を決定し、客が位置する場所を決定することができる。前記ソフトウェアは、キャラクタの足が関係者の足の近くになり、その身体がＩＲ光源１０５から半径方向に延在するようにキャラクタを描くことができる。前記インタラクティブ領域のこのオフ軸投影及び観察方法によって、客が彼らのために指定された投影を妨げる可能性が減少する。この方法において、キャラクタは、関係者の影に近づき、本システムを上記実施例において説明した“白い影”状態から開始し、次に関係者の影をキャラクタにモーフィングすることによって、本当に、驚異的なショーを達成することができる。

前記キャラクタは、通行人のための広告、娯楽又は案内を提供することができる。通常、地面において描かれているキャラクタと相互作用するのは、通行人の毎日の経験から逸脱しているため、初めは、通行人はキャラクタを無視する傾向があるかもしれない。しかしながら、前記キャラクタは、客の前進を妨げるように床に沿って移動することができる。前記キャラクタは、客に手招きし、特定の方向において歩くことができ、前記ソフトウェアはこれらの進行を監視する。進行が、彼又は彼女を、例えば戸口７１５に入らせる方向である場合、前記キャラクタは、支持動作（例えば、“その通り”、“一緒に来て”等と発音する）でその承認を示すことができ、そうでない場合、前記キャラクタは、指示する、先導する、言葉でおだてる、又は他の方法において客を誘導することができる。前記キャラクタは、有利には客をせきたて、店に入らせることができ、又は、客が他の方向決定を行うのを助けることができる。１つ以上の方向性マイクロフォンを前記インタラクティブ領域に追加することによって、前記関係者又はキャラクタは言葉で相互作用してもよい。

図８において例示する、依然として他の実施例において、キャラクタ又は他のインタラクティブ体験が生じることができる領域を拡大するために、投影される画像を、出力光の円錐を光学的に導くことができるプロジェクタによって発してもよい。これは、同じプロジェクタが、（一度にすべてではないが）潜在的にはるかに大きい領域を照らすことを可能にし、照射される領域においてより高い解像度で投影されることを可能にする。

図８において、本システムの画像検出部分は、上記の実施例のものと、カメラ１０６の視野が、好適にはプロジェクタ１０１の放射される光画像より広く形成されるのを除いて、上記の実施例のものと同じである。プロジェクタ１０１は、好適には、コンピュータ制御される光学パン及びチルトミラー配置８１０を前記プロジェクタの光経路において用い（又は、プロジェクタ全体がパン及びチルトしてもよい）、投影される画像を、必要ならば前記カメラの視野８０４全体に渡って動かすことができるようにする。このシステムを動作するソフトウェアは、前記プロジェクタのＸ−Ｙ光円錐の運動と、投影される円錐内の物体のビデオ運動との組み合わせを使用し、表面８０４における物体の総合的な運動を実行することができることを除いて、上記の実施例のものと同じである。この実施例において、投影される物体との瞬時の相互作用は、好適には、旋回するプロジェクタの投影範囲内に現在ある領域においてのみ生じる。カメラ１０６は、より広い領域全体を画像化するため、前記インタラクティブ領域におけるどこで生じる活動も、最終的に本システムによって反応されることができる。例えば、新たな客が全体的に走査されるインタラクティブ領域８０４に入ることは、投影されるキャラクタに現在の客から注意をそらし始めさせ、この新たに到着した客の方向に移動させるか、新たなキャラクタを導入してもよい。

代わりの実施例において、追加のカメラは、パン及びチルトミラー配置を使用し、前記プロジェクタが投影することができる領域により高い解像度を与えることもできる。依然として他の実施例において、単一のカメラが前記パン及びチルトミラー配置を使用してもよく、本システムが関係者を見失った場合、本システムは、関係者が見つかるまで、又は、デフォルト位置に達するまで、探索パターンに従ってもよい。

サッカー又は他の床ベースのスポーツ用途において、この旋回プロジェクタ技術は、上述した静的プロジェクタ実施例によって可能なよりも高い解像度及び明るさを有するボールの画像を投影しながら、パック又はボールの運動により広い範囲を与えることができる。

加えて、前記プロジェクタのその出力をそらす能力を。投影された領域内のビデオ運動を組み合わせ、客の相互作用に対する急速な応答と、大きい領域の相互作用と、高度に現実的な画像とを提供することができる。

図９に示す代わりの実施例は、相互作用性が生じることができる表面積を増加することが望ましい、又は、固定された領域内の検出及び投影の解像度を増加することが望ましい場合のようないくつかの用途において有利であるかもしれない。ここで、多数の“つなぎ合わされた”カメラ１０６、プロジェクタ１０１、又は、カメラ／プロジェクタ対を使用し、床表面を画像化し、及び／又は、床表面に投影することができる。個々のコンピュータは、カメラ１０６からの画像を別々に処理してもよく、投影された領域又は彼らを、多数のアナログデジタル変換器及びグラフィカル出力容量を有する１台の高速コンピュータによって扱うこともできる。

図１０に示す、非常に大きいインタラクティブ領域が存在するという知覚を客に与える他の実施例において、実際のインタラクティブ投影領域１０４を、スライド又は遮光板形式のプロジェクタのような静止画像プロジェクタ１０１０によって投影される大きい固定された非インタラクティブ領域１０２０によって取り囲むことができる。これは、システムのコストをさらにより低くし、インタラクティブ領域の美的な外観を増すことができる。前記静止画像における領域を覆い隠し、前記インタラクティブ領域がこの暗い空間を満たすようにしてもよく、又は、インタラクティブ領域プロジェクションシステムが、共有されたプロジェクション領域１０４において単純に重ねて投影することもできる。

図１１に例示する依然として代わりの実施例において、（ジョージア州、アルファレッタ、ノースフルトンインダストリアルブールバード、クロマテック社によって市販されている）クロマステレオのような、しかしこれに限定されない３次元表示技術を使用し、床に投影された画像が種々の領域において深さ及び高さを有することを表すようにすることができる。これらは、光スペクトルと交差する異なった色の光を異なった量だけ曲げる。ボール１１２のような、前記インタラクティブ表面から延長することになっている画像部分は、好適には、可視スペクトルの一方の端から、例えば赤の端からの色を使用して描かれる。中間に延在するように見えるべきグリッド１１１０のような領域は、緑のような可視光の中央からの色で投影され、近くに、又は、背景領域１１０４のような前記インタラクティブ領域と同じレベルにおいて現れることになっている領域は、可視光の青端に向かう色において投影される。クロマステレオ技術は、分極ステレオ、又は、ステレオ効果を与えるビュー間の相違が下を向く関係者のビューの回転に対して変化しないフィールドシーケンシャルステレオのような他の３Ｄ技術より有利である。関係者がある方位から前記インタラクティブ表面の方向のみを向く場合、上述した、及び他の標準ステレオ符号化技術を使用してもよい。

人間のエアホッケーを許可するインタラクティブ領域のような、大スケールの実施に使用されるのに加えて、本発明は、小スケールの使用にも適合することができる。さらに、視覚的光プロジェクタ１０１、ＩＲ照明器１０５及びカメラ１０６を、代表的に、共通領域内に配備するが、本発明はこれに限定されない。図１２は、本発明を使用する水族館のような実施例を例示する。図１２に示す実施例において、活魚は関係者１０３として働く。この水族館は、インタラクティブ領域１０４として働くリアプロジェクションスクリーンに対して立てかける。ＩＲ照明器１０５及び視覚的光プロジェクタ１０１は、好適には、リアプロジェクトスクリーン１０４の背後に配置される。ＩＲ照明器１０５は、インタラクティブ領域１０４を十分に照らすことができ、ＩＲパスフィルタ１０８を使用して可視光が減衰された場合、カメラ１０６に対して“白色”に現れる。魚１０３がインタラクティブ領域１０４の前面において動き回ると、これらは影を投げかけ、これらの影をカメラ１０６によって検出することができる。ブロブ処理ソフトウェア２２２は、前記影のサイズ及び位置を決定することができる。この場合において視覚的光プロジェクタ１０１によってインタラクティブ領域１０４に投影されるスキューバダイバーの画像であるキャラクタ７１０は、魚１０３と相互作用するように現れることができ、これは、前記魚の上、下又は背後に泳ぐことを含む。

本発明を、詳細に、その特定の実施例の参照と共に説明したが、種々の変更及び変形を、その精神及び範囲から逸脱することなしに行えることは、当業者には明らかであろう。したがって、本発明は、本発明の変更及び変形を、これらが添付した請求の範囲及びこれらの等価物に入るならば、カバーすることが意図される。

図１は、本発明の一実施例によるインタラクティブ表面を示す。 図２は、本発明の一実施例によるビデオ処理及びコンピュータ制御システムを示す。 図３は、本発明の一実施例によるビデオブロブ位置アルゴリズムを示す。 図４は、本発明の一実施例によるフロアベースのパック蹴りゲーム及びインタラクティブホッケースティックを示す。 図５は、白色影が投影される本発明の一実施例を示す。 図６は、本発明の白色影の一態様による画像処理を示す。 図７は、本発明の一実施例によるアニメーションする床に投影されたキャラクタを示す。 図８は、本発明の一実施例の旋回するプロジェクタ態様を示す。 図９は、本発明の一実施例による高解像度で大きい領域をカバーする多数のプロジェクタ又はカメラの使用を示す。 図１０は、本発明の一実施例によるより大きい非インタラクティブ領域内に埋め込まれたインタラクティブ領域を示す。 図１１は、本発明の一実施例による３次元投影を示す。 図１２は、本発明を利用する水族館のような実施例を示す。

Claims (52)

1. インタラクティブ環境を形成するビデオ作動システムにおいて、
   インタラクティブ表面と、
   少なくとも１人の関係者と、
   比較的制限された波長範囲における電磁エネルギーを発生することができる少なくとも１つのエネルギー源であって、該少なくとも１つのエネルギー源は、該少なくとも１つのエネルギー源からのエネルギーが前記インタラクティブ表面の少なくとも一部に衝突するように配置される、少なくとも１つのエネルギー源と、
   少なくとも１つの電磁画像化装置であって、該少なくとも１つの電磁画像化装置は、前記少なくとも１つのエネルギー源によって発生された少なくとも前記比較的制限された波長範囲における電磁エネルギーを検出し、検出されたエネルギーを出力信号に変換することができ、該少なくとも１つの電磁画像化装置は、前記少なくとも１つの電磁画像化装置が前記インタラクティブ表面の少なくとも一部からの電磁エネルギーを検出できるように配置される、少なくとも１つの電磁画像化装置と、
   少なくとも１つの入力部を有する少なくとも１つの可視光プロジェクタであって、該少なくとも１つの可視光プロジェクタは、可視光を前記インタラクティブ表面に投影することができる、少なくとも１つの可視光プロジェクタと、
   少なくとも１つのコンピュータと、
   前記少なくとも１つのコンピュータにおいて動作し、前記電磁画像化装置からの出力信号を受け、前記出力信号内の赤外線エネルギーのブロブを検出し、前記ブロブについての情報を報告し、前記ブロブ情報を処理し、前記処理されたブロブ情報に基づいて前記少なくとも１つの可視光プロジェクタへの入力を発生することができる、少なくとも１つのコンピュータプログラムプロセスとを具えることを特徴とするビデオ作動システム。
2. 請求項１に記載のビデオ作動システムにおいて、少なくとも１つの比較的狭い波長のパスフィルタをさらに具え、前記少なくとも１つのパスフィルタは、前記エネルギー源によって発生される比較的狭い波長範囲と実質的に等しい電磁エネルギーを実質的に減衰せずに通過させ、前記少なくとも１つのパスフィルタは、実質的に前記少なくとも１つの画像化装置と前記インタラクティブ表面との間に、前記少なくとも１つの画像化装置に入る実質的にすべての電磁エネルギーが該少なくとも１つのパスフィルタを通過するように配置されることを特徴とするビデオ作動システム。
3. 請求項１に記載のビデオ作動システムにおいて、少なくとも１つの比較的狭い波長のストップフィルタをさらに具え、前記少なくとも１つのストップフィルタは、前記エネルギー源によって発生される比較的狭い波長範囲と実質的に等しい電磁エネルギーを減衰し、他の電磁波長を減衰せずに通過させ、前記少なくとも１つのストップフィルタは、実質的に前記少なくとも１つの可視光プロジェクタと前記インタラクティブ表面との間に、前記少なくとも１つの可視光プロジェクタからの実質的にすべての光が該少なくとも１つのストップフィルタを通過するように配置されることを特徴とするビデオ作動システム。
4. 請求項１に記載のビデオ作動システムにおいて、
   少なくとも１つの比較的狭い波長のパスフィルタであって、該少なくとも１つのパスフィルタは、前記エネルギー源によって発生される比較的狭い波長範囲と実質的に等しい電磁エネルギーを実質的に減衰せずに通過させ、該少なくとも１つのパスフィルタは、実質的に前記少なくとも１つの画像化装置と前記インタラクティブ表面との間に、前記少なくとも１つの画像化装置に入る実質的にすべての電磁エネルギーが該少なくとも１つのパスフィルタを通過するように配置される、少なくとも１つの比較的狭い波長のパスフィルタと、
   少なくとも１つの比較的狭い波長のストップフィルタであって、該少なくとも１つのストップフィルタは、前記エネルギー源によって発生される比較的狭い波長範囲と実質的に等しい電磁エネルギーを減衰し、他の電磁波長を減衰せずに通過させ、該少なくとも１つのストップフィルタは、実質的に前記少なくとも１つの可視光プロジェクタと前記インタラクティブ表面との間に、前記少なくとも１つの可視光プロジェクタからの実質的にすべての光が該少なくとも１つのストップフィルタを通過するように配置される、少なくとも１つの比較的狭い波長のストップフィルタとをさらに具えることを特徴とするビデオ作動システム。
5. 請求項１に記載のビデオ作動システムにおいて、前記エネルギー源は、赤外線範囲における波長を有する電磁エネルギーを発生することを特徴とするビデオ作動システム。
6. 請求項１に記載のビデオ作動システムにおいて、前記インタラクティブ表面は床から成り、前記エネルギー源は前記インタラクティブ表面の実質的に上に配置されることを特徴とするビデオ作動システム。
7. 請求項１に記載のビデオ作動システムにおいて、前記電磁画像化装置はグレイスケールＣＣＤカメラであることを特徴とするビデオ作動システム。
8. 請求項１に記載のビデオ作動システムにおいて、前記インタラクティブ表面は床から成り、前記画像化装置は前記インタラクティブ表面の実質的に上に配置されることを特徴とするビデオ作動システム。
9. 請求項１に記載のビデオ作動システムにおいて、ブロブ検出はフレーム毎を基本として生じることを特徴とするビデオ作動システム。
10. 請求項１に記載のビデオ作動システムにおいて、ブロブ検出は、少なくとも１つのカスタマイズ可能なしきい値輝度レベルに基づくことを特徴とするビデオ作動システム。
11. 請求項１に記載のビデオ作動システムにおいて、ブロブ検出は、少なくとも１つのカスタマイズ可能なブロブサイズしきい値に基づくことを特徴とするビデオ作動システム。
12. 請求項１１に記載のビデオ作動システムにおいて、ブロブ検出は、少なくとも１つのカスタマイズ可能なしきい値輝度レベルに基づくことを特徴とするビデオ作動システム。
13. 請求項１に記載のビデオ作動システムにおいて、ブロブ検出は、カスタマイズ可能な粒状性設定に基づいて制御可能であることを特徴とするビデオ作動システム。
14. 請求項１に記載のビデオ作動システムにおいて、ターゲットは前記少なくとも１人の関係者に関係付けられることを特徴とするビデオ作動システム。
15. 請求項１に記載のビデオ作動システムにおいて、前記ターゲットは再帰反射ターゲットであることを特徴とするビデオ作動システム。
16. 請求項１に記載のビデオ作動システムにおいて、複数のターゲットは前記少なくとも一人の関係者の各々に関係付けられることを特徴とするビデオ作動システム。
17. 請求項１６に記載のビデオ作動システムにおいて、既知の方向の３つのターゲットは、前記少なくとも一人の関係者の各々に関係付けられることを特徴とするビデオ作動システム。
18. 請求項１７に記載のビデオ作動システムにおいて、前記ブロブ情報は、各ブロブのサイズ及び位置を含むことを特徴とするビデオ作動システム。
19. 請求項１８に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記少なくとも１人の関係者の各々の方向を決定するのに使用されることを特徴とするビデオ作動システム。
20. 請求項１９に記載のビデオ作動システムにおいて、前記少なくとも１人の関係者の少なくとも１人の方向は、前記少なくとも１つのコンピュータプログラムプロセスによって使用され、前記可視光プロジェクタへの入力を発生することを特徴とするビデオ作動システム。
21. 請求項１７に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記インタラクティブ表面上の棒の高さを決定するのに使用されることを特徴とするビデオ作動システム。
22. 請求項１７に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記可視光プロジェクタによって投影される画像の少なくとも一部のスケールを決定するのに使用されることを特徴とするビデオ作動システム。
23. 請求項１に記載のビデオ作動システムにおいて、電磁エネルギー源は前記少なくとも一人の関係者の各々に割り当てられることを特徴とするビデオ作動システム。
24. 請求項１に記載のビデオ作動システムにおいて、パン及びチルトミラーは前記可視光プロジェクタの光経路において配置されることを特徴とするビデオ作動システム。
25. 請求項１に記載のビデオ作動システムにおいて、前記可視光プロジェクタは、３次元表示技術を使用してエンコードされた光を投影することを特徴とするビデオ作動システム。
26. 請求項１に記載のビデオ作動システムにおいて、前記電磁エネルギー源は、電磁エネルギーを、前記少なくとも１つの電磁画像化装置が検出する前記インタラクティブ表面の少なくとも一部とは異なる前記インタラクティブ表面の少なくとも一部に投影し、前記少なくとも１人の関係者のうち少なくとも１人が、前記インタラクティブ表面の少なくとも一部が前記少なくとも１つの電磁画像化装置によって検出された場合、前記インタラクティブ表面の少なくとも一部に影を投げかけるようにすることを特徴とするビデオ作動システム。
27. 請求項２６に記載のビデオ作動システムにおいて、前記ブロブ検出アルゴリズムは、前記少なくとも１つの電磁画像化装置によって検出される、前記インタラクティブ表面の少なくとも一部内の少なくとも１つの関係者の影の位置を決定することを特徴とするビデオ作動システム。
28. 請求項２７に記載のビデオ作動システムにおいて、前記少なくとも１つのコンピュータプログラムプロセスは、前記少なくとも１つの可視光プロジェクタに、前記少なくとも１つの関係者の影の領域においてアニメーションするキャラクタを投影させることを特徴とするビデオ作動システム。
29. インタラクティブ環境を形成するビデオ作動システムにおいて、
    床から成るインタラクティブ表面と、
    少なくとも１つの再帰反射ターゲットが関係付けられる少なくとも１人の関係者と、
    前記インタラクティブ表面の実質的に上に位置し、赤外線エネルギーを前記インタラクティブ表面上に投影することができる赤外線エネルギー源と、
    前記赤外線エネルギー源によって発生される赤外線エネルギーを検出することができ、前記検出されたエネルギーを出力信号に変換することができ、前記インタラクティブ表面の実質的に上に位置する少なくとも１つのグレイスケールＣＣＤカメラと、
    少なくとも１つの入力部を有し、可視光を前記インタラクティブ表面上に投影することができる少なくとも１つの可視光プロジェクタと、
    少なくとも１つの比較的狭い波長のパスフィルタであって、該少なくとも１つのパスフィルタは、前記エネルギー源によって発生される赤外線エネルギーを実質的に減衰せずに通過させ、他の波長における電磁エネルギーを減衰し、実質的に前記少なくとも１つのカメラと前記インタラクティブ表面との間に、前記少なくとも１つのカメラに入る実質的にすべての電磁エネルギーが該少なくとも１つのパスフィルタを通過するように配置される、少なくとも１つの比較的狭い波長のパスフィルタと、
    少なくとも１つの比較的狭い波長のストップフィルタであって、該少なくとも１つのストップフィルタは、前記電磁エネルギー源によって発生されるのと実質的に等しい波長の赤外線エネルギーを減衰し、他の電磁波長を減衰せずに通過させ、実質的に前記少なくとも１つの可視光プロジェクタと前記インタラクティブ表面との間に、前記少なくとも１つの可視光プロジェクタからの実質的にすべての光が該少なくとも１つのストップフィルタを通過するように配置される、少なくとも１つの比較的狭い波長のストップフィルタと、
    少なくとも１つのコンピュータと、
    前記少なくとも１つのコンピュータにおいて動作し、前記カメラからの出力信号を受け、前記出力信号内の赤外線エネルギーのブロブを検出し、前記ブロブについての情報を報告し、前記ブロブ情報を処理し、前記処理されたブロブ情報に基づいて前記少なくとも１つの可視光プロジェクタへの入力を発生することができる、少なくとも１つのコンピュータプログラムプロセスとを具えることを特徴とするビデオ作動システム。
30. 請求項２９に記載のビデオ作動システムにおいて、ブロブ検出はフレーム毎を基本として生じることを特徴とするビデオ作動システム。
31. 請求項２９に記載のビデオ作動システムにおいて、ブロブ検出は、少なくとも１つのカスタマイズ可能なしきい値輝度レベルに基づくことを特徴とするビデオ作動システム。
32. 請求項２９に記載のビデオ作動システムにおいて、ブロブ検出は、少なくとも１つのカスタマイズ可能なブロブサイズしきい値に基づくことを特徴とするビデオ作動システム。
33. 請求項３２に記載のビデオ作動システムにおいて、ブロブ検出は、少なくとも１つのカスタマイズ可能なしきい値輝度レベルに基づくことを特徴とするビデオ作動システム。
34. 請求項２９に記載のビデオ作動システムにおいて、ブロブ検出は、カスタマイズ可能な粒状性設定に基づいて制御可能であることを特徴とするビデオ作動システム。
35. 請求項２９に記載のビデオ作動システムにおいて、ターゲットは前記少なくとも１人の関係者に関係付けられることを特徴とするビデオ作動システム。
36. 請求項３５に記載のビデオ作動システムにおいて、前記ターゲットは再帰反射ターゲットであることを特徴とするビデオ作動システム。
37. 請求項２９に記載のビデオ作動システムにおいて、複数のターゲットは前記少なくとも一人の関係者の各々に関係付けられることを特徴とするビデオ作動システム。
38. 請求項３７に記載のビデオ作動システムにおいて、既知の方向の３つのターゲットは、前記少なくとも一人の関係者の各々に関係付けられることを特徴とするビデオ作動システム。
39. 請求項３８に記載のビデオ作動システムにおいて、前記ブロブ情報は、各ブロブのサイズ及び位置を含むことを特徴とするビデオ作動システム。
40. 請求項３９に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記少なくとも１人の関係者の各々の方向を決定するのに使用されることを特徴とするビデオ作動システム。
41. 請求項４０に記載のビデオ作動システムにおいて、前記少なくとも１人の関係者の少なくとも１人の方向は、前記少なくとも１つのコンピュータプログラムプロセスによって使用され、前記可視光プロジェクタへの入力を発生することを特徴とするビデオ作動システム。
42. 請求項２９に記載のビデオ作動システムにおいて、パン及びチルトミラーは前記可視光プロジェクタの光経路において配置されることを特徴とするビデオ作動システム。
43. 請求項２９に記載のビデオ作動システムにおいて、前記可視光プロジェクタは、３次元表示技術を使用してエンコードされた光を投影することを特徴とするビデオ作動システム。
44. インタラクティブ環境を形成するビデオ作動システムにおいて、
    インタラクティブ表面と、
    関係者と、
    前記インタラクティブ表面の少なくとも一部の出力信号表現を発生する少なくとも１つの画像化装置と、
    少なくとも１つの入力部を有し、可視光を前記インタラクティブ表面の部分集合上にのみ投影することができる可視光プロジェクタと、前記プロジェクタの光経路中に配置され、前記可視光プロジェクタからの出力を所望の位置に向けることができるパン及びチルトミラーシステムと、
    少なくとも１つのコンピュータと、
    前記少なくとも１つのコンピュータにおいて動作し、前記カメラからの出力信号を受け、前記インタラクティブ表面内の前記関係者の位置を検出し、前記少なくとも１人の関係者の近くにキャラクタを投影する信号を発生し、前記信号を前記可視光プロジェクタの入力部に供給し、おおよその前記関係者の検出された位置を前記パン及びチルトミラーシステムに供給することができる、少なくとも１つのコンピュータプログラムプロセスとを具えることを特徴とするビデオ作動システム。
45. 請求項４４に記載のビデオ作動システムにおいて、前記パン及びチルトミラーシステムは、前記発生されたキャラクタが、前記インタラクティブ表面を横切って前記関係者に追従することを可能にすることを特徴とするビデオ作動システム。
46. インタラクティブ環境を形成するビデオ作動システムにおいて、
    複数のインタラクティブ表面と、
    少なくとも１人の関係者と、
    比較的制限された波長範囲における電磁エネルギーを発生することができる少なくとも１つのエネルギー源であって、該少なくとも１つのエネルギー源は、該少なくとも１つのエネルギー源からのエネルギーが前記インタラクティブ表面の少なくとも一部に衝突するように配置される、少なくとも１つのエネルギー源と、
    少なくとも１つの電磁画像化装置であって、該少なくとも１つの電磁画像化装置は、前記少なくとも１つのエネルギー源によって発生された少なくとも前記比較的制限された波長範囲における電磁エネルギーを検出し、検出されたエネルギーを出力信号に変換することができ、該少なくとも１つの電磁画像化装置は、該少なくとも１つの電磁画像化装置が前記インタラクティブ表面の少なくとも一部からの電磁エネルギーを検出できるように配置される、少なくとも１つの電磁画像化装置と、
    複数の可視光プロジェクタであって、該複数の可視光プロジェクタの各々は少なくとも１つの入力部を有し、該複数の可視光プロジェクタの各々は可視光を前記複数のインタラクティブ表面のうち少なくとも１つの上に投影することができる、複数の可視光プロジェクタと、
    複数のコンピュータと、
    前記複数のコンピュータにおいて動作し、前記少なくとも１つの電磁画像化装置の少なくとも１つからの出力信号を受け、前記出力信号内の赤外線エネルギーのブロブを検出し、前記複数のインタラクティブ表面における前記少なくとも１人の関係者の位置を決定し、前記決定された関係者位置を処理し、前記決定された関係者位置に基づいて、前記複数の可視光プロジェクタのうちの少なくとも１つへの入力を発生することができる、少なくとも１つのコンピュータプログラムプロセスとを具えることを特徴とするビデオ作動システム。
47. 請求項４６に記載のビデオ作動システムにおいて、前記複数の可視光プロジェクタのうち少なくとも１つに対して発生される入力は、該少なくとも１つの可視光プロジェクタに、前記決定された関係者部分の近くにキャラクタを投影させることを特徴とするビデオ作動システム。
48. 請求項４７に記載のビデオ作動システムにおいて、前記キャラクタは、前記関係者が前記複数のインタラクティブ表面間を移動するにつれて、前記関係者に追従することを特徴とするビデオ作動システム。
49. インタラクティブ環境を形成するビデオ作動システムにおいて、
    複数のインタラクティブ表面と、
    少なくとも１人の関係者と、
    前記複数のインタラクティブ表面のうちの少なくとも１つの少なくとも一部の出力表示を発生することができる少なくとも１つの画像化装置と、
    各々が少なくとも１つの入力部を有し、各々が前記複数のインタラクティブ表面の少なくとも１つに可視光を投影することができる、複数の可視光プロジェクタと、
    複数のコンピュータと、
    前記複数のコンピュータにおいて動作し、前記少なくとも１つの画像化装置の少なくとも１つからの前記出力信号を受け、前記出力信号に基づいて前記関係者の位置を決定し、前記決定された関係者位置を処理し、前記決定された関係者位置に基づいて、前記少なくとも１つの可視光プロジェクタが前記決定された関係者位置の近くにキャラクタを投影するように、前記複数の可視光プロジェクタの少なくとも１つへの入力を発生することができる、少なくとも１つのコンピュータプログラムプロセスとを具えることを特徴とするビデオ作動システム。
50. 請求項４９に記載のビデオ作動システムにおいて、前記キャラクタは、前記関係者が前記複数のインタラクティブ表面間を移動するにつれて、前記関係者に追従することを特徴とするビデオ作動システム。
51. インタラクティブ環境を形成するビデオ作動システムにおいて、
    インタラクティブ表面と、
    関係者と、
    比較的制限された波長範囲における電磁エネルギーを発生することができるエネルギー源であって、該エネルギー源は、該エネルギー源からのエネルギーが前記インタラクティブ表面の少なくとも一部に衝突するように配置される、エネルギー源と、
    電磁画像化装置であって、該電磁画像化装置は、前記エネルギー源によって発生された少なくとも前記比較的制限された波長範囲における電磁エネルギーを検出し、検出されたエネルギーを出力信号に変換することができ、該電磁画像化装置は、前記電磁画像化装置が前記インタラクティブ表面の少なくとも一部からの電磁エネルギーを検出できるように配置される、電磁画像化装置と、
    入力部を有し、可視光を前記インタラクティブ表面に投影することができる可視光プロジェクタと、
    前記電磁画像化装置の出力部に接続された入力部と、前記可視光プロジェクタへの入力部に接続された出力部とを有し、前記可視光プロジェクタに、前記電磁画像化装置によって画像化された電磁エネルギーの可視光陰画を投影させるビデオ反転器とを具えることを特徴とするビデオ作動システム。
52. 請求項５１に記載のビデオ作動システムにおいて、ビデオ減算器をさらに具え、前記ビデオ減算器は、前記電磁画像化装置からの出力と、前記ビデオ反転器への入力との間に動作的に接続されることを特徴とするビデオ動作システム。

Images