JP2009252240A - リフレクション組み込みシステム、方法及びプログラム - Google Patents

Abstract

【課題】コンピュータインタフェースと現実世界とを統合する。
【解決手段】ユーザ及び周囲環境の映像をリアルタイムで捕捉し、捕捉された映像を受信し、リフレクション効果を生成するために映像を操作する。リフレクティブユーザインタフェースを生成するためにグラフィカルユーザインタフェースの少なくとも１つの要素へ前記リフレクション効果を組み込み、前記リフレクティブユーザインタフェースをユーザにリアルタイムで表示する。前記リフレクション効果の少なくとも一部がユーザに表示される。
【選択図】図３

Description

本発明は、ユーザ及び周囲環境のリフレクションをグラフィカルユーザインタフェースに組み込むシステム、方法およびプログラムに関し、詳細には、ユーザ及び周囲環境のリアルタイム映像からリフレクション効果を生成し、リフレクション効果をグラフィカルユーザインタフェースの要素に組み込むことに関する。

存在仮説（Ｐｒｅｓｅｎｃｅ Ｈｙｐｏｔｈｅｓｉｓ）によれば、環境における人の存在感覚（ｓｅｎｓｅ ｏｆ ｐｒｅｓｅｎｃｅ）は、自分の位置に対してどのオブジェクトが移動し、どのオブジェクトが静止しているかに関する人の知覚に環境が与える影響の程度を反映する（Ｒｅｓｔ Ｆｒａｍｅ Ｃｏｎｓｔｒｕｃｔ）（非特許文献１）。ユーザインタフェース中の静的オブジェクト表面を（ユーザの実際の移動と同期した形で）ユーザのリフレクションが移動するのを見ることにより、オブジェクトが静止しているという外観が強化される。同様に、ユーザインタフェース中のオブジェクトが移動し、ユーザのリフレクションが適宜変形される場合、当該オブジェクトとユーザとの空間的関係が強化される。人の存在感覚は、人が環境に対し進んで払う注意の量に影響を及ぼす（非特許文献１を参照）。

パトナムは、２００７年の論文で、人が自分に似ている他人を信頼する傾向が強いことに言及した（非特許文献２）。更に、人は自分と似ている人々に対してより協力的となる傾向がある。２００７年にサイエンス誌に掲載された記事の中でドーナスは、人は、中性的なアバターや人間以外の生き物のアバターとは対照的に、見た目や挙動が人間のようなアバターを信頼することに言及した（非特許文献３）。ドーナスは更に、自然な動作が重要である点に言及した。

ＡＴＭ機、電子ロック又は他の保護されたシステムなどの広く使用されている技術的デバイスに対し、ユーザのリフレクションを組み込むことで悪行を思いとどまらせる可能性がある。近隣のユーザのリフレクションを組み込んだ公共のディスプレイはユーザの興味を引きつけ、ここでもユーザによりよい行動をとらせることがある。最近の研究で、キューが実際にはいずれの実在観察者にも関連付けられていないことが明白である場合であっても、見られているというキューが存在すると人はより正直に振る舞うことが観察された（非特許文献４）。

ユーザインタフェース（ＵＩ）設計は、パーソナルコンピュータのグラフィックス能力の向上に伴って一層効果的にレンダリングされる傾向にある。これらのＵＩは、ここではつや消し金属、ガラス又は半透明プラスチックなどの現実世界の材質を模した表面を示している。これらの模擬環境はますます三次元的外観に近づいている。しかし、これらの模擬環境はユーザを取り囲む現実環境と結びつけられていない。

２００４年に、ストットらは、フェーストップ（ＦａｃｅＴｏｐ）というインタフェース技術を開発した（非特許文献５）。このインタフェースは、ユーザがコンピュータ画面上に表示されたオブジェクトを制御できるように運動トラッキングを利用する。フェーストップ上で実行される作業の多くは遠隔共同作業を扱う。全ての場合において、フェーストップＵＩで使用されるユーザの映像はα（透過度）調節を行った映像オーバレイとして現れ、自然に近づけることを目的としていない。

２００３年に、ショーン・ローソンズクルードオイルズ（Ｓｈａｗｎ Ｌａｗｓｏｎ'ｓ ＣｒｕｄｅＯｉｌｓ）プロジェクトがフォリーズ・ベルジェールのバー（Ａ Ｂａｒ ａｔ ｔｈｅ Ｆｏｌｉｅｓ Ｂｅｒｇｅｒｅ）を制作した（非特許文献６）。この芸術作品は、有名な絵画にビューワのリフレクションを組み込んだものである。絵画中の形態(figures)は、絵画の平坦な面上でユーザの存在に反応する。このことの効果は、ユーザの画像を反映しながら完全にシーンに没入することのない、シーンの「穴（ｈｏｌｅ）」にある。

「視覚的背景操作はシミュレータ酔いを軽減するか？（Ｄｏ Ｖｉｓｕａｌ Ｂａｃｋｇｒｏｕｎｄ Ｍａｎｉｐｕｌａｔｉｏｎｓ Ｒｅｄｕｃｅ Ｓｉｍｕｌａｔｏｒ Ｓｉｃｋｎｅｓｓ？）」、[online]、１９９７年、インターネット＜URL:http://www.hypercerulean.com/documents/r-97-12.rtf＞ 「多数から一つへ：２１世紀における多様性と共同体（Ｅ Ｐｌｕｒｉｂｕｓ Ｕｎｕｍ：Ｄｉｖｅｒｓｉｔｙ ａｎｄ Ｃｏｍｍｕｎｉｔｙ ｉｎ ｔｈｅ Ｔｗｅｎｔｙ−ｆｉｒｓｔ Ｃｅｎｔｕｒｙ）、[online]、２００７年、インターネット＜URL:http://www.humanities.manchester.ac.uk/socialchange/aboutus/news/documents/Putnam2007.pdf＞ 「仮想と信頼（Ｖｉｒｔｕａｌｌｙ Ｔｒｕｓｔｗｏｒｔｈｙ）」、[online]、２００７年、インターネット＜URL:http://www.humanities.manchester.ac.uk/socialchange/aboutus/news/documents/Putnam2007.pdf＞ 「見られているというキューが現実世界の環境における協調性を高める（Ｃｕｅｓ ｏｆ ｂｅｉｎｇ ｗａｔｃｈｅｄ ｅｎｈａｎｃｅ ｃｏｏｐｅｒａｔｉｏｎ ｉｎ ａ ｒｅａｌ−ｗｏｒｌｄ ｓｅｔｔｉｎｇ）」、[online]、２００６年、インターネット＜URL:http://www.staff.ncl.ac.uk/daniel.nettle/biology%20letters.pdf＞ 「透過映像フェーストップにおける分散型対プログラミングサポート（Ｓｕｐｐｏｒｔ ｆｏｒ Ｄｉｓｔｒｉｂｕｔｅｄ Ｐａｉｒ Ｐｒｏｇｒａｍｍｉｎｇ ｉｎ ｔｈｅ Ｔｒａｎｓｐａｒｅｎｔ Ｖｉｄｅｏ Ｆａｃｅｔｏｐ）、[online]、２００４年、インターネット＜URL:http://delivery.acm.org/10.1145/1020000/1012827/p48-stotts.pdf?key1=1012827&key2=8548549811&coll=portal&dl=ACM&CFID=25432631&CFTOKEN=65578812＞ [online]、２００３年、インターネット＜URL: http://www.crudeoils.us/html/Barmaid.html＞ 「投影テクスチャマッピング（Ｐｒｏｊｅｃｔｉｖｅ Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ）、[online]、インターネット＜URL: http://developer.nvidia.com/view.asp=?IO=Projective_Texture_Mapping＞ 「ＶｉｒｔｕＳｐｈｅｒｅ」、[online]、インターネット＜URL:http://www.virtusphere.com＞ ショートら、「社会存在理論（Ｓｏｃｉａｌ Ｐｒｅｓｅｎｃｅ Ｔｈｅｏｒｙ）、１９７６年

上記プロジェクトは、リアルタイム映像解析及びリアルタイム映像フィードバックを利用してユーザの動作を追跡することにより、人間とコンピュータとの相互作用をサポートすることに関する。コンピュータインタフェースに対するユーザ経験を改善すべくコンピュータインタフェースと現実世界とを統合することが依然求められている。

本発明は、ユーザ及び周囲環境のリフレクションをグラフィカルユーザインタフェース（ＧＵＩ）に組み込むシステム及び方法に関する。本発明の方法の一態様に従うと、ユーザ及び周囲環境の映像がウェブカメラなどの映像キャプチャデバイスを利用して取得され、映像画像は本発明のリフレクティブユーザインタフェースを生成するためにＧＵＩの要素に組み込まれるリフレクション効果を生成すべく操作される。リフレクション効果はＧＵＩの異なる要素毎にカスタマイズされ、要素中に示されたサイズ、形状、材質により変更できる。リフレクション効果は、周囲環境中の光源に反応するシャドウを含む本発明のリフレクティブユーザインタフェースにシャドウ及びハイライトを組み込むことを更に含んでいてもよい。

本発明の第１の態様は、ユーザ及び周囲環境のリアルタイムリフレクションをグラフィカルユーザインタフェースに組み込むシステムであって、前記システムは、ユーザ及び周囲環境の映像をリアルタイムで捕捉するための映像キャプチャデバイスと、前記映像キャプチャデバイスから映像を受信し、リフレクション効果を生成するために映像を操作する処理手段であって、リフレクティブユーザインタフェースを生成するために前記グラフィカルユーザインタフェースの少なくとも１つの要素へ前記リフレクション効果を組み込む処理手段と、前記リフレクティブユーザインタフェースをユーザにリアルタイムで表示するディスプレイと、を含み、前記リフレクション効果の少なくとも一部をユーザに表示する。

なお、前記映像キャプチャデバイスはカメラであってよい。

なお、前記処理手段は、コンピュータ可読指示を記憶するメモリと、前記コンピュータ可読指示を実行するプロセッサと、を含むコンピュータシステムであってよい。

なお、前記処理手段は前記映像の不透明度を変更することにより前記映像を操作することができる。

なお、前記処理手段は前記映像の拡大縮小率を変更することにより前記映像を操作することができる。

なお、前記処理手段は前記映像の向きを変更することにより前記映像を操作することができる。

なお、前記処理手段は前記映像画像を反転させることにより前記映像の向きを変更することができる。

なお、前記処理手段は前記映像の画質を低下することにより前記映像を操作することができる。

なお、前記処理手段は前記映像を不鮮明化することにより前記映像の画質を低下することができる。

本発明の第２の態様は、第１の態様のシステムであって、前記処理手段はテクスチャマッピングを利用して前記グラフィカルユーザインタフェース上に前記映像をオーバレイすることにより、前記リフレクション効果を前記グラフィカルユーザインタフェースの前記少なくとも１つの要素に組み込む。

本発明の第３の態様は、第１の態様のシステムであって、前記グラフィカルユーザインタフェースの前記少なくとも１つの要素はウィンドウ、フレーム、ボタン又はアイコンを含む。

本発明の第４の態様は、第１の態様のシステムであって、前記処理手段は前記グラフィカルユーザインタフェースに示された材質の種類からリフレクションをシミュレートするために前記リフレクション効果を変更する。

本発明の第５の態様は、第１の態様のシステムであって、前記処理手段は前記グラフィカルユーザインタフェースの前記少なくとも１つの要素の形状からリフレクションをシミュレートするために前記リフレクション効果を変更する。

本発明の第６の態様は、第１の態様のシステムであって、前記処理手段は前記周囲環境を削除及び置換する。

本発明の第７の態様は、第１の態様のシステムであって、前記処理手段は前記リフレクティブユーザインタフェースを三次元環境に組み込む。

本発明の第８の態様は、第７の態様のシステムであって、前記処理手段はシーンの背景へ映像をインポートし、三次元グラフィックエンジンを利用して前景へ映像をリフレクションする。

なお、前記ディスプレイはコンピュータモニタを含むことができる。

本発明の第９の態様は、第１の態様のシステムであって、前記グラフィカルユーザインタフェースはウィンドウ、アイコン、メニュー又はポインティングデバイスインタフェースを含む。

本発明の第１０の態様は、第１の態様のシステムであって、前記グラフィカルユーザインタフェースはシーンの三次元表示を含む。

本発明の第１１の態様は、第１０の態様のシステムであって、前記ディスプレイは前記リフレクティブユーザインタフェースを複数のユーザに表示し、前記複数のユーザの各々は前記リフレクティブユーザインタフェースを異なって知覚する。

本発明の第１２の態様は、第１の態様のシステムであって、前記処理手段は前記グラフィカルユーザインタフェースの前記少なくとも１つの要素へシャドウ効果を組み込むことにより、リフレクティブユーザインタフェースを生成する。

本発明の第１３の態様は、第１２の態様のシステムであって、前記シャドウ効果は前記周囲環境中の光源を識別することにより生成される。

本発明の第１４の態様は、第１の態様のシステムであって、前記処理手段は前記グラフィカルユーザインタフェースの前記少なくとも１つの要素へハイライト効果を組み込むことにより、リフレクティブユーザインタフェースを生成する。

本発明の第１５の態様は、第１４の態様のシステムであって、前記処理手段は前記周囲環境中の光源を識別することにより前記ハイライト効果を組み込む。

本発明の第１６の態様は、ユーザ及び周囲環境のリアルタイムリフレクションをグラフィカルユーザインタフェースに組み込む方法であって、前記方法は、ユーザ及び周囲環境の映像をリアルタイムで捕捉し、映像キャプチャデバイスから映像を受信し、リフレクション効果を生成すべく前記映像を操作し、リフレクティブユーザインタフェースを生成すべく前記リフレクション効果を前記グラフィカルユーザインタフェースの少なくとも１つの要素に組み込み、前記リフレクティブユーザインタフェースをリアルタイムでユーザに表示する、ことを含み、少なくとも前記リフレクション効果の一部をユーザに表示する。

なお、前記リフレクション効果を映像の画質を低下することにより生成することができる。

本発明の第１７の態様は、第１６の態様の方法であって、前記リフレクション効果は前記グラフィカルユーザインタフェースのフレーム、ボタン又はアイコンに組み込まれる。

本発明の第１８の態様は、第１６の態様の方法であって、前記リフレクション効果は前記グラフィカルユーザインタフェースの前記少なくとも１つの要素へシャドウ効果を組み込むことにより生成される。

本発明の第１９の態様は、ユーザ及び周囲環境のリアルタイムリフレクションをグラフィカルユーザインタフェースに組み込む機能をコンピュータに実現させるためのプログラムであって、前記機能は、ユーザ及び周囲環境の映像信号をリアルタイムで受信し、リフレクション効果を生成すべく映像を操作し、前記リフレクション効果を前記ＧＵＩの少なくとも１つの要素に組み込み、組み込まれた前記リフレクション効果を利用してリフレクティブユーザインタフェースを生成する、ことを含む。

なお、前記リフレクション効果を前記映像の画質を低下することにより生成することができる。

本発明の第２０の態様は、第１９の態様の方法であって、前記リフレクション効果は前記グラフィカルユーザインタフェースのフレーム、ボタン又はアイコンに組み込まれる。

本発明の第２１の態様は、第１９の態様の方法であって、前記リフレクティブユーザインタフェースはシャドウ効果を前記グラフィカルユーザインタフェースの少なくとも１つの要素に組み込むことにより生成される。

本発明に関連する更なる態様は、その一部が以下の説明に記載され、一部が説明より明白となり、あるいは本発明を実施することにより理解されることができる。本発明の態様は、以下の詳細な説明及び添付の特許請求の範囲において特に指摘された要素及び各種要素と態様との組合せによって実現され達成されることができる。

上記説明及び以下の説明はあくまで例示及び説明のためになされるもので、特許請求された発明やその応用をなんら制限する意図はないことを理解されたい。

上記問題点に鑑み、本発明では、ユーザ及び周囲環境のリフレクションをグラフィカルユーザインタフェースに組み込むようにしているので、コンピュータインタフェースと現実世界との統合された感覚を高めることができる。

本発明の一態様による、リフレクティブユーザインタフェースを生成するためにウェブカメラがディスプレイを閲覧するユーザの映像を捕捉するための設定を示す。 本発明の一態様による、ウェブカメラからのユーザ及び周囲環境のビューを示す。 本発明の一態様による、グラフィカルユーザインタフェース（ＧＵＩ）内に移動させることが可能なミラーをシミュレートしたリフレクティブユーザインタフェースを示す。 本発明の一態様による、リフレクティブユーザインタフェースを有する、あるいは有さないデジタルメディアプレイヤ・アプリケーションのＧＵＩを示す。 本発明の一態様による、リフレクティブユーザインタフェースが適用された三次元（３Ｄ）ビューワ・アプリケーションのＧＵＩを示す。 関連技術における、視点からの３Ｄ環境アプリケーションを示す。ユーザは、アバターを使用することで存在感覚を付与される。 本発明の一態様による、リフレクティブユーザインタフェースがハイブリッド・リアリティ通信設定に適用された静的３Ｄビューワ・アプリケーションを示す。ユーザは各種表面上に自然なリフレクションを含めることによってハイブリッド環境における存在感覚を付与される。 本発明の一態様による、入力映像信号の射影テクスチャマッピングを利用してリフレクティブユーザインタフェースが適用された３Ｄビューワ・アプリケーションを示す。 本発明の一態様による、入力映像信号の射影テクスチャマッピングを利用してリフレクティブユーザインタフェースが適用された３Ｄビューワ・アプリケーションを示す。映像画像のエッジが拡張されている。 本発明の一態様による、ユーザの環境からユーザの画像を抽出し、新たな環境に画像を配置するプロセスを示す。 ＧＵＩの要素に対し実施されたシャドウ効果を含むリフレクティブユーザインタフェースを示す。 映像中に光源をマッピングすることによりＧＵＩ要素に対するシャドウ効果及びハイライト効果を生成すべく利用されるプロセスを示す。 本発明のシステムを実施可能なコンピュータプラットフォームの例示的実施形態を示す。

本明細書に組み込まれ、本明細書の一部をなす添付の図面は、本発明の実施形態を例示し、説明と相俟って本発明の技術原理を説明し図示するために供される。

以下の詳細な説明では、添付の図面を参照する。図面において同一の機能要素は同様の数字で示されている。上記添付の図面は、本発明の原理と一致する特定の実施形態及び実施態様を例示するもので、本発明を制限しない。これらの実施態様は、当業者が本発明を実行できるよう十分に詳細に記載される。他の実施態様も利用でき、本発明の範囲及び精神を逸脱することなく各種要素の構造変更及び／又は置換を行い得ることが理解されよう。従って、以下の詳細な説明は本発明を制限するものとして解釈されない。更に、記載される本発明の各種実施形態は、汎用コンピュータ上で実行されるソフトウェア、専用ハードウェア、あるいはソフトウェアとハードウェアとの組合せとして実施できる。

本発明の一実施形態は、ユーザ及び周囲環境のリフレクション（反射映像）をグラフィカルユーザインタフェース（ＧＵＩ）に組み込むためのシステム及び方法に関する。一実施形態において、ユーザ及び周囲環境の映像はウェブカメラなどの映像キャプチャデバイスを利用して取得される。映像画像はリフレクティブユーザインタフェースを生成するためにＧＵＩの要素に組み込まれるリフレクション効果を生成すべく操作される。リフレクション効果はＧＵＩの異なる要素毎にカスタマイズされ、要素中に示されるサイズ、形状及び材質について変化する。リフレクション効果の生成は、更に周囲環境中の光源に反応するシャドウを含む本発明のリフレクティブユーザインタフェースにシャドウ及びハイライトを組み込むことを含む。

発明概念の一態様に従ってユーザ及びユーザの周囲環境のリフレクションを含めることで、自然な「感じを与える」本発明のユーザインタフェースが得られる。当業者には理解されるように、ＧＵＩ設計においてよく知られている多数のオブジェクトの表面などの多数の表面は、現実世界における人々とその周囲オブジェクトなどの環境のリフレクションを自然に生成する。そのような表面として、クロム、ガラス、つや消し金属、水などが挙げられるが、これらに限定されない。現実世界では、人々は、このようなオブジェクトの表面上でリフレクションを見ることを期待し、また、人々の存在感覚はそのようなリフレクションを見ることにある程度依存する。上記リフレクションなどの各種視覚的キューをユーザに提供することによって、本発明のユーザインタフェースは周囲環境の中へ固定される。本発明のシステムの一実施形態は、ユーザを直接見ている人間の顔（ユーザ自身の顔）を特徴付けるユーザインタフェースを生成する。顔のリフレクションは、完全に予期される論理的な方法で動作する。この実施形態では、ユーザの顔のリフレクションをＧＵＩ中に含めることで、基礎をなすアプリケーションに対するユーザの所有意識をシンプルに高め、あるいはそれがユーザのためにカスタマイズされたという感覚を与えることができる。更に、上記引用されたパトナム及びドーナス（非特許文献２および３）により示唆されるように、ユーザは三次元（３Ｄ）ビューワで自身のより現実的な描写を見ることで、システムにより共感することが可能となり得る。

本発明の一実施形態において、本発明のリフレクティブユーザインタフェースは、現実の空間とコンピュータインタフェースを有用な方法で混合する試みの中で、ユーザ及びユーザを取り巻く現実の環境の自然なリフレクションを組み込む。本発明のリフレクティブユーザインタフェースの本実施形態の目標は、ユーザの現実世界とコンピュータインタフェースの人工世界とを統合させることにある。この本発明による統合の効果は、よりカスタマイズされた感覚をユーザに与える、よりダイナミックなユーザインタフェースである。実際には、ユーザの周囲環境がＧＵＩに組み込まれるために、本発明のリフレクティブユーザインタフェースは閲覧される位置に応じて実質上異なって見える。これにより、ユーザによって知覚される本発明のインタフェースの現実感が増大する。

一実施形態において、ユーザはコンピュータモニタなどのディスプレイの前に着座し、カメラはディスプレイの視点からユーザ及び周囲環境を捕捉すべくディスプレイ付近に配置される。カメラ１０２、ディスプレイ１０４及びユーザ１０６の位置は図１に示されており、カメラ１０２からのビュー２００は図２に示されている。ビュー２００は、ユーザ２０２及び周囲環境２０４の画像を含む。

本発明の一実施形態では、カメラ１０２は、ユーザ２０２及び周囲環境２０４の映像（あるいは多数の静止画像）をリアルタイムで捕捉し、ディスプレイ１０４に接続されたコンピュータ１０８（処理手段）へ映像信号（あるいは多数の静止画像信号）を送る。一実施形態において、コンピュータ１０８は、コンピュータ可読指示を実施可能なプロセッサ及びメモリを備えたデスクトップ又はラップトップコンピュータである。コンピュータ１０８はカメラ１０２から映像信号（あるいは多数の静止画像信号）を受信する。本発明の一実施形態において、映像信号又は多数の静止画像信号は、次いでアドビフラッシュ（Ａｄｏｂｅ Ｆｌａｓｈ、アドビシステムズ、カリフォルニア州サンホセ）などのマルチメディア・オーサリング・ツールを利用して開発されたソフトウェアを利用して処理されてもよい。映像オブジェクトがフラッシュ・オーサリング環境において作成され、次いで映像信号に付加される。これにより、複数の画像が得られる。次いで映像オブジェクトは各種リフレクション効果を生成すべく操作され、次いで生成されたリフレクション効果はボタン、ウィンドウ及びフレームなどＧＵＩの諸要素に組み込まれる。映像を操作するための各種方法を以下に更に詳細に説明する。リフレクション効果がＧＵＩに組み込まれると、リフレクティブユーザインタフェースがディスプレイ１０４上で作成され、ユーザに表示される。例えばユーザが自らの動作に対応するリフレクション効果を即座に見られるように、映像捕捉、及びリフレクティブユーザインタフェースの操作及び表示は、リアルタイムで行われる。リフレクティブユーザインタフェースをリアルタイムで表示することで、ユーザにとって現実的に見え、コンピュータインタフェースと現実の空間との混合を更に支援するユーザ及び周囲環境の自然なリフレクションが提供される。

当業者は、カメラ１０２が任意の画像又は映像ソースを利用して実施できることを認識するであろう。更に、画像操作ソフトウェアは、例えばＪａｖａ（登録商標）（サン・マイクロシステムズ（カリフォルニア州サンタクララ））などの各種異なるプログラミング言語及び環境を利用して実施することができるがこれらに限定されない。

本発明の一実施形態のシステムは適当な(convincing)リフレクティブユーザインタフェースをレンダリングするために入力映像信号に関して何も知る必要がないことから、上記実施形態は信号処理を必要としない。従って、本発明の一実施形態のシステムは多くの計算能力を必要とせず、既存のデスクトップ又はラップトップコンピュータにおいて容易に実施される。

本発明の一実施形態において、グラフィカルユーザインタフェース（例えばウィンドウ、ボタン及びフレーム）の全ての態様は、対応するＧＵＩ要素が表す材質に適切なリフレクション効果を受信する。例えば、図３に示されたグラフィカルユーザインタフェース３００では、球状ガラスボタン３０２は適切に変形されたリフレクション３０４を有する。一方、マット仕上げの平面パネル３０６は、より透き通った、変形のないリフレクション３０８を有していてもよい。

リフレクティブユーザインタフェースの多くの実施形態がＧＵＩのタイプに応じて可能となる。図３に示される第一実施形態では、現実的なリフレクション効果３１２を示す仮想ミラー３１０が展開されている。ミラーが移動すると、当該仮想物体に対するユーザの空間的関係が強化される。オブジェクトを通過する自らのリフレクションを見ているユーザは、ユーザがオブジェクトに対して移動しているか、オブジェクトがユーザに対し移動している視覚的キューである。更に、アプリケーションのフレーム３１４は更にリフレクション効果３１６を表す。

本発明概念の別の実施形態において、図４に示されるように、メディア・プレイヤー・アプリケーションＧＵＩは第一の非リフレクションＧＵＩ４０２、及び第二のリフレクティブユーザインタフェース４０４によって示されている。示された実施形態では、ボタン４０６はガラス面タイプのリフレクション効果４０８を示し、ウィンドウ枠４１０は変形されたリフレクション効果４１２を示し、ＧＵＩのパネル面４１４は薄れていく、部分的に可視的なリフレクション効果４１６を示す。

更に別の実施形態では、図５に示されるように、３Ｄビューワ・アプリケーション５００が表される。フレーム５０２は変形されたリフレクション効果５０４を含む。ボタン５０６はミラー状のリフレクション効果５０８を含む。会議用テーブル５１０は、ユーザのミラー状のリフレクション効果５１２を更に含む。追加のリフレクション効果として、金属製ドア枠５１４上のリフレクション効果５１６、及び絵画５１８のガラス上のリフレクション効果５２０が挙げられる。

各実施形態では、ユーザのリフレクションの自然な処理が本技術を適用する上で重要である。リフレクションの自然な処理は、反転画像、不透明度、拡大／縮小及び遠近感の４つの成分へ分けることができる。

リフレクション効果の重要な要素は、ユーザ及び環境のリフレクションが映像キャプチャデバイスによって捕捉される映像画像から常に反転される点にある。現実のリフレクションが常に反転画像であるため、ＧＵＩ中のリフレクション効果も反転されるべきである。

不透明度はリフレクション効果を創出する別の要素である。より光沢のある、よりリフレクションの大きい面は不透明度の高いリフレクションを有する一方、よりマットな表面は、不透明度の低いリフレクションを通じてそれらの基礎をなす色を示す。例えば、図３の仮想ミラー３１０は１００％の不透明リフレクション３１２を有する一方、図５の扉枠５１４の光沢金属面は３０％の不透明リフレクション５１６を有することができる。リフレクションの不透明度がシミュレートされた表面材質によって変更されない場合、リフレクション効果が低減し、リフレクションの現実感が低減し、映像オーバレイのようになる。リフレクションにおける不透明度の変化はユーザに現実感のある外観を提供すべく完全に正確である必要はなく、単に基礎をなす「仮想」材質によって導かれればよい。

リフレクション効果を拡大／縮小することで、ＧＵＩ中のオブジェクト間の奥行の知覚が可能となる。ＵＩにおいて別のオブジェクトの下になっているオブジェクトは、上のオブジェクトのリフレクションと比較してリフレクションが縮小されている。本明細書中で議論される全ての例示的ＵＩは拡大／縮小されたリフレクションを利用する。拡大／縮小されたリフレクションは、ＵＩの前景要素を背景層から分ける、奥行きの微妙な感覚を提供する。この効果は、恐らく図５の例示的３Ｄにおいて最も顕著である。同図では、会議室の３Ｄレンダリング後部の絵画５１８の表面に関するリフレクション５２０が前景における会議用テーブル５１０に関するリフレクション５１２と比べて著しく小さい。リフレクション効果の著しい拡大／縮小に伴ってリフレクションの拡大／縮小が変更されない場合、リフレクションの現実感が薄れ、更に映像オーバレイのように見えるようになる。既述の如く、リフレクションにおける拡大／縮小（拡大縮小率）はユーザに対し現実的な外観を提供するために完全に正確である必要はなく、単に基礎をなす「仮想」オブジェクトによって導かれればよい。

遠近感はＧＵＩに適切にリフレクションを表すための別の成分である。シミュレートされたリフレクションは図３のボタン３０２などの、ＧＵＩ中の任意のシミュレートされた３Ｄ形状を考慮して変形される必要がある。不透明度及び拡大／縮小の成分と同様に、遠近感のひずみは完全に正確である必要はなく、単に基礎をなす形状によって導かれればよい。

不鮮明度はこれらのシミュレートされたリフレクションの別の潜在的な成分である。ユーザが鏡面を見ていない限り、表面は完全なリフレクションを作成しない。材料のタイプによりリフレクションは幾分不鮮明化され得る。上記操作に加えて、リフレクション効果全体に不鮮明化の効果を加えることで、リフレクションの外観の自然さが増大する。ユーザはリフレクション画像が多くの点で不完全であることを予期しており、不鮮明度成分は上記成分（すなわち不透明度、拡大／縮小及び遠近感）の使用は完全に正確である必要がないことの更なる証拠である。

自然なリフレクションの個々の成分において言及されたように、満足な結果を達成するのに完全な正確性は必要とされない。現在のユーザインタフェースが３Ｄ形状及び材料を抽象する方法と概ね同一の方法でより有用なユーザインタフェースを生成すべく更に慎重にリフレクションを統合する必要がある。一実施形態において、リフレクション効果は操作がリフレクションの正確性の低下を要求する場合であっても、ＧＵＩの全体的な有用性を強化すべく操作される。この抽出は、視覚的混乱（ｖｉｓｕａｌ ｃｌｕｔｔｅｒ）を防止することによりＧＵＩの有用性を強化する。リフレクション画像をこのように操作することは、正確なリフレクション画像を生成するためにカメラを利用することに特有の制限をマスクする。長時間にわたりユーザのリフレクションを操作することで、画面の特定の領域へユーザの注意を引くことができる。例えば、重要なダイアログボックスはそれらの画像をより強くリフレクションし得る。

一実施形態において、ユーザ及び周囲環境の映像は二次元（２Ｄ）又は３Ｄの、コンピュータにより生成されたユーザインタフェースに自然なリフレクションとして現れるべく操作される。映像はカメラ又は同様の映像キャプチャデバイスによって捕捉できる。図１０（以下に議論する）に示されるように、ユーザの周囲環境は最終合成リフレクション効果において強化されあるいは置換されることがある。一実施形態において、１つ以上の例示的映像がＧＵＩ上で操作されオーバレイされる。映像はテクスチャマッピングを利用してＧＵＩ上に投影されてもよい。更なる実施形態において、映像はシーンの背景へインポートされ、こうしたリフレクションをサポート可能な３Ｄグラフィックエンジンを利用して、前景のＧＵＩへリフレクションされる。このような実施形態では、映像はテクスチャ・マップとして１つ以上のオブジェクトに付随され、あるいは仮想光源からの１つ以上のオブジェクト上に投影されることができる。

更なる実施形態において、リフレクティブユーザインタフェースは、コンピュータモニタに表示される従来のウィンドウ、アイコン、メニュー、ポインティングデバイス（ＷＩＭＰ）インタフェース、３Ｄシーン又は他の設計である。リフレクティブユーザインタフェースは、リフレクション画面又は背面投射型スクリーンなどの表面に投影されてもよく、あるいはヘルメットやゴーグルなどの立体視装置を利用して見ることもできる。

リフレクティブユーザインタフェースは、複数のユーザが同一のＧＵＩを異なって知覚するように設計されてもよい。ユーザのリフレクション（及びその近辺の環境のリフレクション）を組み込むＵＩがそれぞれのユーザで異なるために、複数のユーザにより１レベルでのユニークな知覚がなされる。ユーザがアバターとして表示され、全ての他のユーザがアバターとして表示される仮想空間では、各参加者の共有のシーンの知覚は異なる。このことは、大部分の仮想環境（例えばＳｅｃｏｎｄＬｉｆｅ、Ｑｗａｑ及びＷｏｒｌｄ ｏｆ Ｗａｒｃｒａｆｔ）の場合のように、共有シーンのレンダリングがローカルに扱われる場合に当てはまる。

本発明のリフレクティブユーザインタフェースは、図６に示される仮想現実インタラクションなどの３Ｄインタフェースの大きな潜在的可能性を有する。一般的に、ユーザはアバターによって３Ｄ環境における存在感覚を付与される。図６に示されるようなＰＯＶ（Ｐｏｉｎｔ Ｏｆ Ｖｉｅｗ）インタフェースにおいて、ユーザは一般的に自らのアバターの後頭部６０２又は画面の最下部から発生する体とは離れた腕６０４を見る。リフレクティブ３Ｄインタフェースは、仮想空間における存在感覚をユーザに与える目的で、アバターとしてユーザが表示される必要性を低減しあるいは除去する。このようなユーザのより自然な表示は、仮想環境におけるユーザの経験を強化する。ユーザはもはや仮想環境中で自身を見ているのではなく、仮想環境に更に浸るようになる。

図７に示される実施形態では、静的３Ｄビューワ（ユーザの視点が変化しないもの）が、ハイブリッド・リアリティ通信手段の基礎である。ユーザは、各種表面にこれらの自然なリフレクションを含めることによりハイブリッド環境中の存在感覚を付与される。他のユーザ７０２はアバターとして示される。この環境における全ての参加者が類似の経験を有する。すなわち、仮想空間にリフレクションされた自分自身を見ると共にアバターとして示された全ての他の参加者を見る。ユーザは、会議室７０４、会議用テーブル７０６及び他のユーザ７０２の３Ｄ描写を有する仮想会議に参加する。会議室にいるという現実感をユーザに与えるために、リフレクション効果は会議用テーブル、扉枠７１０及び絵画７１２に対するリフレクション効果７０８を含む画像中の多くの表面に実施される。

このシステムの全てのユーザが異なる第四の壁（ここではユーザ背部に物理的に存在する壁）を知覚することから、たとえそのグローバル構造が非ユークリッドであっても、この空間は各個人ユーザにとって論理的に見える。１つの潜在的な実施形態では、３Ｄ通信モデルは、異なるユーザ間の通信を可能とする。最後に、当該技術分野で知られているように、アバターを制御する方法が更に可能である。

一実施形態において、入力映像画像を自然なリフレクションに見せかける効果は、経時と共に何らかの制限のある「カメラ動作」（例えば、シーンをパンする）を可能とすべく変更できる。

更に、３Ｄビューワの極めて静的でないバージョンも可能である。この実施形態では、リフレクションは、入力映像信号の射影テクスチャマッピングによって、又は３Ｄレンダリングエンジンによりサポートされる何らかの他の方法によってシミュレートされる（非特許文献７）。投影マッピング効果のシミュレーションは、図８に示されるように、独自の特徴並びにいくつかの制限を明らかにする。映像画像のエッジは、確実なリフレクションを生成すべく仮想カメラ（３Ｄ空間中の仮想カメラ）の視野に比例して拡張される必要がある。画像が単純に拡大／縮小されると、リフレクションは当該シーンに対し不釣り合いとなる。図９に示されるように、このことを行う方法の一つは単純に映像画像のエッジを拡張する方法である。図１０に示されるように、ユーザの画像１００２はその環境１００４から抽出され、新しい環境に配置されることができる。次いで、合成画像１００６は３Ｄシーン１００８へ投影される。前景／背景抽出技術は粗い合成を生ずる。リフレクションのアルファ（透過度）が十分に低い場合（すなわちリフレクションが極めて明るい場合）、いずれにしても多くの詳細がこの状況で失われることから、このことは十分である。高いアルファリフレクションが望まれる場合、クロマキー技術が必要とされる。

合成に利用される背景プレートは、
１）異なるカメラにより捕捉されたユーザ環境の別の広角ビュー
２）非関連画像（例えば海岸シーン、都市スカイライン又はアートワーク）
３）３Ｄ空間にある仮想カメラにより捕捉された３Ｄシーンの逆のアングル・ビュー
を含むことが可能である。

例えばＯｐｅｎ ＧＬなどの多くの３Ｄ環境において、かなり自然なリフレクションが可能である。これを利用すると、上記方法と概ね同一の方法にて修正されるユーザの画像１００２は、（３Ｄ空間中の）ＰＯＶカメラ１０１２の背部にある大きい平面１０１０にマップされる。この方法は、よりプロセッサ集約的であるが、最も現実的な効果を生ずる。

ＶｉｒｔｕＳｐｈｅｒｅなどのバーチャルリアリティシステムは、ユーザを模擬環境に可能な限り完全に浸すことを目指している（非特許文献８）。これらのシステムにおいて、３Ｄ環境はユーザの着用するヘルメットによって立体的に表示される。このようなシステムにリフレクション効果を含めることは、このようなシステムのメーカー及びユーザによって求められる全体的に浸される感覚を著しく強化する。このことは娯楽と訓練シミュレータの両方に当てはまる。リフレクションは、シングルユーザ及びグループのいずれに由来するかに関わらず、シミュレーションの現実感及び予測不可能性を著しく強化する。ユーザグループ（領域(spheres)がネットワーク化される）のために、この効果は非特許文献９に記載されているようなそれらの社会的存在を強化することで、共同体の感覚を強化する。このことは、軍事訓練シミュレータ又は法執行訓練シミュレータにおいて特に有用であり得る。

上記方法は更にユーザの行動に影響を及ぼすことがある。現在、「グリーフィング（嫌がらせ）」を行うこと、あるいは３Ｄ環境で故意に著しい混乱を発生させることが頻繁に起こっている。このような混乱は、関係のないキャラクター画像を大量に表示させるといった攻撃的な、あるいは馬鹿馬鹿しいものであり得る。ある場合には、これらの混乱により３Ｄ環境をホストするシステムがクラッシュする。単に一組の目を表示するだけでユーザがよりよく行動するよう影響することがある。増加した「存在」及び共感の感情は更に肯定的に行動に影響を及ぼすことがある。システムが画像を記録していることを知るだけで更に行動に影響を及ぼし得る。グリーフィングは、「オンライン」又は仮想のキャラクターに注意を引きながら、現実のアイデンティティを隠蔽したい人によって行われる。

ユーザの仮想リフレクションを特に操作し、次にグラフィカルユーザインタフェースに組み込むことにより、このシステムは、有用なフィードバックを行うためのグラフィカルユーザインタフェースの視覚的アピール及び能力を増加させる新規な方法を提供する。ユーザは、強化された所有感覚及び存在感覚を付与される。

リアルタイム映像解析は、リフレクティブユーザインタフェース設計において将来的に重要な特徴であると証明されるであろう。上記又は他の運動トラッキングを組み込むことで、従来のキーボード・マウス設定にサポートされるヒューマン・コンピュータ・インタラクションよりも自然なヒューマン・コンピュータ・インタラクションを組み込んだＵＩを作成することが可能である。現在の実施形態では、システムにより捕捉された画像に基づいてシステムが決定を行うことはない。映像は事前に定義された効果をレンダリングするために単に捕捉され、処理される。他の実施形態では、一例において、画像解析を行うことで、「仮想」シャドウを投影し仮想ハイライトを形成すべく使用される主要光源がユーザ環境のどこにあるかを決定できる。

リフレクティブユーザインタフェースは、更にＧＵＩの各種態様にシャドウ効果の描写を含んでいてもよい。シャドウは、ＧＵＩ要素の背部に投影されているシャドウをシミュレートするためにウィンドウ、ボタンなどのＧＵＩ要素上に示される。図１１は、リフレクション効果１２０６に加えてシャドウ１２０２がＧＵＩ要素１２０４上に示される場合のリフレクティブユーザインタフェース１２００の一実施形態を示している。

別の実施形態では、ダイナミックシャドウ効果及びハイライト効果は、周囲環境中の光源又は最も明るいスポットの位置を識別し、最も明るいスポットに対応するリフレクティブユーザインタフェース中にシャドウ及びハイライトを作成することにより実施できる。この実施形態は、入力映像ストリーム（リフレクション生成に利用されるものと同一のストリーム）を分析することにより、シャドウ及びハイライトを生成する。ストリームは多数のセグメントを有するグリッドに分割され、グリッドの各セグメントは絶えずポーリングされる。各セグメントはセグメントがシャドウを投影するに足る明るさを有するか否かに関して投票を行う。全てのセルがポーリングされると投票が集計され、集計において到達した量だけ投影しているオブジェクトと置換される。ハイライトは、新たに投影されたシャドウの中心から外れた方向を「示す」ようにシャドウを投影しているオブジェクトの中心周りに回転される。シャドウが投影されない場合（すなわち、強い光源がない場合）、シャドウ及びリフレクションのアルファ値は０である。

上記光源を計算する方法は、効果的なシャドウ又はハイライト効果を達成するために最小限の処理を要求すべく設計される。当業者は、計算の要求及び誤差の程度において異なる光源を検出する方法が多数存在することを認識するであろう。しかし、上記方法は、本明細書中に記載されたアプリケーションに好適な、計算時間が最小限で誤差の程度が許容範囲の効果的なシャドウ及びハイライト効果を生成する。

図１２に示される一例では、オリジナル映像１３００は、周囲環境１３０４においてユーザ１３０６付近に位置する光源１３０２を含む。システムは画像を反転させ、リフレクション効果を生成するために利用されるリフレクション画像１３０８を正確な向きとすべく映像画像を操作する。リフレクション画像１３０８の最も暗い領域及び最も明るい領域を決定するために、映像信号が濃度マッピングを利用して処理される。次いで、システムは、シャドウ１３１２の位置が、リフレクション画像１３０８内に位置する光源１３０２の対向位置となるように、ＧＵＩ要素１３１４の特定のエッジに沿ったシャドウ１３１２を含むリフレクティブユーザインタフェース１３１０を生成する。更に、光源１３０２付近のＧＵＩ要素１３１４はハイライト効果１３１６を有していてもよく、この場合ＧＵＩ要素１３１４は光源１３０２に対向するエッジに沿って輝度を増す。頭部又は目をトラッキングする代わりに、ユーザにとってより現実感のあるシャドウ効果を生成すべく信号処理及び濃度マッピングが利用される。しかし、信号処理はプロセッサ集約的で、性能及びリフレクティブユーザインタフェースを利用するアプリケーションに影響する可能性がある。リフレクティブユーザインタフェース全体の性能を犠牲にしないために、シャドウの正確性を低下させてシャドウを「投影する」のに必要な計算能力レベルを下げてもよい。

図１３は、本発明の方法の実施形態を実施可能なコンピュータ／サーバシステム１４００の実施形態を示すブロック図である。システム１４００はコンピュータ／サーバ・プラットホーム１４０１、周辺機器１４０２及びネットワークリソース１４０３を含む。

コンピュータプラットフォーム１４０１は、コンピュータプラットフォーム１４０１の各種部分間又は部分内で情報を通信するためのデータバス１４０４又はその他の通信機構、及び情報を処理し、他の計算及び制御タスクを行うためにバス１４０４と接続されるプロセッサ（ＣＰＵ）１４０５を含んでいてもよい。コンピュータプラットフォーム１４０１は、更に、各種情報並びにプロセッサ１４０５により実行される指示を記憶するための、バス１４０４に接続されたランダムアクセスメモリ（ＲＡＭ）などの揮発性記憶装置１４０６又は他の動的記憶装置を含む。揮発性記憶装置１４０６は、更に、プロセッサ１４０５が指示を実行する間に一時変数又は他の中間情報を記憶すべく利用されてもよい。コンピュータプラットフォーム１４０１は、基本入出力システム（ＢＩＯＳ）並びに各種システム構成パラメータなどの、プロセッサ１４０５のための静的情報及び指示を記憶するためにバス１４０４に接続された読み取り専用メモリ（ＲＯＭ又はＥＰＲＯＭ）１４０７又はその他の静的記憶装置を更に含んでもよい。磁気ディスク、光ディスク又はソリッドステート・フラッシュメモリデバイスなど持続性記憶装置１４０８が設けられ、情報及び指示を記憶すべくバス１４０４に接続される。

コンピュータプラットフォーム１４０１は、コンピュータプラットフォーム１４０１のシステム管理者又はユーザへ情報を表示するための陰極線管（ＣＲＴ）、プラズマディスプレイ又は液晶ディスプレイ（ＬＣＤ）などのディスプレイ１４０９にバス１４０４を介して接続されてもよい。英数字及びその他のキーを含む（キーボードなどの）入力デバイス１４１０はプロセッサ１４０５に対し情報及びコマンド選択を通信すべくバス１４０４に接続される。別のタイプのユーザ入力デバイスとして、プロセッサ１４０５に対し指示情報及びコマンド選択を通信し、及びディスプレイ１４０９上のカーソル移動を制御するためのマウス、トラックボール又はカーソル方向キーなどのカーソル制御デバイス１４１１が挙げられる。一般的に、この入力デバイスは、デバイスが平面上で位置を指定することを可能とする２つの軸、すなわち第一軸（例えばｘ軸）及び第二軸（例えばｙ軸）に２つの自由度を有する。

外部記憶装置１４１２は、コンピュータプラットフォーム１４０１に追加あるいはリムーバブルな記憶容量を提供すべくバス１４０４を介してコンピュータプラットフォーム１４０１に接続されてもよい。コンピュータシステム１４００の一実施形態において、外部リムーバブル記憶装置１４１２は他のコンピュータシステムとの間でのデータ交換を促進すべく利用されてもよい。

本発明は、本明細書中に記載された技術を実施するためのコンピュータシステム１４００の使用に関する。実施形態では、本発明のシステムはコンピュータプラットフォーム１４０１などのマシン上に存在してもよい。本発明の一実施形態によれば、本明細書中に記載された技術は、揮発性メモリ１４０６に含まれる１つ以上の指示の１つ以上のシーケンスをプロセッサ１４０５が実行することに応答してコンピュータシステム１４００によって実行される。このような指示は、持続性記憶装置１４０８などの別のコンピュータ可読媒体から揮発性メモリ１４０６に読み込まれてもよい。揮発性メモリ１４０６に含まれる指示のシーケンスが実行されると、プロセッサ１４０５は本明細書中に記載されたプロセスステップを実行する。別の実施例では、本発明を実施するために、ハードワイヤード回路をソフトウェア命令の代わりにあるいはソフトウェア命令と組み合わせて利用できる。従って、本発明の実施形態はハードウェア回路とソフトウェアの任意の特定の組合せに制限されない。

本明細書中で使用される用語「コンピュータ可読媒体」は、実行するためにプロセッサ１４０５に指示を提供することに関連する任意の媒体を指す。コンピュータ可読媒体は、本明細書中に記載された方法及び／又は技術のいずれかを実施するための指示を伝送可能な機械可読媒体の一例である。上記媒体は数多くの形態をとることができ、例えば不揮発性媒体、揮発性媒体及び伝送媒体が挙げられるが、これらに限定されない。不揮発性媒体は、例えば記憶装置１４０８などの光学ディスク又は磁気ディスクを含む。揮発性媒体は、揮発性記憶装置１４０６などのダイナミックメモリを含む。伝送媒体は、データバス１４０４を含むワイヤを含む同軸ケーブル、銅線及び光ファイバを含む。伝送媒体は、更に電波と赤外線データ通信の間に生成される波などの音波又は光波の形態をとることが可能である。

コンピュータ可読媒体の一般的な形態として、例えばフロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ又は任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、せん孔カード、紙テープ、穴のパターンを有する他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、フラッシュドライブ、メモリカード、他のメモリチップ又はカートリッジ、後述する搬送波、あるいはコンピュータが読み取ることのできる任意の他の媒体が挙げられる。

各種形態のコンピュータ可読媒体は、実行するために１つ以上の指示の１つ以上のシーケンスをプロセッサ１４０５に搬送することに関係してもよい。例えば、指示は、最初に遠隔コンピュータから磁気ディスク上で搬送されてもよい。あるいは、遠隔コンピュータはダイナミックメモリに指示をロードし、モデムを利用して電話線上の指示を送ることが可能である。コンピュータシステム１４００にローカルなモデムは、電話線上でデータを受け取り、データを赤外線信号に変換すべく赤外線トランスミッタを利用できる。赤外線検出器は、赤外線信号で搬送されたデータを受け取ることが可能であり、適切な回路はデータバス１４０４にデータを配置できる。バス１４０４は、揮発性記憶装置１４０６にデータを搬送し、プロセッサ１４０５は揮発性記憶装置１４０６から指示を検索し実行する。揮発性メモリ１４０６によって受け取られた指示は、プロセッサ１４０５によって実行される前後に、持続性記憶装置１４０８に必要に応じて記憶されてもよい。指示は、当該技術においてよく知られている各種ネットワークデータ通信プロトコルを利用して、インターネットを通じてコンピュータプラットフォーム１４０１へダウンロードされてもよい。

コンピュータプラットフォーム１４０１は、データバス１４０４に接続されたネットワーク・インタフェースカード１４１３などの通信インタフェースを更に含む。通信インタフェース１４１３は、ローカルネットワーク１４１５に接続されるネットワークリンク１４１４に二方向のデータ通信カップリングを提供する。例えば、通信インタフェース１４１３は、対応するタイプの電話線にデータ通信接続を提供するデジタル総合通信サービス綱（ＩＳＤＮ）カード又はモデムであってもよい。別の例として、通信インタフェース１４１３は、互換性を有するＬＡＮにデータ通信接続を提供するローカルエリアネットワーク・インタフェースカード（ＬＡＮ ＮＩＣ）であってもよい。よく知られている８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇなどのワイヤレスリンク及びブルートゥースが更にネットワーク実施に利用できる。任意のそのような実施において、通信インタフェース１４１３は、多様な情報を表すデジタルデータストリームを搬送する電気信号、電磁気信号又は光学信号を送受信する。

通常、ネットワークリンク１４１３は１つ以上のネットワークを介して他のネットワークリソースにデータ通信を提供する。例えば、ネットワークリンク１４１４は、ローカルネットワーク１４１５を介してホストコンピュータ１４１６又はネットワークストレージ／サーバ１４２２への接続を提供してもよい。更に又はあるいは、ネットワークリンク１４１４は、ゲートウェイ／ファイアウォール１４１７を介してインターネットなどのワイドエリアネットワーク又はグローバルネットワーク１４１８に接続されてもよい。従って、コンピュータプラットフォーム１４０１は遠隔ネットワーク記憶装置／サーバ１４１９など、インターネット１４１８上の任意の場所に位置するネットワークリソースにアクセス可能である。他方、コンピュータプラットフォーム１４０１は、ローカルエリアネットワーク１４１５及び／又はインターネット１４１８上の任意の場所に位置するクライアントによってもアクセス可能である。ネットワーククライアント１４２０及び１４２１は、プラットホーム１４０１に類似するコンピュータプラットフォームに基づいて実施されてもよい。

ローカルネットワーク１４１５及びインターネット１４１８はいずれもデジタルデータストリームを搬送する電気信号、電磁気信号又は光学信号を利用する。コンピュータプラットフォーム１４０１との間でデジタルデータを搬送する、各種ネットワークを介した信号、ネットワークリンク１４１４上の及び通信インタフェース１４１３を介した信号は、情報を搬送する搬送波の例示的形態である。

コンピュータプラットフォーム１４０１は、インターネット１４１８及びＬＡＮ１４１５、ネットワークリンク１４１４及び通信インタフェース１４１３を含む各種ネットワークを介して、プログラムコードを含むメッセージ及び受信データを送信可能である。インターネットの例において、システム１４０１がネットワークサーバとして機能する場合、システム１４０１はインターネット１４１８、ゲートウェイ／ファイアウォール１４１７、ローカルエリアネットワーク１４１５及び通信インタフェース１４１３を介してクライアント１４２０及び／又は１４２１上で実行されるアプリケーションプログラムのための要求されたコード又はデータを送信してもよい。同様に、他のネットワークリソースからコードを受信してもよい。

受信されたコードは受信されると同時にプロセッサ１４０５によって実行されてもよく、及び／又は後で実行されるべく持続性記憶装置１４０８又は揮発性記憶装置１４０６にそれぞれ記憶されてもよく、あるいは他の不揮発性記憶装置に記憶されてもよい。このように、コンピュータシステム１４０１は搬送波の形態でアプリケーションコードを取得してもよい。

本発明の各種態様は、単独で又は本発明の他の態様との組合せにおいて、ウィンドウズ（登録商標）ｘｐ環境で動作するコンピューティング・プラットフォーム上で実行されるＣ＋＋コードで実施できる。しかし、本明細書中で提供される本発明の態様は、他のオペレーティングシステム環境中で作動するのに適した他のプログラミング言語で実施されてもよい。更に、本方法は任意のタイプのコンピューティング・プラットフォームにおいて実施可能である。コンピューティング・プラットフォームは、パーソナルコンピュータ、ミニコンピュータ、メインフレーム、ワークステーション、ネットワーク分散コンピューティング環境又は分散コンピューティング環境、荷電粒子ツールに対し分離され、一体化され、あるいはこれと通信するコンピュータプラットフォームなどが挙げられるがこれらに限定されない。更に、本発明の態様は、ハードディスク、光学読取及び／又は書込記憶媒体、ＲＡＭ、ＲＯＭなどのコンピューティング・プラットフォームに対し取外可能な又は一体化された任意のメモリ媒体において提供される機械可読コードにおいて実施可能である。更に、機械可読コード、又はその一部がワイヤード又はワイヤレスネットワークを通して送信されてもよい。

最後に、本明細書中に記載されたプロセス及び技術は任意の特定の装置と本質的に関連せず、構成要素を任意に適宜組み合わせることで実行可能であることを理解されたい。更に、各種タイプの汎用デバイスを本明細書中に記載された教示に従って利用できる。本明細書中に記載された方法ステップを実行する専用の装置を構築することは更に有利であり得る。本発明を特定の例に関して記載したが、これらは本発明を何ら制限するものではなく、あくまで例示を目的としている。当業者は、ハードウェア、ソフトウェア及びファームウェアの各種組合せが本発明の実行に適することを認識するであろう。例えば、記載されたソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、シェル、ＰＨＰ、Ｊａｖａ（登録商標）など、各種プログラミング言語又はスクリプト言語で実施できる。

本発明の各種代表的実施形態をある程度詳細に記載したが、当業者は、本明細書及び特許請求の範囲に記載された本発明の主題の精神又は範囲から逸脱することなく、示された実施形態に対し多数の変更を行うことが可能である。直接的又は間接的に本明細書中に記載された方法では、各種ステップ及び作用は、１つの可能な作用順序で記載されている。しかし、当業者は、本発明の精神及び範囲から逸脱することなくステップ及び作用の並べ替え、交換又は除去が可能であることを認識するであろう。更に、記載された実施形態の各種態様及び／又は構成要素は、本発明の機能の１つ以上を備えたユーザインタフェース中で単独に又は任意の組合せにおいて利用できる。上記説明に含まれる、あるいは添付図面に示される全ての事柄はあくまで例であり、本発明を制限しないものとして解釈されるべきである。

１０２ カメラ
１０４ ディスプレイ
１０８ コンピュータ
３００ グラフィカルユーザインタフェース

Claims (21)

1. ユーザ及び周囲環境のリアルタイムリフレクションをグラフィカルユーザインタフェースに組み込むシステムであって、
   前記システムは、
   ユーザ及び周囲環境の映像をリアルタイムで捕捉するための映像キャプチャデバイスと、
   前記映像キャプチャデバイスから映像を受信し、リフレクション効果を生成するために映像を操作する処理手段であって、リフレクティブユーザインタフェースを生成するために前記グラフィカルユーザインタフェースの少なくとも１つの要素へ前記リフレクション効果を組み込む処理手段と、
   前記リフレクティブユーザインタフェースをユーザにリアルタイムで表示するディスプレイと、
   を含み、
   前記リフレクション効果の少なくとも一部をユーザに表示する、
   リフレクション組み込みシステム。
2. 前記処理手段はテクスチャマッピングを利用して前記グラフィカルユーザインタフェース上に前記映像をオーバレイすることにより、前記リフレクション効果を前記グラフィカルユーザインタフェースの前記少なくとも１つの要素に組み込む請求項１に記載のリフレクション組み込みシステム。
3. 前記グラフィカルユーザインタフェースの前記少なくとも１つの要素はウィンドウ、フレーム、ボタン又はアイコンを含む請求項１に記載のリフレクション組み込みシステム。
4. 前記処理手段は前記グラフィカルユーザインタフェースに示された材質の種類からリフレクションをシミュレートするために前記リフレクション効果を変更する請求項１に記載のリフレクション組み込みシステム。
5. 前記処理手段は前記グラフィカルユーザインタフェースの前記少なくとも１つの要素の形状からリフレクションをシミュレートするために前記リフレクション効果を変更する請求項１に記載のリフレクション組み込みシステム。
6. 前記処理手段は前記周囲環境を削除及び置換する請求項１に記載のリフレクション組み込みシステム。
7. 前記処理手段は前記リフレクティブユーザインタフェースを三次元環境に組み込む請求項１に記載のリフレクション組み込みシステム。
8. 前記処理手段はシーンの背景へ映像をインポートし、三次元グラフィックエンジンを利用して前景へ映像をリフレクションする請求項７に記載のリフレクション組み込みシステム。
9. 前記グラフィカルユーザインタフェースはウィンドウ、アイコン、メニュー又はポインティングデバイスインタフェースを含む請求項１に記載のリフレクション組み込みシステム。
10. 前記グラフィカルユーザインタフェースはシーンの三次元表示を含む請求項１に記載のリフレクション組み込みシステム。
11. 前記ディスプレイは前記リフレクティブユーザインタフェースを複数のユーザに表示し、前記複数のユーザの各々は前記リフレクティブユーザインタフェースを異なって知覚する請求項１０に記載のリフレクション組み込みシステム。
12. 前記処理手段は前記グラフィカルユーザインタフェースの前記少なくとも１つの要素へシャドウ効果を組み込むことにより、リフレクティブユーザインタフェースを生成する請求項１に記載のリフレクション組み込みシステム。
13. 前記シャドウ効果は前記周囲環境中の光源を識別することにより生成される請求項１２に記載のリフレクション組み込みシステム。
14. 前記処理手段は前記グラフィカルユーザインタフェースの前記少なくとも１つの要素へハイライト効果を組み込むことにより、リフレクティブユーザインタフェースを生成する請求項１に記載のリフレクション組み込みシステム。
15. 前記処理手段は前記周囲環境中の光源を識別することにより前記ハイライト効果を組み込む請求項１４に記載のリフレクション組み込みシステム。
16. ユーザ及び周囲環境のリアルタイムリフレクションをグラフィカルユーザインタフェースに組み込む方法であって、
    前記方法は、
    ユーザ及び周囲環境の映像をリアルタイムで捕捉し、
    映像キャプチャデバイスから映像を受信し、
    リフレクション効果を生成すべく前記映像を操作し、
    リフレクティブユーザインタフェースを生成すべく前記リフレクション効果を前記グラフィカルユーザインタフェースの少なくとも１つの要素に組み込み、
    前記リフレクティブユーザインタフェースをリアルタイムでユーザに表示する、
    ことを含み、
    少なくとも前記リフレクション効果の一部をユーザに表示する、
    リフレクション組み込み方法。
17. 前記リフレクション効果は前記グラフィカルユーザインタフェースのフレーム、ボタン又はアイコンに組み込まれる請求項１６に記載のリフレクション組み込み方法。
18. 前記リフレクション効果は前記グラフィカルユーザインタフェースの前記少なくとも１つの要素へシャドウ効果を組み込むことにより生成される請求項１６に記載のリフレクション組み込み方法。
19. ユーザ及び周囲環境のリアルタイムリフレクションをグラフィカルユーザインタフェースに組み込む機能をコンピュータに実現させるためのプログラムであって、
    前記機能は、
    ユーザ及び周囲環境の映像信号をリアルタイムで受信し、
    リフレクション効果を生成すべく映像を操作し、
    前記リフレクション効果を前記ＧＵＩの少なくとも１つの要素に組み込み、
    組み込まれた前記リフレクション効果を利用してリフレクティブユーザインタフェースを生成する、
    ことを含む、プログラム。
20. 前記リフレクション効果は前記グラフィカルユーザインタフェースのフレーム、ボタン又はアイコンに組み込まれる請求項１９に記載のプログラム。
21. 前記リフレクティブユーザインタフェースはシャドウ効果を前記グラフィカルユーザインタフェースの少なくとも１つの要素に組み込むことにより生成される請求項１９に記載のプログラム。