JP2008510254A - ポータブル拡張現実感デバイスおよびその方法 - Google Patents

Abstract

拡張現実感の体験を提供するように構成されたポータブルデバイスが提供される。前記ポータブルデバイスは、実世界のシーンを表示するように構成された表示画面を有する。前記デバイスは、前記表示画面に関連付けられた画像キャプチャ装置を有する。前記画像キャプチャ装置は、前記実世界のシーンを表している画像データをキャプチャするように構成されている。前記デバイスは、前記実世界のシーンを表している前記画像データを分析するように構成された画像認識論理回路を有する。前記画像認識論理回路に応答する画像生成論理回路が含まれる。前記画像生成論理回路は、前記実世界のシーンに追加画像を取り入れるように構成されている。拡張現実感環境を提供するコンピュータ可読記録媒体およびシステムも提供される。

Description

本発明は、一般に拡張現実感アプリケーションに関し、より詳細には、拡張現実感アプリケーションを拡張するために、拡張現実感アプリケーションと画像認識機能とを組み合わせることに関する。

拡張現実感（augmented reality：ＡＲ）とは、空間的に位置を合わせた仮想オブジェクト（三次元モデル、二次元テクスチャ、文字による説明など）を、ユーザの環境に追加することによって、ユーザの現実の環境を拡張しようとするものである。その目的は、仮想オブジェクトが現実の環境の一部であると感じさせることにある。ＡＲシステムのユーザは、通常は体に装着された（ヘッドマウントなど）特殊な表示装置を介して、拡張環境を体験する。

現在の拡張現実感システムは、よくある位置決め（registration）の問題、すなわち、コンピュータグラフィックを実世界のシーンに合わせ込むという課題を抱えている。例えば、複数のセンサを使用しているために、コンピュータグラフィックを実世界のシーンと一緒に誤って移動させてしまうという人為現象が発生する可能性がある。この人為現象は、複数のセンサの速度が異なることによる。更に、コンピュータグラフィックを実世界のシーンに取り入れる必要とともに、ヘッド追跡システムと実世界のシーンのキャプチャに使用するカメラ間の遅延によって、位置合せ／位置決めの不良の問題が生じる。この位置決めの問題は、画像を見ているユーザを不快にさせるくらい重大なものとなりうる。更に、拡張現実感システムは、携帯が不可能な複雑なシステムとなる傾向がある。したがって、このような拡張現実感システムのための実際的な民生用アプリケーションが存在しない。

この結果、先行技術の課題を解決して、拡張現実感の体験を提供することが可能なポータブルデバイスを提供する方法および装置を提供することが求められている。

概して、本発明は、表示装置およびカメラを有するポータブルデバイスが、拡張現実感エンターテイメント装置として機能できるようにする方法および装置を提供することによって、このニーズを満たす。本発明は、方法、システム、コンピュータ可読記録媒体または装置などの多くの方法で実施できる点を理解すべきである。以下に本発明のいくつかの発明の実施形態を記載する。

一実施形態では、拡張現実感の体験を提供するように構成されたポータブルデバイスが含まれる。前記ポータブルデバイスは、実世界のシーンを表示するように構成された表示画面を有する。前記デバイスは、前記表示画面に関連付けられた画像キャプチャ装置を有する。前記画像キャプチャ装置は、前記実世界のシーンを表している画像データをキャプチャするように構成されている。前記デバイスは、前記実世界のシーンを表している前記画像データを分析するように構成された画像認識論理回路を有する。前記画像認識論理回路に応答する画像生成論理回路が含まれる。前記画像生成論理回路は、前記実世界のシーンに追加画像を取り入れるように構成されている。

別の実施形態では、視聴者に提示される表示データを拡張する方法が提供される。前記方法は、画像キャプチャ装置によって前記表示データをキャプチャするステップから開始する。次に、前記キャプチャされた表示データが分析される。次に、前記キャプチャされた表示データ内のマーカが識別される。次に、前記マーカが識別されると追加表示データが定義される。次に、前記キャプチャされた表示データと前記追加表示データとが、前記画像キャプチャ装置の表示画面に提示される。

更に別の実施形態では、視聴者に提示される表示データを拡張するプログラム命令を有するコンピュータ可読記録媒体が提供される。前記コンピュータ可読記録媒体は、画像キャプチャ装置によって前記表示データをキャプチャするプログラム命令を有する。前記キャプチャされた表示データを分析するプログラム命令と、前記キャプチャされた表示データ内のマーカを識別するプログラム命令とが提供される。前記マーカが識別されると追加表示データを定義するプログラム命令と、前記キャプチャされた表示データと前記追加表示データとを、前記画像キャプチャ装置に関連付けられた表示画面に提示するプログラム命令とが含まれる。

更に別の実施形態では、携帯環境において情報を提供する方法が提供される。前記方法は、第１の場所において第１のオブジェクトの画像をキャプチャするステップから開始する。次に、前記第１のオブジェクトの前記画像に基づいて前記第１のオブジェクトのオブジェクト特性がアクセスされる。次に、第２の場所において第２のオブジェクトの画像がキャプチャされる。次に、前記第２のオブジェクトの前記画像に基づいて前記第２のオブジェクトのオブジェクト特性がアクセスされる。次に、前記第１のオブジェクトの前記オブジェクト特性と前記第２のオブジェクトの前記オブジェクト特性とが提示される。

別の実施形態では、ポータブルデバイスに情報を提供するプログラム命令を有するコンピュータ可読記録媒体が提供される。前記コンピュータ可読記録媒体は、第１の場所において第１のオブジェクトの画像をキャプチャするプログラム命令と、前記第１のオブジェクトの前記画像に基づいて前記第１のオブジェクトのオブジェクト特性にアクセスするプログラム命令と、を有する。第２の場所において第２のオブジェクトの画像をキャプチャするプログラム命令と、前記第２のオブジェクトの前記画像に基づいて前記第２のオブジェクトのオブジェクト特性にアクセスするプログラム命令とが提供される。前記第１のオブジェクトの前記オブジェクト特性と前記第２のオブジェクトの前記オブジェクト特性とを提示するプログラム命令が含まれる。

更に別の実施形態では、拡張現実感環境を提供するシステムが提供される。上記システムは無線ネットワークを有する。表示画面および画像キャプチャ機能を有するポータブルデバイスが提供される。前記ポータブルデバイスは、画像キャプチャ装置によってキャプチャされる画像データを分析するように構成された画像認識論理回路を有する。前記画像認識論理回路は、一致をみつけるために、前記画像データを、前記無線ネットワークを介してアクセス可能な画像データと比較するように更に構成されている。前記画像認識論理回路に応答する画像／音声生成論理回路が含まれる。前記画像／音声生成論理回路は、前記画像キャプチャ装置によってキャプチャされた前記データに、追加画像データを重ねオーディオクリップを取り入れるように構成されている。

本発明の他の態様および利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。

本発明は添付の図面と併せて以下の詳細な説明を読めば容易に理解できるであろう。図面において、同じ参照符号が同じ構造要素に使用されている。

改良された拡張現実感環境を提供するシステム、デバイスおよび方法について発明を記載する。しかし、本発明を、このような詳細な内容の一部または全てを用いなくても実施しうることは当業者にとって自明である。場合によっては、本発明を不必要にあいまいにすることのないよう、公知の処理操作は詳述していない。

本発明の実施形態は、娯楽および情報提供を目的とした、低コストの拡張現実感に関連する民生用アプリケーションを可能にするためのシステムおよび方法を提供する。一実施形態では、後述する機能を実行するように構成された表示装置、カメラおよびソフトウェアを有するポータブルデバイスが提供される。このポータブルデバイスの１つの代表的な例は、ユニバーサルシリアルバス（ＵＳＢ）２．０のカメラアタッチメントと、ユニバーサルメディアディスク（Universal Media Disk：ＵＭＤ）またはほかの適切な光ディスク媒体に配給されるアプリケーションソフトウェアと併用されるプレイステーション・ポータブル（ＰＳＰ）エンターテイメント製品である。しかし、本発明は、カメラ付き携帯電話またはカメラ付きＰＤＡにも適用することもできる。別の実施形態では、ポータブルデバイスは、ＰＳＰの標準オプションである無線ネットワークを使用することによって、更に機能拡張されてもよい。当業者であれば、拡張現実感（Augmented Reality：ＡＲ）とは、コンピュータグラフィックが、現実のシーンに追加情報を追加するように、コンピュータグラフィックと実際のビデオとを組み合わせる場合を指す一般的な用語であることは理解されよう。

本発明の一態様では、ユーザが、表示装置とカメラを有するポータブルデバイスを、実世界のシーンに向ける。カメラは、ユーザがポータブルデバイスを通して世界を見ているように、ポータブルデバイスにシーンを表示する。デバイスに記憶されているかまたは無線ネットワークを介してアクセスされるソフトウェアが、実世界の画像を表示し、画像処理技術を使用して、カメラの視野にある特定のオブジェクトを認識する。ポータブルデバイスは、この認識に基づいて、適切なコンピュータグラフィックを作成し、このグラフィックを、表示装置に表示されている実世界の画像の上に重ね合わせる。

デバイスが演算用のリソースの限られたポータブルハンドヘルドデバイスである場合、画像認識ソフトウェアが比較的容易に（すなわち、ポータブルデバイスの限られた処理能力に適した方法で）、オブジェクトを認識することができるように、特定のオブジェクトが使用されうる。代表的なオブジェクトの一部を、下記に記載する。ここに挙げたものが全てではなく、ここに記載した実施形態により、ほかの認識可能なオブジェクトが使用されてもよいことが理解されるべきである。

トレーディング用（collectable）または通常のトランプカードは、適切なオブジェクトの１つである。一実施形態では、トランプカードには、高コントラストで固定の色付きのデザインが描かれている。このデザインのグラフィックは、デバイスが画像認識ソフトウェアを使用して容易に認識できるものである。更に、このグラフィックは、デバイスがカードの向きを容易に決定できるように選択されうる。次に、ポータブルデバイスは、実像を撮影し、認識した特殊なグラフィックを除去して、これをコンピュータが生成した画像に置き換え、得られた実像とコンピュータグラフィックの合成画像を表示装置にユーザに向けて表示する。カードまたはカメラが移動すると、コンピュータグラフィックも同じように移動する。一実施形態では、アニメーション付きのキャラクタがカードに重ね合わされうる。別の実施形態では、本が使用されてもよい。カードと同様に、はっきりしたデザイン、即ちクリアなデザインが使用され、ポータブルデバイスが記録されているコンピュータグラフィックを重ね合わせてから、シーンをユーザに向けて表示する。

別の実施形態では、クリアなグラフィック画像が、コンピュータゲーム、インターネットまたはＴＶ放送のいずれかから、テレビ受像機（ＴＶ）に表示されてもよい。デバイスのソフトウェアアプリケーションによっては、後に詳しく説明するように、ポータブル表示装置上に、ユーザ毎に異なるコンピュータグラフィックが重ね合わされる場合もある。

更に別の実施形態では、デバイスを持っているユーザが、カメラアタッチメントによって標準バーコードを分析することによって、製品の追加情報を取得することができる。この製品の追加情報には、価格、サイズ、色、在庫数や、その他の任意の適切な物理属性または商品属性が含まれうる。別の実施形態では、ポータブルデバイスにより認識される特殊なグラフィックデザインを使用することによって、小売りパッケージにポータブルデバイスによってグラフィックを重ねて表示することもできる。更に、商品の置かれている店舗の無線ネットワークを介して、商品に関するカタログ情報が取得されうる。一実施形態では、ポータブルデバイスによってキャプチャされた画像データが使用され、無線ネットワークを介してアクセスされたデータのライブラリから、一致する製品が検索される。ここに記載した実施形態によって、ユーザは、特殊用途のレーザー読取り装置を使用することなく、バーコードから情報を取得できるようになることが理解されるべきである。また、ユーザがデバイスを所有し、それをもって店舗間を移動することもできる。これにより、ユーザは、ショッピング比較を容易に行うことができるようになる。また、デバイスが、店内で利用可能なバーコードリーダよりも高度なグラフィック機能を有していてもよい。一実施形態では、小売業者または製造業者が、製品情報のカタログが収録された光ディスク媒体を提供しうる。ユーザはそのディスクをデバイスに入れ、カメラをバーコードに向けて、詳細な製品情報を参照することができる。

音楽およびビデオの場合、バーコードを用いて、ポータブルデバイスから音楽のサンプルにアクセスしてプレイすることができ、これにより、バーコードの画像をキャプチャするだけで、ユーザがＣＤの一部を実際に視聴できるようになる。同様に、ＤＶＤおよびＶＨＳビデオの場合、デバイスの取り外し可能媒体に収録された製品カタログに、トレーラを記憶させることができる。ユーザがバーコードをキャプチャし、ポータブルデバイスが、キャプチャされた画像を処理して、これを、バーコードに関連付けられた対応するトレーラと照合すると、そのトレーラがユーザ向けに再生される。同様に、ビデオゲーム製品の場合は、ビデオゲームのデモを再生させることができる。製品レビュー、クロスプロモーションなど、ほかの用途も可能であることが理解されるべきである。更に、ポータブルデバイスが従来のスキャナとしてバーコードをスキャンしていないことが理解されるべきである。ポータブルデバイスは、キャプチャされたバーコード画像に対して画像処理を実行し、そのバーコードを、それと対応する画像と照合して、関連するデータにアクセスする。更に、店内無線ネットワークに接続されたＰＳＰ（無線ネットワークに対応）などのポータブルデバイスを用いれば、取り外し可能ディスク媒体の特殊なカタログは必要ない。この場合、カタログを、店内無線ネットワークによって直接提供することができる。

別の実施形態では、ポータブルデバイスは、サブの個人用表示装置として使用され、複数のユーザによって共有されるメイン画面と併用されてもよい。例えば、数人で１台のＴＶでビデオゲームをプレイしており、各プレーヤに固有の追加情報のためにポータブルデバイスを使用してもよい。同様に、ＴＶ放送の場合、家庭内の数人が１つの放送（例えばゲーム番組）を視聴しているが、各人が、自分の好みに応じて、自分のポータブルデバイスで異なる個人情報を見ている。ポータブルデバイスは、メイン画面から追加情報を取得するために使用することができる。例えば、スポーツゲームの場合、選択したプレーヤについて、プレーヤ関連の追加情報または統計情報を表示させることができる。メイン画面のグラフィックを、ポータブル表示装置のグラフィックと同期させることが必要となりうる。このための１つの方法は、無線ネットワークまたは放送を使用し、このネットワークを使用して各表示装置に情報を送信する方法である。別法として、ポータブル表示装置との同期を開始させるための、メイン画面から送信する視覚的な合図を使用する方法がある。このようにすれば、費用のかかる追加のネットワーク接続が必要なくなる。

図１は、本発明の一実施形態による拡張現実感アプリケーションで使用されうる、画像キャプチャ機能を有するデバイスの模式概略図である。ポータブルデバイス１００は、ナビゲーションボタン１０４と表示画面１０２を有する。デバイス１００は、メモリカード１０６と画像キャプチャ装置１０８を受け入れることが可能である。画像キャプチャ装置１０８は、実世界のシーンの画像をキャプチャするために電荷結合素子（charge couple device：ＣＣＤ）を有しうる。別の実施形態では、カメラ機能をオンチップで実行するためのアクティブピクセルアーキテクチャを使用する相補型金属酸化膜半導体チップによってカメラ機能が提供されてもよい。一実施形態では、デバイス１００は、画像キャプチャ機能を有するＰＳＰデバイスである。

図２Ａ，２Ｂは、図１のポータブルデバイスの側面図である。図２Ａは、メモリカードスロット１１０と表示パネル１０２を有するデバイス１００を示す。画像キャプチャ装置１０８は、デバイス１００の上面に配置されている。画像キャプチャ装置１０８は、差込み可能な装置であっても、デバイス１００に物理的に組み込まれていてもよいことが理解されるべきである。図２Ｂは、図１のデバイス１００の別の実施形態を示す。この場合、画像キャプチャ装置１０８は、デバイス１００の背面に配置されている。このため、表示画面１０２を見ているユーザは、画像キャプチャ装置１０８と同じ視角を有することができる。図に示すように、図２Ｂのデバイス１００もメモリカードスロット１１０を有する。ほかのユーザとの情報の交換のために、ユーザ同士でメモリカードを交換することができるという点が理解されるべきである。

図３は、本発明の一実施形態による拡張現実感アプリケーションで使用中の画像キャプチャ装置の模式概略図である。この例では、デバイス１００は、ユーザによって保持されており、コンピュータグラフィックによって拡張された実世界のシーン１０３が、表示画面１０２に表示されている。実世界のシーン１０３には、道路に隣接した建物と、背景に山の風景が表示されている。実世界のシーン１０３に取り込まれているコンピュータグラフィックは車１０５である。一実施形態では、ポータブルデバイス内の論理回路が道路、または道路上のマーカ（道路の境界線など）を認識して、シーン内に車を取り込む。図１〜３にはプレイステーション・ポータブル（登録商標）デバイスが図示されているが、ここに記載する実施形態は、カメラ機能を有するハンドヘルドデバイスであればどのようなものに採用されてもよい点に留意すべきである。他の適切なデバイスには、携帯電話、個人情報端末、ウェブタブレット、ポケットＰＣなどがある。

図４は、本発明の一実施形態による、実世界のシーンにコンピュータグラフィックを取り入れる更に別のアプリケーションを示す模式概略図である。この例では、ユーザは、表示装置１０２を有するポータブルデバイス１００を保持している。説明しやすいように、表示装置１０２が、デバイス１００に対して拡大表示されているという点に留意されたい。デバイス１００に組み込まれた画像キャプチャ装置が、表示装置１１２（テレビ受像器など）に表示中のシーンをキャプチャする。ここで、表示装置１１２は、表示中の木１１４を表示している。デバイス１００は、デバイス１１２に表示中の画像をキャプチャして、表示画面１０２に木１１４を表示する。デバイス１００は、表示画面１０２に表示中の木１１４のほかに、ほかのオブジェクトもシーンに取り込む。例えば、表示画面１０２に表示中のシーンに、太陽１１６が取り込まれる。前述のように、マーカ（例えば第１の表示装置のマーカ１１５）が、第２の表示装置に太陽１１６などのほかのオブジェクトの取り込みの引き金となる。デバイス１００は、木１１４またはマーカ１１５などのオブジェクトを認識し、その後、デバイス１００に表示中のシーンに、太陽１１６などの適切なコンピュータグラフィックを追加することによって、このようなオブジェクトまたはマーカの認識に応答することができる論理回路を有しうる点が理解されるべきである。更に、ポータブルデバイス１００に組み込まれた画像キャプチャ装置は、表示装置１１２上の変化するフレームを連続的にキャプチャし、これに応じて追加のオブジェクトを取り込むビデオキャプチャ装置であってもよい。前述のように、ポータブル表示装置との同期を開始させるために、メイン画面から送信される視覚的な合図が使用されうる。

図５は、本発明の一実施形態による、複数のユーザが、ハンドヘルドデバイスを使用して表示モニタを見ている状態を示す模式概略図である。この例では、表示装置１２０は１台の表示装置であるが、説明しやすいように、３つの異なる時点において表示されている。ユーザ１０１ａ〜１０１ｃは、各人が、自分のハンドヘルドポータブルデバイス１００ａ〜１００ｃを有する。ゲーム番組、コンピュータゲーム、スポーツ競技または一部の他の適切な表示が表示画面１２０に提示されうることが理解されるべきである。表示装置１００ａ，１００ｂ，１００ｃは、表示画面１２０に表示中の画像をキャプチャし、画像データまたはグラフィックをキャプチャされた画像に追加してユーザ１０１ａ〜１０１ｃに追加情報を与える。
一実施形態では、表示装置１２０に表示中のゲーム番組が各ユーザ１０１ａ〜１０１ｃによって視聴され、これにより、ユーザ１０１ａ〜１０１ｃは互いに対戦することができる。別の実施形態では、デバイス１００ａ〜１００ｃによってキャプチャされる表示画面１２０の表示は、各ユーザが自分の表示画面で見ている表示が若干変わるように、デバイス１００ａ〜１００ｃ内の論理回路によって分析されうるデータを有する。例えば、ジェスチャーゲームを例にとると、ユーザ１０１ａ〜１０１ｃの１人は正解にアクセスすることができるが、ほかのユーザは正解にアクセスすることはできない。この実施形態では、ユーザ１０１ａ〜１０１ｃに追加の機能を提供するために、テレビジョン放送システムを使用して、表示装置１２０によって表示中の表示データに追加データが取り込まれうる。基本的に、表示装置１２０に表示中の画像内に追加データを表示するよう、デバイス１００ａ〜１００ｃによって切り替えることができる。追加データは、表示装置１２０内のグラフィックによってトリガされ、このグラフックがポータブルデバイスの画像認識論理回路によって認識される。

図６Ａ，６Ｂは、本発明の一実施形態による、グラフィックデータを認識することが可能なポータブルデバイスの使用の更に別のアプリケーションを示す図である。この例では、ユーザは、表示画面１０２ａを有するポータブルデバイス１００ａを持っている。上で述べたように、表示画面１０２ａは、説明しやすいように拡大表示されている。デバイス１００ａは、店内ネットワーク１３１ａに接続可能である。デバイス１００ａは、製品１３０ａに関連付けられているバーコード１３２ａの画像をキャプチャする。デバイス１００ａは、バーコード１３２ａを認識し、店内ネットワーク１３１ａと無線通信することによって、アイテム１３０ａの特性に関する情報をダウンロードできるようになっている。デバイス１００ａが、バーコード１３２ａの代わりに、アイテム１３０ａが収納されている箱またはアイテム１３０ａ自体を認識してもよいことが理解されるべきである。次に、デバイス１００ａは、店内ネットワーク１３１ａと通信し、キャプチャされた画像データと店内ネットワーク１３１ａから取得したライブラリとを比較することによって、アイテム１３０ａの特性（例えば価格、サイズ、色など）を特定することができる。次に、ユーザは、店舗Ｙに移動し、デバイス１００ａを使用して、アイテム１３０ｂに関連する特性をダウンロードしうる。ここでも、バーコード１３２ｂ、アイテム１３０ｄの画像データまたはその収納容器が使用されて、アイテムの特性がアクセスされうる。この特性は、店内ネットワーク１３３ａから取得したどのようなカタログ特性であってもよい。次に、ユーザは、このデータから、店舗Ｘのアイテム１３０ａの特性と店舗Ｙのアイテム１３０ｂの特性とを比較することができる。このため、アイテム１３０ａと１３０ｂが同じアイテムの場合、ロケーション毎に比較しながらショッピングを行うことができる。

図７は、本発明の一実施形態による、ポータブルデバイスとカードゲームアプリケーションの使用を示す模式概略図である。この例では、ユーザは、カード１４０ｂ，１４０ｂの方にデバイス１００を向けている。カード１４０，１４０ｂは、シンボルまたはある種のグラフィックデータを有しており、これがデバイス１００内の論理回路によって認識されうる。例えば、カード１４０ａは画像１４２ａと数字１４２ｂを有し、これらが画像装置１００によって認識されうる。カード１４０ｂは、これもデバイス１００によって認識されうるバーコード１４２ｃとマーカ１４２ｄを有する。１つのアプリケーションでは、これらのマークは、最高のカードを決定するために、カードの値を示しうる。カード１４０ａ，１４０ｂのそれぞれの画像／マークがデバイス１００内の論理回路によって処理されると、表示画面１０２でシミュレーションされた対戦が行われ、その対戦では、勝者は、カード１４０ａ，１４０ｂのうちの高いほうに関連しうる。トレーディングカードの場合、ポータブルデバイス１００と、カードの認識可能な特殊なデザイン（カードの裏面にあることが多い）を用いて、コンピュータが生成した新しいグラフィックがカードに重ね合わされて、ポータブル表示装置に表示されうる。例えば、スポーツカードの場合、カードの運動選手またはチームが、実際の三次元表示に重ね合わされ、ボールを投げるなどのアニメーションが表示される。ロールプレイングゲームの場合、実物のカードを集めることがゲームの重要な部分となるように、カードとポータブルデバイスでのビデオゲームを統合することが可能である。この場合、プレーヤによってゲームのキャラクタがパーソナライズされ、その情報が無線ネットワークを介して、あるいは取り外し可能媒体（例えばメモリースティック（登録商標））を介して、他のプレーヤと交換することができる。

同様の技術を、名刺を拡張するために使用することができる。業務で（または個人で）使用する名刺に通常印刷される情報に加えて、特殊な識別用のグラフィックを追加してもよい。このグラフィックはその人物に関連付けられ、その人物に関する情報を参照しており、このような情報には、通常の連絡先情報のほか、写真、ビデオ、音声などがある。この個人情報は、取り外し可能媒体を介して交換されうる。別の実施形態では、その人物に関する情報を取得するために、固有のグラフィックが、無線ネットワークを介してオンラインデータベースにインデックス付けされる。この情報がアクセスされると、ポータブル表示装置に表示されているグラフィックに代えて重ね合わせるグラフィック（例えば人物の写真）が生成されうる。

図８は、本発明の一実施形態による、視聴者に提示される表示データを拡張するステップであるオペレーションを示すフローチャートである。この方法は、オペレーション１５０から開始し、第１の表示装置に表示データが提示される。この例では、この表示は、テレビ受像機、コンピュータモニタまたはその他の適切な表示装置に表示される。次に、オペレーション１５２において、表示装置の表示データが、画像キャプチャ装置によってキャプチャされる。例えば、上で説明した画像キャプチャ機能を有するポータブルデバイスは、画像キャプチャ機能（ビデオキャプチャ機能を含む）を有する代表的なデバイスの１つである。次に、オペレーション１５４において、キャプチャされた表示データが分析される。この分析は、ポータブルデバイス内の論理回路によって実行される。この論理回路は、ソフトウェアまたはハードウェア、またはこの両者の組み合せを有する。オペレーション１５６において、キャプチャされた表示データ内のマーカが識別される。マーカは、図４，７に示したマーカなど、適切なマーカであればどのようなものであてもよい。オペレーション１５８において、マーカが識別されると、追加表示データが定義される。追加表示データは、ポータブルデバイスの画像生成論理回路によって生成される。別の実施形態では、追加データが、無線ネットワークからダウンロードされてもよい。次に、オペレーション１６０において、キャプチャされた表示データと追加表示データが、画像キャプチャ装置の表示画面に提示される。

図９は、本発明の一実施形態による、携帯環境において情報を提供する方法におけるオペレーションを示すフローチャートである。この方法はオペレーション１７０から開始し、第１の場所において第１のオブジェクトの画像がキャプチャされる。例えば、この例では、第１の店舗にあるアイテムの画像がキャプチャされうる。操作１７２において、第１のオブジェクトの画像に基づいて第１のオブジェクトのオブジェクト特性がアクセスされる。例えば、第１のオブジェクトのオブジェクト特性を取得するために、店内で無線ネットワークがアクセスされうる。次に、オペレーション１７４において、ユーザが第２の場所に移動しうる。オペレーション１７６において、第２の場所において第２のオブジェクトの画像がキャプチャされる。オペレーション１７８において、第２のオブジェクトの画像に基づいて第２のオブジェクトのオブジェクト特性がアクセスされる。オペレーション１７２，１７８では、画像データを使用してオブジェクト特性がアクセスされており、レーザスキャンデータが使用されるわけではないことが理解されるべきである。オペレーション１８０において、第１のオブジェクトのオブジェクト特性と第２のオブジェクトのオブジェクト特性がユーザに提示される。このため、ユーザは、ビデオ画像データの認識と、店内ネットワークへのアクセスに基づいて、ポータブルデバイスを用いてショッピング比較を行うことができる。

図１０は、本発明の一実施形態による、ポータブルデバイス内の各種モジュールを示す模式概略図である。ポータブルデバイス１００は、中央処理装置（ＣＰＵ）２００、拡張現実感論理回路ブロック２０２、メモリ２１０、および電荷結合素子（charged couple device：ＣＣＤ）論理回路２１２を有する。前述のように、ＣＣＤ論理回路２１２の代わりに、相補型金属酸化膜半導体（complimentary metal oxide semiconductor：ＣＭＯＳ）画像センサが、カメラ機能をオンチップで実行してもよい。ＣＭＯＳ画像センサはＣＣＤよりも消費電力が少ないことを当業者は認めよう。各モジュールは、バス２０８を介して相互に通信している。拡張現実感論理回路ブロック２０２は、画像認識論理回路２０４と画像生成論理回路２０６を有する。拡張現実感論理回路ブロック２０２は、ここに記載した機能を実行するための論理回路を組み込んでいる半導体チップであってもよいことが理解されるべきである。別の実施形態では、拡張現実感論理回路ブロック２０２、画像認識論理回路２０４、および画像生成論理回路２０６について記載した機能が、ソフトウェアで実行されてもよい。その場合、メモリ２１０にコードが記憶されうる。

以上まとめると、上記の発明は、拡張された拡張現実感の体験を提供可能なポータブルデバイスについて記載している。システムが認識するマーカおよびグラフィックはコンピュータによって生成しているが、本発明は、コンピュータによって生成されたマーカに限定されないことが理解されるべきである。例えば、事前に作成されたシンボルの組およびユーザ定義可能なシンボルの組が生成されてもよく、これらは、画像キャプチャ装置のカメラが認識可能なように手描きされた場合であっても認識可能である。このようにして、プレーヤは、単純なシンボルを描くことによって、複雑な三次元コンピュータグラフィックを作成することができる。一実施形態では、プレーヤが、笑顔のキャラクタを描くと、これがデバイスによって認識されて、人気の漫画またはゲームのキャラクタが笑って表示される。ユーザは、ユーザ定義可能なデザインを用いて、これらのシンボルを使用して秘密通信を確立することもできる。

上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装オペレーションを使用してもよい点を理解すべきである。これらのオペレーションには、物理量の物理的なオペレーションを必要とするオペレーションが含まれる。この物理量は通常、記憶、転送、結合、比較などのオペレーションが可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行されるオペレーションは、生成、特定、決定または比較などと呼ばれることが多い。

上記した発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースのプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される。

本発明は、また、コンピュータ可読記録媒体上の計算機可読コードとして実施されてもよい。コンピュータ可読記録媒体は、コンピュータシステムによって後から読取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものであってもよい。コンピュータ可読記録媒体の例には、ハードディスク、ネットワーク接続記憶装置（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、コンピュータ可読記録媒体は、計算機可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。

上記に、本発明を明確に理解できるようにある程度詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。特許請求の範囲において、各種構成要素および／またはステップの順序は、請求項に明示的に記載されていない限り、特定のオペレーションの順序を示すものではない。

本発明の一実施形態による拡張現実感アプリケーションで使用されうる、画像キャプチャ機能を有するデバイスの模式概略図である。 図１のポータブルデバイスの側面図である。 図１のポータブルデバイスの側面図である。 本発明の一実施形態による拡張現実感アプリケーションで使用中の画像キャプチャ装置の模式概略図である。 本発明の一実施形態による、実世界のシーンにコンピュータグラフィックを取り入れる更に別のアプリケーションを示す模式概略図である。 本発明の一実施形態による、複数のユーザが、ハンドヘルドデバイスを使用して表示モニタを見ている状態を示す模式概略図である。 本発明の一実施形態による、グラフィックデータを認識することが可能なポータブルデバイスの使用の更に別のアプリケーションを示す図である。 本発明の一実施形態による、グラフィックデータを認識することが可能なポータブルデバイスの使用の更に別のアプリケーションを示す図である。 本発明の一実施形態による、ポータブルデバイスとカードゲームアプリケーションの使用を示す模式概略図である。 本発明の一実施形態による、視聴者に提示される表示データを拡張するオペレーションを示すフローチャートである。 本発明の一実施形態による、携帯環境において情報を提供するオペレーションを示すフローチャートである。 本発明の一実施形態による、ポータブルデバイス内の各種モジュールを示す模式概略図である。

Claims (38)

1. 拡張現実感の体験を提供するように構成されたポータブルデバイスであって、
   実世界のシーンを表示するように構成された表示画面と、
   前記表示画面に関連付けられ、前記実世界のシーンを表している画像データをキャプチャするように構成された画像キャプチャ装置と、
   前記実世界のシーンを表している前記画像データを分析するように構成された画像認識論理回路と、
   前記画像認識論理回路に応答し、前記実世界のシーンに追加画像を取り入れるように構成された画像生成論理回路と、を有するポータブルデバイス。
2. 前記画像キャプチャ装置は着脱可能である請求項１に記載のポータブルデバイス。
3. 前記画像キャプチャ装置は、前記表示画面より上の面、または前記表示画面の背後のいずれかに取り付けられている請求項１に記載のポータブルデバイス。
4. 前記画像認識論理回路は、前記実世界のシーンを表している前記データ内のマーカを識別するように構成されており、前記画像生成論理回路は、前記マーカの識別を前記画像認識論理回路に伝達するように更に構成されている請求項１に記載のポータブルデバイス。
5. 前記画像生成論理回路は前記マーカの前記識別を受けて前記追加画像を作成する請求項４に記載のポータブルデバイス。
6. メモリカードを挿入するためのメモリカードスロットと、
   無線ネットワークアクセス機能と、を更に有する請求項１に記載のポータブルデバイス。
7. 前記メモリカードスロットに挿入され、ほかのポータブルデバイスと共有されるように構成されたメモリカードを更に有する請求項６に記載のポータブルデバイス。
8. 視聴者に提示される表示データを拡張する方法であって、
   画像キャプチャ装置によって前記表示データをキャプチャするステップと、
   前記キャプチャされた表示データを分析するステップと、
   前記キャプチャされた表示データ内のマーカを識別するステップと、
   前記マーカが識別されると追加表示データを定義するステップと、
   前記キャプチャされた表示データと前記追加表示データとを、前記画像キャプチャ装置に関連付けられた表示画面に提示するステップと、を有する方法。
9. 前記表示データはテレビ受像機に表示されている請求項８に記載の方法。
10. 前記画像キャプチャ装置に結合されるポータブルデバイスがビデオゲームを実行可能である請求項８に記載の方法。
11. 前記マーカは手描きのものである請求項８に記載の方法。
12. 前記画像キャプチャ装置はビデオキャプチャ装置である請求項８に記載の方法。
13. 前記キャプチャされた表示データを分析する前記ステップは、
    前記キャプチャされた表示データを、前記画像キャプチャ装置に着脱可能に接続されたポータブルデバイスのメモリに記憶されているデータと比較するステップを有する請求項８に記載の方法。
14. 視聴者に提示される表示データを拡張するプログラム命令を有するコンピュータ可読記録媒体であって、
    画像キャプチャ装置によって前記表示データをキャプチャするプログラム命令と、
    前記キャプチャされた表示データを分析するプログラム命令と、
    前記キャプチャされた表示データ内のマーカを識別するプログラム命令と、
    前記マーカが識別されると追加表示データを定義するプログラム命令と、
    前記キャプチャされた表示データと前記追加表示データとを、前記画像キャプチャ装置に関連付けられた表示画面に提示するプログラム命令と、を有するコンピュータ可読記録媒体。
15. 前記表示データはテレビ受像機に表示されている請求項１４に記載のコンピュータ可読記録媒体。
16. 前記画像キャプチャ装置に着脱可能に接続されるポータブルデバイスがビデオゲームを実行可能である請求項１４に記載のコンピュータ可読記録媒体。
17. 前記マーカは手描きのものである請求項１４に記載のコンピュータ可読記録媒体。
18. 前記画像キャプチャ装置はビデオキャプチャ装置である請求項１４に記載のコンピュータ可読記録媒体。
19. 前記キャプチャされた表示データを分析する前記プログラム命令は、
    前記キャプチャされた表示データを、前記画像キャプチャ装置に着脱可能に接続されたポータブルデバイスのメモリに記憶されているデータと比較するプログラム命令を有する請求項１４に記載のコンピュータ可読記録媒体。
20. 携帯環境において情報を提供する方法であって、
    第１の場所において第１のオブジェクトの画像をキャプチャするステップと、
    前記第１のオブジェクトの前記画像に基づいて前記第１のオブジェクトのオブジェクト特性にアクセスするステップと、
    第２の場所において第２のオブジェクトの画像をキャプチャするステップと、
    前記第２のオブジェクトの前記画像に基づいて前記第２のオブジェクトのオブジェクト特性にアクセスするステップと、
    前記第１のオブジェクトの前記オブジェクト特性と前記第２のオブジェクトの前記オブジェクト特性とを提示するステップと、を有する方法。
21. 前記第１のオブジェクトの前記画像に基づいて前記第１のオブジェクトのオブジェクト特性にアクセスする前記ステップは、前記第１の場所においてローカル無線ネットワークにアクセスするステップを有する請求項２０に記載の方法。
22. 前記第２のオブジェクトの前記画像に基づいて前記第２のオブジェクトのオブジェクト特性にアクセスする前記ステップは、
    前記第２の場所においてローカル無線ネットワークにアクセスするステップと、
    前記第２のオブジェクトの前記画像を、前記ローカル無線に関連している画像ライブラリ内に記憶されている画像データと比較するステップと、
    前記第２のオブジェクトの前記画像と、前記画像ライブラリ内の画像データとの一致をみつけるステップと、を有する請求項２０に記載の方法。
23. 前記第１の場所と前記第２の場所とは別々の店舗である請求項２０に記載の方法。
24. 前記第１のオブジェクトの前記オブジェクト特性と前記第２のオブジェクトの前記オブジェクト特性とを提示する前記ステップは、前記第１のオブジェクトの価格と前記第２のオブジェクトの価格とを比較するステップを有する請求項２０に記載の方法。
25. ポータブルデバイスに情報を提供するためのプログラム命令を有するコンピュータ可読記録媒体であって、
    第１の場所において第１のオブジェクトの画像をキャプチャするプログラム命令と、
    前記第１のオブジェクトの前記画像に基づいて前記第１のオブジェクトのオブジェクト特性にアクセスするプログラム命令と、
    第２の場所において第２のオブジェクトの画像をキャプチャするプログラム命令と、
    前記第２のオブジェクトの前記画像に基づいて前記第２のオブジェクトのオブジェクト特性にアクセスするプログラム命令と、
    前記第１のオブジェクトの前記オブジェクト特性と前記第２のオブジェクトの前記オブジェクト特性とを提示するプログラム命令と、を有するコンピュータ可読記録媒体。
26. 前記第１のオブジェクトの前記画像に基づいて前記第１のオブジェクトのオブジェクト特性にアクセスする前記プログラム命令は、
    前記第１の場所においてローカル無線ネットワークにアクセスするプログラム命令を有する請求項２５に記載のコンピュータ可読記録媒体。
27. 前記第２のオブジェクトの前記画像に基づいて前記第２のオブジェクトのオブジェクト特性にアクセスする前記プログラム命令は、
    前記第２の場所においてローカル無線ネットワークにアクセスするプログラム命令と、
    前記第２のオブジェクトの前記画像を、前記ローカル無線に関連している画像ライブラリ内に記憶されている画像データと比較するプログラム命令と、
    前記第２のオブジェクトの前記画像と、前記画像ライブラリ内の画像データとの一致をみつけるプログラム命令と、を有する請求項２５に記載のコンピュータ可読記録媒体。
28. 前記第１の場所と前記第２の場所とは別々の店舗である請求項２５に記載のコンピュータ可読記録媒体。
29. 前記第１のオブジェクトの前記オブジェクト特性と前記第２のオブジェクトの前記オブジェクト特性とを提示する前記プログラム命令は、
    前記第１のオブジェクトの価格と前記第２のオブジェクトの価格とを比較するプログラム命令を有する請求項２５に記載のコンピュータ可読記録媒体。
30. 拡張現実感環境を提供するシステムであって、
    無線ネットワークと、
    表示画面および画像キャプチャ機能を有し、前記無線ネットワークにアクセスするように構成されたポータブルデバイスと、を有し、前記ポータブルデバイスは、
    画像キャプチャ装置によってキャプチャされる画像データを分析するように構成され、一致をみつけるために、前記画像データを、前記無線ネットワークを介してアクセス可能な画像データと比較するように更に構成された画像認識論理回路と、
    前記画像認識論理回路に応答し、前記画像キャプチャ装置によってキャプチャされた前記データに、追加画像データを重ねオーディオクリップを取り入れるように構成された画像／音声生成論理回路と、を有するシステム。
31. 前記追加画像データと前記オーディオクリップとは、前記無線ネットワークを介してダウンロードされる請求項３０に記載のシステム。
32. 前記画像キャプチャ装置によってキャプチャされる前記画像データは名刺であり、前記追加画像データは前記名刺の所有者の画像である請求項３０に記載のシステム。
33. 前記画像キャプチャ装置によってキャプチャされる前記画像データは、前記画像／音声生成論理回路または前記無線ネットワークのいずれかを介してアクセスされる複雑な三次元グラフィックに関連付けられている手描きのグラフィックを含む請求項３０に記載のシステム。
34. 前記追加画像データと前記オーディオクリップとは、音楽コンパクトディスクまたは映画のビデオクリップの一部を表している請求項３０に記載のシステム。
35. 前記無線ネットワークは小売店舗の範囲内に存在する請求項３０に記載のシステム。
36. 前記追加画像データと前記オーディオクリップとは、ビデオゲームの一部を表している請求項３０に記載のシステム。
37. 前記小売店舗のアイテムのカタログが前記無線ネットワークを介してアクセス可能である請求項３５に記載のシステム。
38. 前記追加画像データは、ビデオデータまたは静止画像のいずれかである請求項３０に記載のシステム。

Images