JP2008530676A - 取得した画像を使用したアクセスのための情報の格納 - Google Patents

Abstract

第１の情報と第１の画像の少なくとも第１の部分とを関連付けるための手段と、前記第１の画像の少なくとも第１の部分に対応する部分を含む第２の画像を使用して、関連付けられた前記第１の情報にアクセスするための手段と、を備える電子デバイス。
【選択図】図２

Description

本発明の実施形態は、取得した画像を使用してアクセスできるような情報の格納に関する。

ある特定の状況では、現実世界における場所に情報を付与することが望ましい場合がある。これは、現実世界のオブジェクトにバーコードまたはRFID（Radio Frequency Identification：無線周波数識別）タグを使用することによって、あるいは、情報をその世界の中の絶対位置と関連付けることによって達成されている。

しかし、情報を現実世界の位置およびオブジェクトに関連付けることができる代替的な機構を提供することが望ましい。

また、現実世界の位置またはオブジェクトの情報を、あるユーザーが「残し」、そのユーザーまたは別のユーザーがその情報を「収集する」ことができるような機構を提供することが望ましい。

発明の簡単な説明

第１の実施形態の一側面によれば、第１の情報と第１の画像の少なくとも第１の部分とを関連付けるための手段と、前記関連付けられた前記第１の情報にアクセスするために、前記第１の画像の少なくとも前記第１の部分に対応する部分を含む第２の画像を使用する手段と、を備える電子デバイスを提供する。単一の電子デバイスが両方の手段を備えること、すなわち、情報と画像とを関連付けること、および画像を使用して情報にアクセスすることができることに留意されたい。前記情報は、集中的に格納されることが可能であり、この場合、複数の当該デバイスが、画像を使用してコンテンツを配置すること、および画像を使用してコンテンツを取り込むことの両方を行うことができる。すなわち、配置および情報へのアクセスの両方が分散される。

前記第１の情報は、画像、ビデオ、または音声ファイルのような媒体とするか、または、例えばコンピュータの機能を実行するための命令とすることが可能である。

前記第２の画像の一部と前記第１の画像の第１の部分との間の対応関係は、必ずしも関連する第１の情報への自動的なアクセスを生じさせる必要はない。アクセスは、他の要因を条件とする場合がある。

前記第１の情報は、アクセスのために予め格納しておくか、またはアクセス時に直接生成することが可能である。

第１の実施形態の別の側面によれば、将来他の人がアクセスするための情報を格納する方法であって、第１の情報と、第三者が制御するデータベース内の第１の画像の少なくとも第１の部分とを関連付けることにより、前記第１の画像の少なくとも前記第１の部分に対応する部分を含む第２の画像を使用して、他の人が前記第１の情報にアクセスできるようにすることを含む、方法を提供する。

第１の実施形態の別の側面によれば、情報を格納するためのシステムであって、
それぞれが、複数の画像部分のうちの１つと、それぞれの情報とを関連付ける複数のエントリを有するデータベースを有するサーバーと、
第１の部分を含む第１の画像を第１の時間に取得するためのカメラと、データベースにおいて、前記第１の部分と第１の情報との関連付けを可能にするための手段とを備える、第１のクライアントデバイスと、
第２のクライアントデバイスであって、後の第２の時間に、前記第１の画像の少なくとも前記第１の部分に対応する部分を含む、第２の画像を取得するためのカメラと、データベースにおいて前記関連付けられた第１の情報にアクセスするために前記第２の画像を使用する手段と、前記アクセスされた第１の情報を出力するための出力手段と、を備える第２のクライアントデバイスと、を備えるシステムを提供する。

前記第１の部分は、前記第１の画像に関連付けられた領域の全てか、またはその一部であってよい。

本発明の本実施形態では、取得された「モデル」画像における特徴を使用して情報にインデックスをつける。次いで、後に取得された「シーン」画像が、以前に取得されたモデル画像に対応している場合（前記取得された「シーン」画像における特徴が、前記モデル画像の一部の特徴と等しいものとして認識される場合）は、前記対応するモデル画像によってインデックス付けされた情報が取り込まれる。

第２の実施形態の一側面によれば、第１の画像の複数の対象点と第２の画像内の対象点とをマッピングするホモグラフィを作り出すための方法であって、
ａ） 前記第１の対象点と前記第２の対象点との間に、一組の推定対応関係を生成することと、
ｂ） 前記生成された組から対応関係の加重サンプルを作成することと、
ｃ） 前記サンプリングした対応関係に対するホモグラフィを計算することと、
ｄ） 前記生成された組からのそのホモグラフィに対する支持度を決定するステップと、
ｅ） ｃ）乃至ｄ）を複数回繰り返すステップと、
ｆ） 最も支持された前記ホモグラフィを選択することと、を含む方法を提供する。

第２の実施形態の別の側面によれば、第１の画像の複数の対象点と複数の第２の画像のうちの少なくとも１つの対象点とをマッピングするホモグラフィを作り出すための方法であって、
ａ） 前記第１の対象点と第２の対象点との間に、一組の推定対応関係を生成することと、
ｂ） 前記生成された組から対応関係の加重サンプルを作成することであって、前記特定の推定対応関係をサンプリングする確率は、特定の推定対応関係を定義する前記第２の画像の前記対象点に対する確率の測度に依存することと、
ｃ） 前記サンプリングした対応関係に対するホモグラフィを計算することと、
ｄ） 前記生成された組からのそのホモグラフィに対する支持度を決定するステップと、
ｅ） ｃ）乃至ｄ）を複数回繰り返すことと、
ｆ） 複数回、前記第２の画像を変更してａ）に戻るステップと、
ｇ） 最も支持された前記ホモグラフィに関連付けられた前記第２の画像を選択することと、
ｈ） 前記選択された第２の画像に関連付けられた前記ホモグラフィを支持度する、前記選択された第２の画像の前記対象点のそれぞれに対する前記確率の測度を更新するステップと、を含む方法を提供する。

第３の実施形態の一側面によれば、第１の画像の多数の対象点と第２の画像内の対象点とをマッピングするホモグラフィを作り出すための方法であって、
ａ） 前記第１の対象点と前記第２の対象点との間に、一組の推定対応関係を生成することと、
ｂ） 前記生成された組から対応関係のサンプルを作成することと、
ｃ） 前記サンプリングした対応関係に対するホモグラフィを計算することと、
ｄ） 前記生成された組からのそのホモグラフィに対する支持度を決定するステップと、
ｅ） ｃ）乃至ｄ）を複数回繰り返すステップと、
ｆ） 最も支持された前記ホモグラフィを選択することと、
ｇ） 前記第１および第２の画像がマッチすることを検証することによって、前記ホモグラフィを検証するステップと、を含む方法を提供する。

第４の実施形態の一側面によれば、第１の画像の複数の対象点と第２の画像内の対象点とをマッピングするホモグラフィを作り出すための方法であって、
ａ） 前記第１の対象点と前記第２の対象点との間に、一組の推定対応関係を生成することと、
ｂ） 前記生成された組から対応関係のサンプルを作成することと、
ｃ） 前記サンプリングした対応関係に対するホモグラフィを計算することと、
ｄ） 推定対応関係のそれぞれのコストを決定することによって、前記生成された組からのそのホモグラフィに対する支持度を決定することであって、前記推定対応関係のコストは、その推定対応関係を定義する前記第２の画像の前記対象点に対する統計パラメータに依存するステップと、
ｅ） ｃ）乃至ｄ）を複数回繰り返すステップと、
ｆ） 最も支持された前記ホモグラフィを選択するステップと、
ｇ） 前記選択されたホモグラフィの下の前記推定対応関係のコストに基づいて、前記第２の画像の前記対象点に対する前記統計パラメータを更新することと、を含む方法を提供する。

第４の実施形態の別の側面によれば、第１の画像の複数の対象点と複数の第２の画像のうちの少なくとも１つの対象点とをマッピングするホモグラフィを作り出すための方法であって、
ａ） 前記第１の対象点と第２の対象点との間に、一組の推定対応関係を生成することと、
ｂ） 前記生成された組から対応関係のサンプルを作成することと、
ｃ） 前記サンプリングした対応関係に対するホモグラフィを計算するステップと、
ｄ） 推定対応関係のそれぞれからの支持度を決定することによって、前記生成された組からのそのホモグラフィに対する支持度を決定することであって、前記推定対応関係からの支持度は、その推定対応関係を定義する前記第２の画像の前記対象点に対する統計パラメータに依存するステップと、
ｅ） ｃ）乃至ｄ）を複数回繰り返すことと、
ｆ） 複数回、前記第２の画像を変更してａ）に戻るステップと、
ｇ） 最も支持された前記ホモグラフィに関連付けられた前記第２の画像を選択することと、
ｈ） 前記選択された第２の画像の前記対象点に対する前記統計パラメータを更新することと、を含む方法を提供する。

発明の実施形態の詳細な説明

以下、本発明の更なる理解のために、添付図面を一例として参照する。

図1は、複数の異なるユーザーのうちの１人が、その位置の画像を取り込むことによって、その世界内のあらゆる位置に情報（デジタルコンテンツ）を結合することができるシステム10を示す図である。デジタルコンテンツは、その位置に抽象的に存在し、その位置の画像を取り込むことによって、同じユーザーまたは異なるユーザーが収集することができる。

ユーザー3Aは、モバイル撮像デバイス2Aを使用して、ある位置の画像を取得する（撮影する）。モバイル撮像デバイス2Aは、本実施例では、ネットワークに対応しており、サーバー6に対するクライアントとして動作することができる。該装置は、ネットワーク4を経てサーバー6と通信する。撮像デバイス2Aは、例えば、モバイル携帯電話の電気通信ネットワーク4内で動作するモバイル携帯電話であってよい。

この例では、モバイル撮像デバイスは、メモリ12との書き込み/読み取りを行い、ネットワーク4と通信するトランシーバ13とのデータの送受信を行うプロセッサ11を備える。プロセッサ11は、マイクロホンのようなオーディオ入力デバイス17、キーパッドまたはジョイスティックのようなユーザー入力デバイス16、およびデジタルカメラ15からの入力コマンド/データを受信する。プロセッサ11は、ディスプレイ14およびスピーカのようなオーディオ出力デバイス18にコマンドおよびデータを提供する。撮像デバイス2Aの動作は、メモリ12からプロセッサ11にロードされたコンピュータプログラム命令によって制御される。コンピュータプログラム命令は、CD-ROMまたはフレキシブルディスクのようなコンピュータ可読の媒体または担体を介して提供するか、または携帯電話の電気通信ネットワークを介して提供することが可能である。

取得した画像は、次いでクライアント2Aからネットワーク4を介して、アップロードメッセージ（MMS：マルチメディアメッセージングサービスメッセージであってもよい）で、サーバー6にアップロードされる。送信元ユーザー3Aは、クライアントデバイス2Aを使用してネットワーク4を介してサーバー6と通信し、ターゲット領域は画像内に定義される。ターゲット領域は、次いでサーバー6で処理され、その位置に対するモデルユーザー画像キー（model user image key）を作成する。送信元ユーザー3Aは、取得した画像のターゲット領域に関連付けるべきデジタルコンテンツを定義する。このデジタルコンテンツは、クライアントデバイス2Aに格納されている場合にサーバー6にアップロードされる。サーバー6は、モデルユーザー画像キーをそれらの関連するデジタルコンテンツにリンクするデータベース8を備える。

同じユーザー3Aまたは異なるユーザー3Bは、その後に、それぞれの撮像デバイス2A、2Bを使用して、ある位置の画像を取得し、またその画像をリクエストメッセージ（MMSメッセージであってもよい）で、サーバー6に送信することによって、（もしあれば）その位置に関連付けられたデジタルコンテンツを取得することができる。サーバー6は、リクエストメッセージで受信した画像に対するシーンユーザー画像キー（scene user image key）を作成することによって、このメッセージに応答する。次いで、データベース8を検索して、シーンユーザー画像キーがデータベース8内に格納されたモデルユーザー画像キーに対応しているかどうかを調べる。対応関係がある場合は、データベース8によって対応するモデルユーザー画像キーにリンクされたデジタルデータが得られる。

非拡張現実デジタルコンテンツ（non-augmented reality digital content）の場合、シーンユーザー画像キーは、単に、取得したデジタルコンテンツをリクエストクライアントデバイス2A、2Bにダウンロードするためのトリガーとして作用する。拡張現実コンテンツ（augmented reality digital content）の場合、リクエストメッセージで受信した取得した画像は、取得したデジタルコンテンツを画像内に配置するための座標系として使用され、リクエストしているクライアントデバイスに拡張画像（augmented image）が返される。拡張現実コンテンツの場合、ユーザーは、デジタルコンテンツが定義されたときにデジタルコンテンツが現れる領域を定義する。この領域は、ターゲット領域に対応することが可能である。

特定のデジタルコンテンツが、ある位置に抽象的に関連付けられた場合、ユーザー3A、3Bのいずれかは、更なるデジタルコンテンツによって、その位置に関連付けられたデジタルコンテンツを拡張する（augment）ことができるようになる。その位置の画像が取得され、そして取得された画像は、クライアント2Aおよび2Bからネットワーク4を介してアップデートメッセージ（MMSメッセージであってもよい）によってサーバー6にアップロードされる。サーバー6は、アップデートメッセージで受信した画像に対するシーンユーザー画像キーを作成することによって、このメッセージに応答する。次いで、データベース8を検索して、シーンユーザー画像キーがデータベース8内に格納されたモデルユーザー画像キーに対応しているかどうかを調べる。対応関係がある場合は、データベース8によって対応するモデルユーザー画像キーにリンクされたデジタルデータが得られ、更なるデジタルコンテンツによって拡張される。

上述の説明では、ユーザー画像キーの作成がサーバー6で生じているが、クライアントデバイス2Aや2Bにこのプロセスを行わせることも可能であると理解されたい。また、システム10が記述されているが、本発明では、専ら単一のデバイス内で使用することも可能であると理解されたい。例えば、単一のデバイスは、そのデバイス内に格納されたデータベース6によって、クライアントおよびサーバーの両方として動作することが可能である。アップロードメッセージ、リクエストメッセージ、およびアップデートメッセージは、その結果、外部に送信されるMMSメッセージとは対照的に、デバイス内で送信されるメッセージとなる。

単一のデバイスが、撮像デバイスおよびクライアントデバイスとして動作することが可能であるが、他の実施形態では、別個のデバイスであってよいことを理解されたい。

本発明の実施形態を、図2乃至6に詳述する。

図2は、ユーザーが取得した「モデル」画像から新しいモデルユーザー画像キーを作成して、情報をこのキーに関連付けるためのプロセス20を示す図である。

ステップ21で、その世界内の新しい位置にデジタルコンテンツを配置するために、その位置の「モデル」画像を、ユーザー3Aが撮像デバイス2Aを使用して取得する。

ユーザーは、通常、デジタルコンテンツを、取得した画像内にあるオブジェクトまたは完全な画像ではなく取得した画像の一部に関連付けようとする。例えば、ユーザーは、コンテンツを画像内にあるサインまたはポスターに関連付けることを望む場合がある。ステップ22で、ユーザーは、デジタルコンテンツに関連付けるべきターゲット領域を定義する。

拡張されたコンテンツ（augmented content）が、このターゲットにおいて使用すべきものであり、描写時にコンテンツのアスペクト比を保たなければならない場合、ターゲット領域のアスペクト比、すなわちその幅と高さの比率を知っておかなければならない。この比率は、ユーザーが提供するか、またはターゲット領域の形状から推定することができる。撮像デバイス2Aがネットワーク化されたモバイルデバイスである場合、このデバイスを使用してターゲット領域を定義することが可能である。撮像デバイスがデジタルカメラである場合、取得した画像は、ターゲット領域の定義を行うため、デスクトップコンピュータまたは同様のものの上で動作するソフトウェアにロードされる。

ユーザー3Aは、4つの端点を画像上に配置することによって、取得した画像内の対象となるターゲット領域を手動で定義して、四辺形を定義することが可能である。これらの点は、例えば、ユーザーが四辺形の角をドラッグすることができる、単純なグラフィカルユーザーインターフェースを介して配置することが可能である。一実施形態では、携帯電話上の、ITU（International Telecommunication Union：国際電気通信連合）規格のキーパッドような、4つのキー（2、8、4、6）のキーパッドを使用して、現在選択している点を上下左右に移動させる。別のキー、例えば5のキーは、最後の選択の後に第1の角を再び選択することによって次の角を選択する。更なるキー、例えば0のキーは、そのターゲット領域が完成したことを示す。点を配置するための別の方法では、表示された十字カーソルが四辺形の端点を示すように、ユーザーに携帯電話を移動させ、キーを押して選択させる。携帯電話は、以前に取得した画像内のどの点が選択した角領域に対応するのかを決定する。

画像内の四辺形の構造体を見出して、それらのうちの1つ以上を潜在的なターゲット領域とするようなアルゴリズムを使用する半自動プロセスを用いることができる。ユーザーは、次いで、単純に1つの領域を受け入れるか、または他を選択して全く手動で領域を定義することができる。

ターゲット領域の四辺形の形状をユーザーが手動で定義する場合、手動選択プロセスを補助するために、所定の遠近イメージ（image perspective）と合致するものに限定することが可能である。取得した画像は、取得した画像内を平行な構造体が横切る「水平線（horizon）」を決定するように処理される。四辺形のターゲット領域の平行な側面は、それらも水平線を横切るように画像内に配置される。ステップ23で、ユーザーが直前に取得した画像を使用して、コンテンツデータベースにインデックスをつけるためのモデルユーザー画像キーを自動的に作成する。前の段階で定義されたターゲット領域内に含まれる画像の部分だけが、キーの作成に使用される。

画像キーは、取得した画像と、その画像を処理することによって取り出した対象点とを含む。本実施例では、画像の対象点に関連付けられた統計パラメータの他に、実施形態によっては、その世界内の画像の位置の記述も含む。

様々な方法を使用して対象点を決定することができる。例えば、下記非特許文献１は、画像の自己相関関数における最小の領域によって定義される対象点を使用する。対象点はまた、下記非特許文献２に記載されているように、スケール不変特徴変換（Scale-Invariant Feature Transform：SIFT）を使用して定義することも可能である。
HartleyおよびZisserman （"Multiple View Geometry in Computer Vision", Richard Hartley and Andrew Zisserman, Cambridge University Press, second edition, 2003） s4.8 "Distinctive Image Features from Scale-Invariant Keypoints" （David G. Lowe, International Journal of Computer Vision, 60, 2 （2004）, pp. 91-110）

統計パラメータは適応型（adaptive）である。それらには最初に初期値が割り当てられるが、モデルユーザー画像キーと将来の新しいシーンユーザー画像キーとのマッチングが成功したときに更新される。

画像を取得するときにユーザー3Aの位置が知られている場合、ステップ24で、その位置をモデルユーザー画像キーの一部として格納する。その位置は、例えば、現在の携帯電話のIDから、隣接する基地局を使用した三角測量から、全地球測位システム（Global Positioning System：GPS）を使用して、またはユーザー入力によって、モバイル携帯電話で導出することが可能である。

ステップ25で、ユーザー3Aは、取得した画像に関連付けるべきデジタルコンテンツを定義する。ユーザー3Aがどのようにデジタルコンテンツを指定するかは、アプリケーション固有である。格納のためのコンテンツを指定するときに、ユーザー3Aは、そのモバイルデバイス2A上に存在するコンテンツを選択することが可能である。このデジタルコンテンツは、ユーザーまたは第三者によって作成されたものであってよい。デジタルコンテンツは、スタティック画像（および状況に応じて、画像融合に必要とされるαマスク）、スタティック3Dモデル、ビデオ、アニメの3Dモデル、URLのようなリソースロケータ、音声、テキスト、データなどであってよい。

デジタルコンテンツが拡張現実内で使用すべきものである場合、ユーザーはさらに、撮像した位置のどこにデジタルコンテンツを出現させるべきかを指定する必要がある。ユーザーは、このために取得した画像上の四辺形のフレームを使用して、領域を別途定義することができる。なお、記述された実施形態では、ターゲット領域は、領域を定義するために使用される。

ステップ26で、デジタルコンテンツはデータベース8に格納され、作成されたモデルユーザー画像キーによってインデックスが付けられる。

図3は、ユーザーが取得したシーン画像を使用して、データベース8からデジタルコンテンツを取り込むためのプロセスを示す図である。

その世界の特定の位置に関連付けられたデジタルコンテンツを取り込むために、その位置の画像は、ステップ31で、ユーザー3A、3Bが撮像デバイス2A、2Bを使用して取得する。一般に、これはネットワーク化されたモバイルデバイス上で行われるが、十分に強力なネットワークレスのデバイス上で行うことも可能である。その場合、そのデバイスにデータベース8が格納され、そこで処理が行われる。

ステップ32で、シーンユーザー画像キーを、取得した画像を使用して作成する。プロセスは、取得した画像の一部（ターゲット領域）ではなく画像全体を処理して対象点を決定することを除いて、図2のステップ23で説明したものと同じである。画像を取得したときの撮像デバイスの現在位置が分かっている場合は、位置情報はその情報を含む。作成されたシーンユーザー画像キーは、リクエストメッセージでデータベース8に送信される。統計パラメータはシーンユーザー画像キー内に含めることができるが、モデル画像キーのためのものであることから、本実施形態には一般的に適合しない。

リクエストメッセージは、アプリケーション識別子を含むことも可能である。特定のアプリケーションは、関連するキーだけを考慮しなければならない場合に、データベース内のモデルユーザー画像キーの小さなサブセットにのみ関係する可能性がある。ステップ33にて示すように、アプリケーション識別子によって、このサブセットを識別することができる。例えば、宝捜しアプリケーション（treasure hunt application）では、データベースが他のアプリケーションのためのより多くのキーを含んでいても、ユーザーに少数の特定の位置を訪問させるだけでよい。関連するキーだけを考慮することによって、キーをマッチさせる計算負荷とエラーの可能性の両方が低減される。

受信した画像キーと比較すべきデータベース8内のモデルユーザー画像キーの数は、クエリー内のユーザー画像と同じか、または類似した位置である格納した画像キーだけを考慮することによって低減することが可能である。このプロセスをステップ34に示す。位置情報の使用は、アプリケーションに依存することが可能である。例えば、ユーザーが一般的な道路標識の画像を収集するゲームでは、アプリケーションは、標識の位置ではなくその外観だけを考慮する。

図3のステップ34はステップ33に続くが、他の実施形態では、ステップ34はステップ33に先行する場合がある。

現在のシーンユーザーキーとの比較に使用すべき、データベースからのモデルユーザーキーのサンプルは、結果的に、使用するアプリケーションによって、および/またはシーンユーザー画像キーに関連付けられた位置によって限定するか、または限定しないことが可能である。4つの選択肢を図に示す。

ステップ35では、ステップ32で作成したシーンユーザー画像キーと、データベース8からのモデルユーザー画像キーのサンプルからのモデルでユーザー画像キーとの間のマッチングの発見を試みる。データベースに格納されたモデルユーザー画像キーに対するシーンユーザー画像キーのマッチングは、有意な数のシーンユーザー画像キーの対象点と、データベース内に格納されたモデルユーザー画像キーのうちの1つにおける対象点とを合わせるホモグラフィ（H_ms）を見出すことを伴う。シーン画像は、モデル画像の全てのターゲット領域を含むことが可能であるが、必ずしも必要ではない。シーン画像は、適切な大きさのモデル画像を含むことしか必要としない。好適なプロセス40を図4に詳細に示す。ここでは、HartleyおよびZisserman s4.8の記述によるランダムサンプルコンセンサス（Random Sample Consensus：RANSAC）アルゴリズムおよびアルゴリズム4.6を使用し、その内容は参照することにより本明細書に組み込まれる。RANSACによって作り出されるホモグラフィは、同じ平面のある画像から別の画像までのピクセルをマッピングし、大きく異なる視点からのオブジェクトの認識を可能にする。

図4を参照する。ステップ41で、シーンユーザー画像キーの対象点（シーン対象点）と、データベース内に格納されたモデルユーザーキーのうちの最初の1つ（モデル対象点）との間の一組の推定対応関係を決定する。一般に、各シーン対象点を複数のモデル対象点に、またはその逆にマッチングさせることが可能である。各対象点に対して多くて1つのマッチングが存在するように、推定されるマッチングをフィルタ処理することが有用である。これは、最初に生じる最良のマッチングを有するリストに、推定されるマッチングを順序付けることによって行うことができる。このリストは、次いで、降順に並べられ、シーンおよびモデル対象点が遭遇したことが記録される。シーンまたはモデル対象点がすでに遭遇しているリスト内に、推定されるマッチングが見つかった場合、そのマッチングはリストから取り除かれる。

RANSACアルゴリズムは、ホモグラフィを推定するために設定される推定対応関係およびその推定と一致する対応関係に適用される。プロセスは繰り返され、繰り返し数Nは適応型である。ステップ42Aでループに入る。ループはステップ42Aに戻り、ループから出る基準が検証され、その基準は、ステップ42Aに戻る前のループの終わりに位置するステップ42Bにおいて適用される。

各ループの繰り返しでは、ステップ43Aで4つの対応関係のランダムサンプルが選択され、ステップ43BでホモグラフィHが計算される。次いで、計算したホモグラフィの下で、推定対応関係のそれぞれに対してコスト（距離）が計算される。コストは、計算されたホモグラフィを介してマッピングした後に、対象点とその推定対応対象点との間の距離を計算する。計算したホモグラフィに対する支持度は、ステップ43Cで、コストがある閾値未満である対象点（正常値）の数で測定される。ループから出た後に、ステップ44で、閾値レベルを超える最も支持されたホモグラフィを選択する。さらに、ステップ45を使用して、正常値の全てが与えられたホモグラフィの推定を改善することが可能である。支持度が閾値レベルを超えていない場合、プロセスはステップ48へ進む。

ステップ45の後のステップ46で、更なる検証フェーズを生じさせて、単なる対象点のマッチングではなく、シーンユーザー画像キーに関連付けられた画像（シーン画像）が、見出されたモデルユーザー画像キーに関連付けられた画像（モデル画像）にマッチすることを確認する。検証は、モデル画像のターゲット領域内のピクセルとシーン画像内の対応するピクセルとをマッチングさせることによって行われる。モデルピクセルとシーンピクセルとの間の対応関係は、以前に定義されたシーンに対するモデルのホモグラフィH_msによって定義される。我々の好適な実施形態は、画像輝度の正規化相互相関関数測度に基づいているが、これは光および色の変化に対して安定性が高いからである。正規化相互相関関数測度（Normalised Cross Correlation measure：NCC）は、次のように計算される。

ここで、I_m（x, y）は位置（x, y）におけるモデル画像ピクセルの輝度であり、I_s（x, y）は位置（x, y）におけるシーン画像ピクセルの輝度である。画像ピクセルの輝度は、単純にピクセル明度の平均であり、通常、I(x, y) = [R(x, y)+G(x, y)+B(x, y)]/3である。合計は、モデル画像内の全てのピクセルの次のような位置にわたって行われる。それらの位置は、（1）モデルのターゲット領域内に含まれており、（2）ホモグラフィH_msを使用してマッピングしたときのシーン画像の境界内に位置する。条件（2）は、シーン画像がモデルのターゲット領域の一部のビューしか含まない場合があるために必要となる。NCC測度が特定の閾値を超えていれば検証は成功である。我々の実装形態では閾値を0.92とした。検証が成功の場合、ステップ47でH_msが返される。検証が不成功の場合、プロセスはステップ48へ進む。

ステップ48で、モデル画像を次のモデル画像に更新し、プロセスはステップ41に戻る。ステップ41で、シーンユーザー画像キー（シーン対象点）と、新しいモデルユーザー画像キー（モデル対象点）との間の一組の推定対応関係を決定し、再びループ41Aに入る。ステップ48で、データベース内に未検証のモデルユーザー画像キーが残っていなければ、ステップ49に進み失敗を報告する。

したがって、RANSACプロセスは、選択したホモグラフィに対する支持度が閾値を超えるまで、またシーン画像と対応するモデル画像とが照合されるまで、データベース内の可能なモデルユーザー画像キーのそれぞれに対して繰り返される。このようなマッチングは、選択したホモグラフィに関連付けられたモデルユーザー画像キーとシーンユーザー画像キーとの間のマッチングを示す。

上述の説明では、N回の繰り返しが終了したときにだけループ41Aを出るものとしている。他の実施形態では、ステップ32Cで数えた繰り返し数が閾値を超えた場合に、ループ41Aの早期終了が可能である。本実施形態では、ステップ46での検証が失敗した場合、ループ41Aが早期終了していれば、プロセスはループ41A内のステップ42Bに進むが、ループ41Aが早期終了していなければ、ステップ48に進む。

図3に戻る。シーンユーザー画像キーとモデルユーザー画像キーとの間にマッチングが見出された場合、ステップ36（図4のステップ47）で、モデル画像キーの統計パラメータを更新する。次いで、ステップ37で、マッチしたモデルユーザー画像キーに関連付けられたデジタルコンテンツをデータベース8から取得する。

ステップ36での更新では、以下のモデル画像キーの統計を、以前成功したモデルのマッチングMから決定する。これらの統計を使用して、RANSACマッチングアルゴリズムの機能を改善する。

１．各モデル対象点に対する、モデル画像に戻ってマッピングしたときの、モデル対象点と対応するマッチング画像点との間の距離（コスト）の平均および分散。
２．あるモデル対象点がマッチしたシーン画像において正常値である頻度。

シーンへのモデルのマッチングが成功しているときには、モデル対象点とシーン対象点との間の対応関係、およびモデル座標をシーン座標にマッピングする推定したホモグラフィ（H_ms）が存在する。同様に、H_msの逆、すなわちH_smは、シーン座標をモデル座標にマッピングする。理想的状態では、このマッピングは、シーン対象点を、それらの対応するモデル対象点の正確な位置にマッピングする。実際には、この位置にはある程度の変動がある。各モデル対象点に対しては、モデル画像にマッピングし直したときの、対応するシーン画像点の位置の平均および分散を測定する。この統計はRANSACアルゴリズムにおいて使用され、モデル対象点とシーン対象点との間の推定されるマッチングが、ホモグラフィが与えられた正常値であるかどうかを決定する。RANSACアルゴリズムにおいて上述したように、モデルとシーン位置との間の距離（コスト）が特定の距離の閾値を超えていなければ、推定されるマッチングは正常値として分類される。固定された距離の閾値ではなく、測定した平均および分散を使用する。ホモグラフィによってモデル画像にマップされるときに、シーン対象点が平均の３標準偏差内にあれば、推定されるマッチングは正常値として分類される。

RANSACアルゴリズムは、モデル画像の各対象点に対して対応関係がマッチする頻度を記録および使用することによって改善することが可能である。対応関係がマッチする頻度とは、モデルユーザー画像キーの各対象点が、マッチングシーンユーザー画像キーの対象点との対応関係を有する頻度、すなわち、そのモデルのマッチングが成功しているときに、各モデル対象点が正常値として分類される頻度である。対応関係がマッチングする頻度は、図4のステップ47（図3のステップ36）で計算される。次いで、対応関係がマッチングする頻度は、マッチングするモデルユーザー画像キーの統計パラメータ内に格納される。ステップ43Aで作成される4つの対応関係のサンプルは、加重無作為抽出であってよい。モデルの対象点を選択する確率は、その対応関係がマッチする頻度に基づいて加重される。対応関係がマッチする頻度が高くなるほど、多く加重され、またその選択の確率が大きくなる。本実施形態では、加重サンプリングによって、良好なホモグラフィに必要な繰り返し数が平均で50回減少する。これはまた、マッチングプロセスから、および異なるシーン画像を伴う今後のマッチングプロセスから、誤りがあり信頼できないモデル対象点を除去する。対象点の加重無作為抽出を使用する場合、ステップ42Bで繰り返し数Nを計算するときに重みを考慮しなければならない。参考文献、HartleyおよびZissermanアルゴリズム4.5では、正常値の点が選択される確率wは、均一化された無作為抽出を前提とし、点の総数に対する正常値の数の割合として定義される。加重サンプリングを考慮するため、これは単に次のように再公式化される。

ここで、W_iは、i番目の対象点に関連付けられる重みである。全てのW_iが一定のとき、これは参考文献における元々の公式化と同じである。

図5は、ユーザーが取得した適切な画像が与えられたデータベース8内にすでにあるモデルユーザー画像キーに、新しいデジタルコンテンツを追加するためのプロセス50を示す図である。本プロセスは、図3で説明したものとほぼ同じであり（ステップ51および52が異なる）、同じステップは同じ参照番号で示す。なお、ステップ37をステップ51および52に置き換えている。ステップ51で、マッチングしたモデルユーザー画像キーに関連する、格納すべき更なるデジタルコンテンツを定義し、ステップ52で、この更なるデジタルコンテンツをデータベースに格納し、そこでマッチングしたモデルユーザー画像キーによってインデックスが付される。

図3のステップ37で、データベースから取得した画像のデジタルコンテンツによって、ユーザーが取得した画像を拡張するプロセスを図6に示す。デジタルコンテンツによって拡張されるデジタル画像の描写は、2つの相異なるフェーズで構成される。最初に、シーンマッピングに対するコンテンツを決定する。これは、モデル座標からシーン画像までの、ピクセル（画像ベースのコンテンツの場合）、2D頂点（2Dベクトル図の場合）、または3D頂点（3Dモデルの場合）をマッピングする。次に、このマッピングを使用して、シーンに画像コンテンツを描写する。

ステップ61で、T_c0をマッピングするカノニカルフレームへのデジタルコンテンツを計算する。これは、コンテンツをシーンにマッピングするときの中間カノニカルフレームの定義に好都合である。カノニカルフレームは、ターゲット領域によって定義される世界の長方形部分のアスペクト比に等しい、ユニット高さおよび幅を有する長方形のフレームである。アスペクト比は、高さに対する幅の比率、すなわち幅/高さで定義される。

このマッピングの目的は、最終的にシーン画像に描写したときに適切に現れるように、デジタルコンテンツを適切にスケーリングし、位置づけることである。本実施形態の場合、以下の状態になるようにコンテンツを変換する：
１．シーン画像内に検出されたターゲット領域に適合する最大の可能なスケールである。
２．コンテンツアスペクト比が保たれる。
３．コンテンツは、あらゆる残りの空間と釣り合うように水平または垂直方向で中央に置かれる。

デジタルコンテンツフレーム内の点がp_cで与えられる場合、カノニカルフレーム内の同等の点p₀は次式で与えられる。

2Dコンテンツの場合、T_c0は3×3のマトリクスであり、コンテンツおよびカノニカル点は同次座標の3要素の列ベクトルとして定義される。

マッピングT_c0は、次式で与えられる。

ここで、sは、次式で与えられる換算係数である。

ここで、w_cはコンテンツの幅であり、h_cはコンテンツの高さであり、w₀はカノニカルフレームの幅（ターゲット位置のアスペクト比でもある）である。

3Dコンテンツの場合、T_c0は類似した方法で計算されるが、いまのところ4×4のマトリクスであり、コンテンツの頂点は、4つの要素の列ベクトルによって同次座標で表される3D点である。

ステップ62で、モデルマッピングH_0mに対するカノニカルフレームを計算する。このマッピングでは、長方形のカノニカルフレームの4つの角を取り込み、それらをモデル画像のターゲット領域の四辺形の4つの頂点にマッピングする。全て点が面上に位置するので、このマッピングは、3×3のホモグラフィマトリクスによって記述することができ、直接線形変換（Direct Linear Transformation：DLT）を使用して決定することができる。2Dの頂点座標は、3つの要素の列ベクトルを使用して同次座標で記述されることに留意されたい。4つの点が与えられたホモグラフィを計算するためのDLTアルゴリズムは、HartleyおよびZissermanのs.4.1およびアルゴリズム4.1によって説明されており、それらのコンテンツは参照することにより本明細書に組み込まれる。

ステップ63で、シーンマッピングT_0sに対するカノニカルフレームを計算する。2Dコンテンツの場合、カノニカルフレームからシーンへのマッピングは、単純に、カノニカルフレームからモデルへのマッピングと、モデルからシーンへのマッピングとを結びつけることによって決定される。モデルからシーンまでのマッピングは、画像キーマッチングプロセス40の結果であり、ホモグラフィH_msによって与えられる。カノニカルフレームからシーンへのマッピングもホモグラフィであり、次式で与えられる。

3Dコンテンツの場合、T_0sは、3×4の要素マトリクスによって表される3Dから2Dへの投写である。これは、DLTのようなカメラ較正の標準的な技術を使用して決定することができる。カメラ較正には、対応する3Dの頂点と、2Dのシーンおよびモデル対象点およびカノニカルフレームにマップされ、追加座標z = 0が与えられた2Dモデル対象点を使用する2D点との組が必要である。

ステップ64で、ステップ63および61で計算したマッピングを組み合わせることによって、シーンマッピングT_csに対するコンテンツを計算する。

ステップ65で、T_csを使用してデジタルコンテンツをシーンに描写する。2Dコンテンツの場合、シーンマッピングに対するコンテンツを直接使用して、コンテンツをシーンに描画する。画像およびベクトル型グラフィックスに対してこれを行うための文献には、数多くのアルゴリズムがある。画像コンテンツを描写するための一例では、シーンターゲット領域内の全てのピクセルに対して繰り返し、シーン変換に対するコンテンツの逆のものを使用して、コンテンツフレーム内の対応するピクセルを計算する。エイリアシングを回避するために、コンテンツの双線形サンプリングを行って、シーンに描写するピクセルの値を決定する。本システムはまた、シーンとコンテンツピクセルとを混合して透明性および陰影のような効果を生じさせることができるαマスクの使用に対応している。αマスクは、単純に、コンテンツと同じ次元を有するグレースケール画像であり、画像を混合する標準的な方法で使用される。3Dコンテンツの描写は、OpenGLまたはDirectXのような標準的な3D描写ソフトウェアを使用して行っている。上述のように定義したマッピングT_0sは、これらの描写システムにおけるカメラマトリクスに類似している。

本発明の別のアプリケーションは、「テクスチャマッピング」におけるものである。この場合、デジタルコンテンツは、多数の取得した画像内に表すことが可能である画像部分に関連付けられる。デジタルコンテンツが取得した画像内に現れると、画像部分は、デジタルコンテンツを使用した取得した画像の拡張を引き起こす。

本発明の実施形態を様々な実施例を参照しながら上述のパラグラフで説明してきたが、所与の実施例の修正は、記載された本発明の範囲から逸脱することなく行うことができるものと理解されたい。

上述の明細書では、特に重要であると考えられる本発明の特徴に注目するように努めているが、出願人は、特に強調しているかどうかに関わらず、図面を参照した、および/または図面に示した上述の特許性を有する機能または機能の組み合わせに関する保護を主張するものと理解されたい。

複数の異なるユーザーのうちの１人が、その位置の画像を取り込むことによって、あらゆる位置に情報を結合することができるシステム10を示す図である。 ユーザーが取得した画像から新しいモデルユーザー画像キーを作成して、このキーに情報を関連付けるためのプロセス20を示す図である。 ユーザーが取得した画像を使用して、データベース8から情報を取り込むためのプロセスを示す図である。 有意な数のシーンユーザー画像キーの対象点と、データベース内に格納されたモデルユーザー画像キーのうちの1つにおける対象点とを合わせるホモグラフィ（H_ms）を見出すためのプロセスを示す図である。 ユーザーが取得した適切な画像が与えられたデータベース8内にすでにあるモデルユーザー画像キーに、新しい情報を追加するためのプロセス50を示す図である。 ユーザーが取得した画像を情報によって拡張するプロセスを示す図である。

Claims (36)

1. 第１の情報と、第１の画像の少なくとも第１の部分とを関連付けるための手段と、
   前記関連付けられた前記第１の情報にアクセスするために、前記第１の画像の少なくとも前記第１の部分に対応する部分を含む第２の画像を使用する手段と、を備える電子デバイス。
2. 前記第１の情報と関連付けるための部分を含む第１の画像を取得し、前記関連付けられた第１の情報にアクセスするため、前記第１の画像の少なくとも前記部分に対応する部分を含む第２の画像を後に取得するためのカメラと、
   前記アクセスされた情報を出力するための出力手段と、をさらに備える請求項１に記載の電子デバイス。
3. 前記画像上のターゲット領域の選択を可能にするためのユーザー入力手段をさらに備える、請求項１または２に記載の電子デバイス。
4. 前記ターゲット領域の形状を自動的に限定して、前記第１の画像のパースペクティブ（perspective）に適合させる、請求項３に記載の電子デバイス。
5. 前記ターゲット領域内の対象点を決定するための処理手段をさらに備える、請求項３または４に記載の電子デバイス。
6. 前記対象点は、データベース内の第１のコンテンツを関連付けるためのモデル画像キーの定義に使用される、請求項５に記載の電子デバイス。
7. 前記第１の画像が取得された位置を前記モデル画像キーに含めるための手段をさらに備える、請求項６に記載の電子デバイス。
8. 前記第１の情報が関連付けられた前記第１の画像において、少なくともその一部が前記第１の部分である領域の選択を可能にするためのユーザー入力手段を備える、上述の請求項のいずれかに記載の電子デバイス。
9. 前記第１の情報を構成するための手段を備える、上述の請求項のいずれかに記載の電子デバイス。
10. 複数の画像部分のそれぞれをそれぞれの情報に関連付けるデータベースを有するサーバーにメッセージを送信するためのトランスミッタを備え、
    前記メッセージは、前記第１の画像の前記第１の部分に依存し、前記第１の画像の前記第１の部分を前記データベース内の第１のデジタルデータに関連付けることを可能とする、上述の請求項のいずれかに記載の電子デバイス。
11. 複数の画像部分のそれぞれをそれぞれの情報に関連付けるデータベースを有するサーバーにメッセージを送信するためのトランスミッタを備え、
    前記メッセージは、前記第２の画像に依存する、上述の請求項のいずれかに記載の電子デバイス。
12. 前記メッセージは、前記第２の画像を取得した位置を識別する、請求項１１に記載の電子デバイス。
13. 前記メッセージは、前記電子デバイス上で動作するアプリケーションを識別する、請求項１１または１２に記載の電子デバイス。
14. 前記第１の画像内の対象点を決定し、前記対象点を使用してシーンキーを定義するための処理手段を備え、
    前記情報は、前記第１の画像の部分にすでに関連付けられた既存の情報を拡張するためのものである、上述の請求項のいずれかに記載の電子デバイス。
15. 将来他の人がアクセスするための情報を格納する方法であって、
    、第１の情報と、第三者が制御するデータベース内の第１の画像の少なくとも第１の部分とを関連付けることにより、前記第１の画像の少なくとも前記第１の部分に対応する部分を含む第２の画像を使用して、他の人が前記第１の情報にアクセスできるようにすることを含む、方法。
16. 情報を格納するためのシステムであって、
    それぞれが、複数の画像部分のうちの１つをそれぞれの情報に関連付ける、複数のエントリを有するデータベースを有するサーバーと、
    第１の部分を含む第１の画像を第１の時間に取得するためのカメラと、前記データベースにおいて、前記第１の部分と第１の情報との関連付けを可能にするための手段とを備える、第１のクライアントデバイスと、
    第２のクライアントデバイスであって、後の第２の時間に、前記第１の画像の少なくとも前記第１の部分に対応する部分を含む、第２の画像を取得するためのカメラと、前記データベースにおいて前記関連付けられた第１の情報にアクセスするために前記第２の画像を使用する手段と、前記アクセスされた第１の情報を出力するための出力手段と、を備える第２のクライアントデバイスと、
    を備えるシステム。
17. 前記電子デバイスは、前記第２の画像に依存し、前記第２の画像を取得した位置を識別するメッセージをサーバーに送信するためのトランスミッタを備え、
    前記メッセージで受信した位置は、前記第２の画像とデータベースエントリとの間の対応関係を見出すタスクを簡素化するために、前記データベースで使用されることができる、請求項１６に記載のシステム。
18. 前記電子デバイスは、前記第２の画像に依存し、前記第２のクライアントデバイス上で動作するアプリケーションを識別するメッセージをサーバーに送信するためのトランスミッタを備え、
    前記メッセージで受信した前記アプリケーションのアイデンティティは、前記第２の画像とデータベースエントリとの間の対応関係を見出すタスクを簡素化するために、前記データベースで使用されることができる、請求項１６または１７に記載のシステム。
19. 第１の画像の複数の対象点と第２の画像内の対象点とをマッピングするホモグラフィを作り出すための方法であって、
    ａ） 前記第１の対象点と前記第２の対象点との間に、一組の推定対応関係を生成することと、
    ｂ） 前記生成された組から対応関係の加重サンプルを作成することと、
    ｃ） 前記サンプリングした対応関係に対するホモグラフィを計算することと、
    ｄ） 前記生成された組からのそのホモグラフィに対する支持度を決定するステップと、
    ｅ） ｃ）乃至ｄ）を複数回繰り返すステップと、
    ｆ） 最も支持された前記ホモグラフィを選択するステップと、を含む方法。
20. 第１の画像の複数の対象点と複数の第２の画像のうちの少なくとも１つの対象点とをマッピングするホモグラフィを作り出すための方法であって、
    ａ） 前記第１の対象点と第２の対象点との間に、一組の推定対応関係を生成することと、
    ｂ） 前記生成された組から対応関係の加重サンプルを作成することであって、特定の推定対応関係をサンプリングする確率は、その特定の推定対応関係を定義する前記第２の画像の前記対象点に対する確率の測度に依存することと、
    ｃ） 前記サンプリングした対応関係に対するホモグラフィを計算することと、
    ｄ） 前記生成された組からのそのホモグラフィに対する支持度を決定するステップと、
    ｅ） ｃ）乃至ｄ）を複数回繰り返すことと、
    ｆ） 複数回、前記第２の画像を変更してａ）に戻るステップと、
    ｇ） 最も支持された前記ホモグラフィに関連付けられた前記第２の画像を選択することと、
    ｈ） 前記選択された第２の画像に関連付けられた前記ホモグラフィを支持する、前記選択された第２の画像の前記対象点のそれぞれに対する前記確率の測度を更新することと、を含む方法。
21. 対象点に対する前記確率の測度は、前記対象点が、選択されたホモグラフィを支持する可能性に依存する、請求項２０に記載の方法。
22. 第１の画像の多数の対象点と第２の画像内の対象点とをマッピングするホモグラフィを作り出すための方法であって、
    ａ） 前記第１の対象点と前記第２の対象点との間に、一組の推定対応関係を生成することと、
    ｂ） 前記生成された組から対応関係のサンプルを作成することと、
    ｃ） 前記サンプリングした対応関係に対するホモグラフィを計算することと、
    ｄ） 前記生成された組からのそのホモグラフィに対する支持度を決定するステップと、
    ｅ） ｃ）乃至ｄ）を複数回繰り返すステップと、
    ｆ） 最も支持された前記ホモグラフィを選択することと、
    ｇ） 前記第１および第２の画像がマッチすることを検証することによって、前記ホモグラフィを検証するステップと、を含む方法。
23. 前記第１および第２の画像がマッチすることを検証することは、前記第１および第２の画像のピクセルごとの比較を含む、請求項２２に記載の方法。
24. 前記第１および第２の画像がマッチすることを検証することは、前記ホモグラフィの下でマッピングされた前記第２の画像および前記第１の画像の正規化相互相関が所与の閾値を超えているかどうかを判断することを伴う、請求項２２または２３に記載の方法。
25. 第１の画像の複数の対象点と第２の画像内の対象点とをマッピングするホモグラフィを作り出すための方法であって、
    ａ） 前記第１の対象点と前記第２の対象点との間に、一組の推定対応関係を生成することと、
    ｂ） 前記生成された組から対応関係のサンプルを作成することと、
    ｃ） 前記サンプリングした対応関係に対するホモグラフィを計算することと、
    ｄ） 推定対応関係のそれぞれのコストを決定することによって、前記生成された組からのそのホモグラフィに対する支持度を決定することであって、前記推定対応関係のコストは、その推定対応関係を定義する前記第２の画像の前記対象点に対する統計パラメータに依存するステップと、
    ｅ） ｃ）乃至ｄ）を複数回繰り返すステップと、
    ｆ） 最も支持された前記ホモグラフィを選択するステップと、
    ｇ） 前記選択されたホモグラフィの下の前記推定対応関係のコストに基づいて、前記第２の画像の前記対象点に対する前記統計パラメータを更新することと、を含む方法。
26. 第１の画像の複数の対象点と、複数の第２の画像のうちの少なくとも１つの対象点とをマッピングするホモグラフィを作り出すための方法であって、
    ａ） 前記第１の対象点と第２の対象点との間に、一組の推定対応関係を生成することと、
    ｂ） 前記生成された組から対応関係のサンプルを作成することと、
    ｃ） 前記サンプリングした対応関係に対するホモグラフィを計算するステップと、
    ｄ） 推定対応関係のそれぞれからの支持度を決定することによって、前記生成された組からのそのホモグラフィに対する支持度を決定することであって、前記推定対応関係からの支持度は、その推定対応関係を定義する前記第２の画像の前記対象点に対する統計パラメータに依存するステップと、
    ｅ） ｃ）乃至ｄ）を複数回繰り返すことと、
    ｆ） 複数回、前記第２の画像を変更してａ）に戻ることと、
    ｇ） 最も支持度された前記ホモグラフィに関連付けられた前記第２の画像を選択することと、
    ｈ） 前記選択された第２の画像の前記対象点に対する前記統計パラメータを更新することと、を含む方法。
27. 対象点に対する前記統計パラメータは、その対象点を含む推定対応関係がホモグラフィを支持するものである場合に、その推定対応関係が超えてはならない、その対象点についてのコスト閾値を定義するためのものである、請求項２６に記載の方法。
28. 前記第１の画像の対象点と、第２の画像の対象点との間の推定対応関係に対する前記コストは、前記ホモグラフィを使用して前記第１の対象点を前記第２の対象点にマッピングし、マッピングされていない第２の対象点と前記マッピングされた第１の対象点との間の距離を計算することによって計算される、請求項２６または２７に記載の方法。
29. 前記第１の画像の対象点と第２の画像の対象点との間の推定対応関係に対する前記コストは、前記ホモグラフィを使用して前記第２の対象点を前記第１の対象点にマッピングし、マッピングされていない第１の対象点と前記マッピングされた第２の対象点との間の距離を計算することによって計算される、請求項２６または２７に記載の方法。
30. 対象点に対する前記統計パラメータは、前記第２の画像の前記対象点と、そのために選択された以前の第１の画像内における対応する対象点との間の距離に対する、過去平均および分散を示す、請求項２６、２７、２８、または２９のいずれかに記載の方法。
31. 前記選択された第２の画像の前記対象点に対する前記統計パラメータを更新することは、前記第２の画像の前記対象点と前記第１の画像の対応する対象点との間の距離に対する前記平均および分散を更新する、請求項３０に記載の方法。
32. 特定の推定対応関係をサンプリングする確率は、その特定の推定対応関係を定義する前記第２の画像の前記対象点に対する確率の測度に依存する、請求項２６乃至３１に記載の方法。
33. 対象点に対する前記確率の測度は、前記対象点が、選択されたホモグラフィを支持する可能性に依存する、請求項３２に記載の方法。
34. プロセッサにロードしたときに、請求項１９乃至３３のうちのいずれか１つの方法を可能にする、コンピュータプログラム命令を含むコンピュータプログラム。
35. プロセッサにロードしたときに、請求項１９乃至３３のうちのいずれか１つの方法を可能にする、コンピュータプログラム命令を含むコンピュータプログラムを組み込んだコンピュータ可読の媒体。
36. 第１のデジタルコンテンツと第１の画像の少なくとも第１の部分とを関連付けるための手段と、
    前記関連付けられたデジタルコンテンツにアクセスするために、前記第１の画像の少なくとも前記第１の部分に対応する部分を含む第２の画像を使用する手段と、を備える電子デバイス。

Images