JP2005509219A

JP2005509219A - 画像取込及び識別のためのシステム及び方法

Info

Publication number: JP2005509219A
Application number: JP2003542958A
Authority: JP
Inventors: ウェイン・シー・ボンチック; ロナルド・エイチ・コーエン
Original assignee: Ronald H Cohen; Wayne C Boncyk
Current assignee: Ronald H Cohen; Wayne C Boncyk
Priority date: 2001-11-05
Filing date: 2002-11-05
Publication date: 2005-04-07
Also published as: US20040208372A1; US7477780B2; US20060110034A1; US7403652B2; EP1442417A4; US7016532B2; EP1442417A1; WO2003041000A1; JP5427859B2; JP2008090838A; US20020090132A1; JP2012043447A

Abstract

対象（１６）のデジタル画像が取り込まれ、データベース（２０）の複数の対象からその対象が認識される。次に、対象に対応する情報アドレスが情報へのアクセス及び対象に関連する通信の開始のために使用される。

Description

本発明は、デジタル的に取得ないしは取り込んだオブジェクトないしは対象の画像から対象を識別する方法及びプロセスに関し、データベース中の複数の対象からある対象を識別するために画像特性を使用する。

対象の外観のみに基づく信頼性のある検出及び識別により、当該対象に変更を加えることなく既知の対象においてハイパーリンク機能を規定する必要があり、その対象に関連するユニフォーム・リソース・ロケータ（Uniform Resource Locator:ＵＲＬ）のような情報アドレスを提供することにより、その対象に関する情報を位置付け及び供給し、あるいはその対象に関連する通信を開始する。

当該対象の画像のみに基づいて、既知の対象の位置及び向きを決定する必要がある。

対象の変更や美観の毀損を伴わず、対象上にいかなるマーク、記号、コード、バーコード、あるいは文字も必要とせず、対象に接触したり乱したりする必要がなく、通常の人間の視覚のために要求される以外の特別な照明を要せず、対象物に取り付けられあるいはその近傍のいかなる通信装置（無線周波数、赤外線等）を必要とせず、かつ識別プロセスに人間の補助を必要とすることなく、検出、識別、位置及び向きの決定、並びにそれに続く情報供給及び通信が起きなければならない。検出される対象は、３次元の対象、２次元の対象（例えば紙面上）、３次元の対象の２次元の画像、あるいは人間である場合がある。

このような識別及びハイパーリンクのサービスを、個人用携帯情報端末（Personal Digital Assistants:ＰＤＡｓ）及びセルラーフォンないしは携帯電話（cellular phones）のような携帯型のコンピュータ装置の使用者に提供する必要がある。

このような識別及びハイパーリンクのサービスを、産業用ロボットや宇宙船のような機械に提供する必要がある。

以下の例がある。

美術館の絵画や他の芸術作品の識別。この場合、美術館の来訪者に対して可搬型の無線装置によって、そのような芸術的な対象に関する付加的な情報を提供することが望まれる。

雑誌広告、ポスター、広告掲示板、顧客の製品、音楽やビデオのディスクやテープ、建物、乗物等を個人がカメラ付で可搬型の無線装置で「ポイント・アンド・クリック（pointing and clicking）」することで開始される、ネットワーク（無線又はその他）を介した企業と個人間の、コンテンツ（情報、テキスト、グラフィック、音楽、ビデオ等）、通信、及び商取引機構の提供。

カメラ付で可搬型の無線装置で自動販売機（vending machine）や情報キオスク（information Kiosk）を「ポイント・アンド・クリック」することによる通信リンクの確立と、それに続く可搬型の無線装置とこれらの機械との間の通信や取引の実行。

対象ないは部品の画像を取り込むことによる組立ライン上のような工場における対象ないしは部品の識別と、それに続く識別された対象ないしは部品に関連する情報の提供。

技術者がカメラ付で可搬型の無線装置で「ポイント・アンド・クリック」することによる航空機の一部のような機械の一部の識別と、それに続く識別された部分についての整備指示や履歴のような技術者に対する関連するコメントの供給。

警備担当者がカメラ付で可搬型の無線装置で１人又は複数の個人を「ポイント・アンド・クリック」することによる１人又は複数の個人の識別及びスクリーンニングと、それに続いて顔認識ソフトウエアで個人を識別した後の、当該個人に関連する識別情報の受信。

警備担当者がカメラ付の可搬型の無線装置で文書を「ポイント・アンド・クリック」することによるパスポートのような文書の識別、スクリーニング、あるいは照合と、リモートのコンピュータからの応答の受信。

宇宙船による対象に対する操作や対象とのランデブーを可能とするための、当該対象の画像に基づく、空間中における対象の位置及び向きの対象付近の宇宙船による決定。

対象物の画像を取り込むことによる航空機や宇宙船からの対象の識別と、それに続くローカル又はリモートのコンピュータで実行する画像認識による対象の識別。

映画館にある標識やポスター、あるいはデジタルビデオディスクの箱やビデオテープの箱をカメラ付で可搬型の無線装置で「ポイント・アンド・クリック」することによる、当該装置に伝送される映画の予告編の視聴。

コンパクト・ディスク（ＣＤ）の箱、ビデオテープの箱、あるいは印刷されたメディア広告をカメラ付で可搬型の無線装置で「ポイント・アンド・クリック」することによる、当該装置に伝送されるオーディオ録音サンプルの聴取。

カメラ付で可搬型の無線装置で、劇場、広告、又は他の対象を「ポイント・アンド・クリック」することによる映画、コンサート、あるいはスポーツ・イベントのチケットの購入。

カメラ付で可搬型の無線装置で「ポイント・アンド・クリック」することによるアイテム（item）の購入とそれによる取引の開始。

カメラ付で可搬型の無線装置でテレビ画面を「ポイント・アンド・クリック」することによるテレビ番組とインタラクトないしは対話し、スクリーンのコンテンツの画像を取り込んでリモートのコンピュータにその画像を送信して識別し、受信されたスクリーンのコンテンツに基づいて対話を開始すること（一例としては、あるアイテムがテレビ画面上の現われた時に「ポイント・アンド・クリック」することによる当該テレビ画面上のアイテムの購入がある。）。

ゲームの一部とみなされる物理的環境中の対象をカメラ付で可搬型の無線装置で「ポイント・アンド・クリック」することによるコンピュータスシステムによるゲームや当該ゲームの他のプレーヤとの対話。

バス車内の料金装置をカメラ付で可搬型の無線装置で「ポイント・アンド・クリック」して可搬型の装置と料金装置間の通信リンクを確立することによるバス料金の支払い。

コンピュータをカメラ付で可搬型の無線装置で「ポイント・アンド・クリック」し、当該コンピュータと通信できるインターネットアドレスを当該可搬型の装置に送信し、当該可搬型の装置とコンピュータとの間にローカル・ネットワークや他の直接の通信手段が存在しなくてもコンピュータとの通信を確立する、インターネット接続によるカメラ付で可搬型の装置とコンピュータ間の通信の確立。

例えば購入されるアイテムを「ポイント・アンド・クリック」してアイテムを識別し、取引を開始することによる、カメラ付で可搬型の無線装置の販売時点（point-of-sale）端末としての使用。

本発明は前述の要求を解決する。画像がデジタル的に取り込まれると、画像検索で記号的なコンテンツが画像に含まれているか否かが決定される。そのような記号が復号化され、通常はインターネットを使用して適切なデータベースとの通信が開くと、その記号についての最良のマッチが返信される。幾つかの例では、記号が復号化されるが、明瞭な識別が不可能である。そのような場合及び記号の画像を検出できない場合には、画像の特有の特性を検知する識別アルゴリズム（identification algorithms）により画像が分解される。次に、これらの特性はデータベースにおける最良の１つ又は複数のマッチを提供するために使用され、可能であれば「最良」の立証は部分的な記号情報で補助される。

従って、本発明はインターネットのようなネットワークを介してリンク付けされた対象及び画像を情報に収容することができる技術及びプロセスを提供し、リンク付けされた対象に変更を加える必要はない。画像ないしは対象はその可視の外観のみによって識別されるので、バーコードの適用、無線又は光学トランシーバないしは送信器、又は対象を識別するための幾つかの他の手段、又はその中に検知可能な情報を符号化するような画像又は対象の変更を含む対象をデジタル情報に関連付ける伝統的な方法は、必要とされない。ユーザ又は装置は、対象に対して「リンク付け（linking）」することで対象と対話することもできる。例えば、ユーザは「ポイント・アンド・クリック」することで自動販売機に接続することができる。インターネットを介して自動販売機を所有する会社に接続装置をすることができる。一方、会社は自動販売機との接続を確立し、それによってユーザは自動販売機に対して確立された通信チャンネルを取得し、自動販売機と対話することができる。

本発明の分解アルゴリズム(decomposition algorithms)では、見える形状に影、反射、部分閉塞、及び変化があったとしても、画像の可視の外観に基づいて、高速で信頼性の高い画像及び／又は対象の検知及び認識を行うことができる。前述のように、アルファベット文字、バーコード、又は２次元マトリクスコードのような対象上に現われている一般的な記号に基づいて、画像及び対象を検出、復号化、及び識別することもできる。

特定の対象が識別されると、画像が取り込まれた時のユーザに対する対象の位置及び向きを、画像中の対象の外観に基づいて決定することができる。これは、セキュリティシステムにおいて多数のカメラでスキャンされた人々の位置及び／又は身元、ＧＰＳよりも正確であるか、ＧＰＳ信号を受信できない領域でも使用可能なパッシブ型のロケータ・システム、乗物からの送信を必要としない乗物の位置、及び他の多くの用途となり得る。

携帯電話のような可搬の装置に本発明を組み込むと、その装置のユーザは、当該対象に装置をポインティングないしは向けることでそのユーザの環境下で画像及び対象に接続し、「ポイント・アンド・クリック」して画像を取り込むことができる。その後、装置が他のコンピュータ（サーバ）に画像を送信し、サーバでは画像が分析されて当該対象又は画像が検知及び認識される。対象と対応する情報のネットワークアドレスが当該「サーバ」から可搬の装置に返信され、可搬の装置はネットワークアドレスを使用して情報にアクセスすることが可能となるので、システムのデータベースに対象に関する情報の一部のみを記憶しておけばよい。

画像／対象の検知及び／又は画像中で検知された記号の復号化を含む画像処理の一部又はすべてを、可搬の（クライアント）装置とサーバとの間で任意に分配することができる。換言すれば、いずれの特定の処理がそれぞれで実行されるかを特定することなく、ある処理をクライアント装置で実行する一方、ある処理をサーバで実行してもよく、すべての処理を一方又は他方のプラットフォームで実行してもよく、あるいは一つのプラットフォームを構成するように二つのプラットフォームを組み込んでもよい。画像処理は並列計算法で実行することができるので、データベースサイズ及びトラフィック負荷に関するシステムの基準化が容易である。

従って、本発明の目的は、対象の変更を要することなく取り込んだ画像をデジタル的に識別するための、システム及び方法を提供することにある。

他の目的は、製造業者が決して予期していないような方法でデジタルキャプチャ装置を使用することにある。

他の目的は、対象の部分的なビュー（views）ないしは視像から対象を識別可能とすることである。

他の目的は、公衆接続（public connection）を要しない操作装置を備える通信手段を提供することである。

本発明のこれらの及び他の目的並びに利点は、添付図面を参照した以下の詳述を考慮すると当業者にとって明らかである。

本発明は、物理的な対象の画像をリモートで取り込みないしは取得することのみにより、インターネットのコンテンツのような情報をユーザに提示することができる新規なプロセスを含む。符号化された情報がリモートで取得した画像に含まれていてもよいが、対象の画像以外の物理的な対象に関する追加の情報が、リンクされた対象に符号化されている必要はないので、符号化された情報がリモートで取得した画像に含まれている必要はない。いかなる追加の符号ないしは装置、無線、光学等も、対象に埋め込まれ又は添付されている必要はない。画像リンクされた対象は、画像の取得とリンクの実行に使用するための装置に返信される関連する情報のアドレスと共に、デジタル画像処理のみにより、ユーザの取得した画像内で位置付けして識別することができる。このプロセスは、デジタル画像のノイズ及び破損（損失のある画像の圧縮/解凍の結果生じ得る。）、遠近法的誤り（perspective error）、回転、並進（translation）、縮尺の相違、光源の相違により生じる照明の変化、及び付影、反射、又は遮蔽により起こる目標(target)の部分的な掩蔽に対してロバスト性を有する。

現在の技術では、マシン・ビジョンないしは機械視覚の「目標の位置特定及び識別（target location and identification）」について多くの異なる例がある。しかしながら、これらはすべて任意の限定された検索領域についての最良の解決手段を提供する傾向がある。本発明の中心は、広範な潜在的な入力画像に含まれる目標の対象にあいまいでないマッチないしは適合を戻す高速画像マッチングエンジンである。イメージマッチングないしは画像適合に対するこの特有の試みには、少なくとも目標の対象のある部分がユーザの取得した画像中に見出されるという利点がある。本検索技術で実行される並行画像比較プロセスは、ひとまとめにして考えると、このプロセスに特有のものである。また、さらなる及び/又は異なる分解パラメータ関数（decomposition parameterization functions）を包含する検索ループの全体構造内で使用されるプロセスの付加的な改良は、限定されない。詳細なプロセスを以下に説明する。図１は全体的なプロセスの流れとステップを示す。これらのステップは以後の段落でさらに詳細に説明する。

画像の取り込み１０のために、ユーザ１２（図２）はコンピュータ、携帯電話（mobile phone）、携帯情報端末（personal digital assistant）、又は他の同様の装置１４（ＣＣＤ型やＣＭＯＳ型のデジタルカメラ）を使用する。ユーザ１２は画像取込装置１４のセンサの照準を目的の対象１６に合わせる。次に、ユーザ１２による装置１４ないしはセンサのボタンの押下、画像が取得されることを自動的に認識する装置１４内のソフトウエア、ユーザの音声命令、又は他の適切な手段を含む適切な手段によりリンク処理が開始される。装置１４は、それが向けられた光景のデジタル画像１８を取得する。この画像１８は、入力画像の生のＲＧＢ（赤、緑、青）表現に対応した画素の３つの別個の２次元マトリクスとして表現される。この実施形態における分析プロセスを標準化する目的で、装置１４がＲＧＢフォーマット以外のフォーマットで画像を供給する場合には、ＲＧＢへの変換がなされる。必要があれば、これらの分析はいかなる標準的な色フォーマットにおいても実行することができる。

サーバ２０が装置１４に対して物理的に分離されていれば、通常のデジタルネットワーク又は無線ネットワーク手段を介して、ユーザが取得した画像が装置１４から画像プロセッサ／サーバ２０に送信される。圧縮アーティファクツないしは圧縮誤差（compression artifacts）が構成された画像１８に導入するような方法で画像１８が圧縮された場合（例えば、損失のあるＪＰＥＧＤＣＴ）には、例えば追加の処理の前に再構成された画像に通常のデスペックルフィルタないしは斑点除去フィルタ（despeckle filter）を適用することで、これらの誤差を部分的に除去してもよい。

入力画像１８を操作して入力画像がバーコード、マトリクスコード、又は英数字のような認識可能なシンボルないしは記号を含むか否かを決定するディスクリミネータ・アルゴリズムないしは認識アルゴリズム（discriminator algorithm）で画像の種類の決定２６がなされる。そのような記号が見付け出されれば、画像１８は記号の復号２８の処理に送られる。ディスクリミネータ・アルゴリズムが記号を見付け出す信頼度（confidence level）に応じて、画像１８が目的の対象を含んでいてもよく、あるいは記号に代えて目的の対象を含み、従って画像１８を処理フローの対象画像の分岐にも送ってもよく、あるいは記号画像の分岐に代えて画像１８が対象画像の分岐に送られる。例えば、入力画像１８がバーコードと対象の両方を含んでいれば、バーコードが検出される明瞭度に応じて、画像を対象画像の分岐と記号画像の分岐の両方で分析し、最も高レベルで識別が成功した分岐が対象の識別及び対象からのリンクに使用される。

記号の復号２８では、画像が分析されて記号の位置、寸法、及び性質が決定される。記号はそれらの種類に応じて分析され、それらが含む情報が引き出される。例えば、バーコード及び英数字は数字及び／又はテキストの情報となる。

対象画像については、本発明では入力画像の分解３４において、高解像度の入力画像を数個の異なる種類の定量化可能な特徴パラメータ（salient parameter）に「分解（decomposition）」する。これによって多数の独立した収斂性の検索プロセスを並行して行うことができ、データベースとのマッチング３６における画像の適合ないしはマッチングの速度と、マッチングのロバスト性が大幅に向上する。次に、記号の復号２８又は画像のデータベースとのマッチング３６のいずれか、又は両方に基づく最良のマッチないしは適合３８が決定される。特定のＵＲＬ（又は他のオンラインアドレス）が画像と関連付けられれば、ＵＲＬのルックアップないしは参照４０が実行され、ＵＲＬ返信４２においてインターネットアドレスが返信される。

入力画像の分解プロセスの全体のフローは以下の通りである。
放射量補正（Radiometric Correction）
セグメンテーション（Segmentation）
セグメントグループの生成（Segment Group Generation）
各セグメントグループについて（For each segment group）
バウンディングボックスの生成（Bounding Box Generation）
幾何正規化（Geometric Normalization）
ウェブレット分解（Wavelet Decomposition）
カラーキューブ分解（Color Cube Decomposition）
形状分解（Shape Decomposition）
低解像度のグレースケール画像の生成（Low-Resolution Grayscale Image Generation）
フォー・エンド（For END）

以下に前記各ステップをさらに詳細に説明する。放射量補正のために、通常、入力画像が色平面毎に８ビットのＲＧＢ表現に変換される。このＲＧＢ画像はすべての３つのチャンネルにおいて放射量的に（radiometrically）正規化される。この正規化は、リニアゲインとオフセット変換によりなされ、各カラーチャンネル内の画素値は全８ビットのダイナミックレンジ（２５６の離散値をとり得る。）にわたる。８ビットのダイナミックレンジは十分であるが、光学的取込装置がより高解像度の画像を生成し、コンピュータがより高速化し、かつメモリがより低価格化しているので、１６ビット、３２ビット、又はそれ以上の高ビットダイナミックレンジを使用してもよい。

セグメンテーションのために、放射量が正規化されたＲＧＢ画像が、「セグメント」毎、ないしは同様の色の領域、すなわち赤、緑、及び青について画素値がほぼ等しい領域毎に分析される。これらのセグメントはそれらの境界で画定され、境界は（ｘ，ｙ）点の対の組からなる。セグメント境界のマップが生成され、このマップはＲＧＢの入力画像とは別個に維持され、ＲＧＢ画像とアスペクト比が等しいｘ，ｙ境界画像マップにフォーマットが設定される。

セグメントグループの生成のために、セグメントを可能性のあるすべての組み合わせにグループ化する。これらのグループは「セグメントグループ（segment groups）」として知られ、入力画像中の可能性のあるすべての画像ないしは目標の対象を表している。セグメントグループは、それらが評価される順序に基づいて分類される。種々の評価順序の方式が可能である。ここで説明する特定の実施形態は以下の「センターアウト(center-out)」方式を使用する。第１のセグメントグループは画像の中心のセグメントのみを含む。次のセグメントグループは、前のセグメントに加えて（画素数が）最大で前のセグメントに隣接（接触）するセグメントを含む。セグメントがなくなるまで、追加のセグメントがセグメント基準で追加される。新たなセグメントが追加される各ステップで、新たな特有のセグメントグループが生成される。

バウンディングボックスの生成のために、考慮しているセグメントグループの楕円主軸（セグメントグループ全体を含むのに十分な大きさの楕円の主軸）が計算される。次に、画像座標系内で、楕円に主軸に長辺が平行であり、セグメントグループのすべての画素を完全に含むのにちょうど十分な寸法の矩形が構成される。

幾何正規化のために、考慮しているセグメントグループに含まれないすべての画素が中間レベルのグレーに設定されるように、入力画像のコピーを変更する。この結果は再サンプリングされて「標準アスペクト（standard aspect）」の出力テスト画像空間にマッピングされ、バウンディングボックスの隅部がこの出力テスト画像の隅部にマッピングされる。標準アスペクトはデータベースの生成に使用される参照画像と寸法及びアスペクト比が同じである。

ウェブレット分解のために、幾何正規化のステップで得られた幾何的に正規化された画像からフルカラーの画像のグレースケールの表現が生成される。グレースケールの表現を引き出すために以下の手順が使用される。以下の等式を使用して標準補正色画像のＲ、Ｇ、及びＢの各画素を比例的に加えることで、３つの色平面を１つのグレースケール画像に低減する。

また、最も近い整数値に四捨五入する。必要であれば、０と２５５で切り捨てる。得られたマトリクスＬは標準グレースケール画像である。このグレースケール表現はフルカラー画像と同じ空間解像度を有し、ダイナミックレンジは８ビットである。グレースケール画像の多重解像度ウェブレット分解が実行され、いくつかの倍率についてウェブレット係数を生じる。種々の倍率のウェブレット係数は画像内でのそれらの重み付けに応じてランク付けされる。

カラーキューブ分解のために、幾何正規化で得られるＲＧＢ画像に画像セグメンテーションが実行される（前述の「セグメンテーション」を参照）。次に、ＲＧＢ画像は正規化された強度（Intensity）、位相(In-phase)、及び直角位相（Quadrature phase）の色空間(ＹＩＱ)に変換される。同様の色の画素をセグメント境界が囲んでいるので、セグメントマップが画像の主色領域を識別するために使用される。各セグメントの平均Ｙ、Ｉ、及びＱ値と、それらの個々の成分の標準偏差が計算される。各セグメントについて色、色の変化、及びサイズないしは寸法を表す以下のパラメータの組が得られる。

Ｙ_avg＝強度平均
Ｉ_avg＝位相平均
Ｑ_avg＝直角位相平均
Ｙ_sigma＝強度標準偏差
Ｉ_sigma＝位相標準偏差
Ｑ_sigma＝直角位相標準偏差
Ｎ_pixels＝セグメント中の画素数

これらのパラメータは各セグメントにおける色の強度及び変化を含む。あるセグメントグループのすべてのセグメントをひとまとめにして考えると、これらのパラメータは３次元色空間中の点（さらに正確には、標準偏差を考慮すると領域）を含み、セグメントグループ中の色の強度及び変化を表現している。

形状分解のために、カラーキューブ分解のステップで実行されたセグメンテーションで得られたマップが使用され、グループの外縁境界、この境界で囲まれる全領域、及びその領域の図心を引き出すためにセグメントグループが評価される。また、正味楕円率（そのグループに最も近接する楕円の準長軸を準短軸で割る）が決定される。

低解像度のグレースケール画像の生成のために、ウェブレット分解のステップで得られた画像の最大解像度のグレースケール表現についてｘ及びｙ方向の係数で副標本を取る。この実施形態の例では、３：１の副標本が考えられる。３×３のセル内の画素の重み付けした平均により、副標本化された画像が生成される。輝度の瓶（bin）の離散（ＴＢＤ）の数内に含まれるすべての画素に対する「瓶化された平均（binned average）」に基づいて、各画素に割り当て可能な離散値の数を減少させることで、得られた結果がコントラスト瓶化（contrast binned）される。

以上の本実施形態に組み込まれる特定の分解方法の説明は、本発明の範囲で追加の又は代案の分解方法を使用することができないことを示すことを意図するものではない。
換言すれば、以下の通りである。

各入力画像のセグメントグループについて（For each input image segment group）
各データベースの対象について（For each database object）
この対象の各ビューについて（For each view of this object）
このデータベースの対象の視像の各セグメントグループについて（For each segment group in this view of this database object）
形状比較（Shape Comparison）
グレースケール比較（Grayscale Comparison）
ウェブレット比較（Wavelet Comparison）
カラーキューブ比較（Color Cube Comparison）
複合化したマッチスコアの計算（Calculate Combined Match Score）
エンド・フォー（END FOR）
エンド・フォー（END FOR）
エンド・フォー（END FOR）
エンド・フォー（END FOR）

以下、前記各ステップをさらに詳細に説明する。

各入力画像のセグメントグループについて
このループは、「セグメント生成」のステップに格納された順番で、入力画像のセグメントグループの各組み合わせを考慮する。各セグメントグループは、それが考慮される時は、画像中の目的の対象の候補であり、種々のテストを使用してデータベースの対象と比較される。

このループ内でセグメントグループが考慮される、多くの可能な例のうちの１つの好適な実例は、「セグメントグループの生成」で述べた「センターアウト」アプローチである。この方法では、画像の中心から始まって、セグメントグループに対して隣接するセグメントの追加を行う順番でセグメントグループを考慮する。この方法では、考慮される新たなグループのそれぞれが前のグループに加え１つの追加の隣接する画像セグメントを備える。新たなグループはデータベースと比較される。新たなグループが前のグループよりもデータベースとのマッチングのスコアが高ければ、新たなグループは保持される。新たなグループが前のグループよりもマッチングのスコアが低ければ、新たなグループは放棄されてループが再開する。特定のセグメントグループが特に高度のマッチを示すスコアであれば、このセグメントグループは正確なマッチとみなされ、それ以上の検索は正当化されない。この場合、現在のグループとマッチングするデータベースのグループとがマッチとして選択され、ループが終了する。

各データベースの対象について
このループでは、現在の入力セグメントグループと比較するために、データベースの各対象が考慮される。

この対象の各視像について
このループでは、現在の入力セグメントグループと比較するために、現在のデータベースの対象の各視像が考慮される。データベースは、各対象について、異なる視野角からの複数の視像を含む。

このデータベースの対象の視像の各セグメントグループについて
このループでは、データベースの対象の現在の視像のセグメントグループの各組み合わせが考慮される。これらのセグメントグループは、入力画像のセグメントグループと同じ方法で生成されている。

形状比較
入力：
入力される画像及び全てのデータベースの画像について：
Ｉ．セグメントグループの輪郭
II.セグメントグループの面積
III．セグメントグループの図心位置
IV．セグメントグループのバウンディングの楕円の楕円率

アルゴリズム：
V．ＴＢＤの範囲内で入力されたセグメントグループと面積がほぼ等しいデータベースのセグメントグループを識別し、「マッチ」のそれぞれについて面積マッチングスコアを計算する。
VI．ＴＢＤの範囲内かつ、前のステップで識別されたマッチの組内で、入力されたセグメントグループと楕円率がほぼ等しいデータベースのセグメントのグループを識別し、「マッチ」のそれぞれについて楕円率位置マッチングスコアを計算する。
VII．ＴＢＤの範囲内かつ、前のステップで識別されたマッチの組内で、入力されたセグメントグループと図心位置がほぼ等しいデータベースのセグメントグループを識別し、「マッチ」のそれぞれについて図心位置マッチングスコアを計算する。
VIII．ＴＢＤの範囲内かつ、前のステップで識別されたマッチの組内で、入力されたセグメントグループと輪郭がほぼ等しいデータベースのセグメントグループを識別し、「マッチ」のそれぞれについて輪郭マッチングスコアを計算する。これは２つの輪郭を比較して、それらが一致する範囲を分析的に決定することによりなされる。

備考：このアルゴリズムはステップ１から４の順序で実行される必要はない。以下のような代案のプロセスが可能である。
各データベースセグメントグループについて（For each database segment group）
グループがステップ１を通過すれば（If the group passes Step 1）
グループがステップ２を通過すれば（If the group passes Step 2）
グループがステップ３を通過すれば（If the group passes Step 3）
グループがステップ４を通過すれば（If the group passes Step 4）
比較が成功で、結果を保存（Successful comparison, save result）
エンド・イフ（END IF）
エンド・イフ（END IF）
エンド・イフ（END IF）
エンド・イフ（END IF）
エンド・フォー(END FOR)

グレースケール比較
入力：
入力画像及びすべてのデータベースの画像について
XI.バウンディングボックス内の画素の低解像度で、正規化され、コントラスト瓶化されたグレースケールの画像。セグメントグループの外側の画素は標準の背景色に設定される。
アルゴリズム：
低解像度の画像内に一連の同軸な（concentric）矩形の画素の「層（tires）」があれば、入力画像の画素値をデータベースのすべての画像の画素値と比較する。以下のように、各比較について、ＴＢＤの範囲内でマッチングスコアを有するデータベースの画像を識別する。
各データベースの画像について（FOR each database image）
各層について最も内側から始まって最も外側に向けて（For each tier, starting with the innermost and progressing to the outermost）
入力画像とデータベースの画像間で画素値を比較（Compare the pixel values between the input and database image）
マッチングスコアの総計を計算（Calculate an aggregate matching score）
もしマッチングスコアがいくつかのＴＢＤ限度よりも大きければ（すなわち、ほとんどマッチしている。）（IF matching score is greater than some TBD limit (i.e., close match)）
比較は成功で、結果を保存（Successful comparison, save result）
エンド・イフ（END IF）
エンド・イフ（END IF）
エンド・フォー（END FOR）

ウェブレット比較
入力：入力画像及びデータベースのすべての画像について：
X．セグメントグループのバウンディングボックス内の高解像度のグレースケール画像からのウェブレット係数

アルゴリズム：
最低位の係数から初めて最高位の係数へ向けて、入力セグメントグループの画像とデータベースの各セグメントグループの画像のウェブレット係数を連続的に比較する。各比較についてマッチングスコアを比較する。各新たな係数について、ＴＢＤ限度内の前の（一つ低い位）の係数でマッチングスコアを有していたデータベースのグループのみを考慮する。

各データベースの画像について（FOR each database image）
ＴＢＤ限度内で入力画像Ｃ_０がデータベース画像Ｃ_０と等しければ（IF input image C₀ equals database image C₀ within TBD limit）
ＴＢＤ限度内で入力画像Ｃ_１がデータベース画像Ｃ_１と等しければ（IF input image C₁ equals database image C₁ within TBD limit）
・・・
ＴＢＤ限度内で入力画像Ｃ_Ｎがデータベース画像Ｃ_Ｎと等しければ（IF input image C_N equals database image C_N within TBD limit）
マッチを終了し、結果とマッチスコアを保存（Close match, save result and match score）
エンド・イフ（END IF）
・・・
エンド・イフ（END IF）
エンド・イフ（END IF）
エンド・フォー（END FOR）

備考：
Ｉ．「Ｃ_１」は、Ｃ_０が最低位の係数で、Ｃ_Ｎが最高位の係数であるウェブレット係数である。
II．係数を比較するとき、算術的差ではなく、統計学的（例えばガウシアン）基準で比較する。
III．Ｃ_ｉ値に応じてデータベース画像に速やかにアクセスできるように、データインデックス技術が使用される。これによりアルゴリズムが最低位から最高位に進むのに伴って、目的のデータベースの部分を連続的に絞り込むことができる。

カラーキューブ比較
入力：
Ｉ.入力されるセグメントグループの画像
II．各データベースのセグメントグループの画像
における、各セグメントについて［Ｙ_ａｖｇ，Ｉ_ａｖｇ，Ｑ_ａｖｇ，Ｙ_{ｓｉｇｍａ}，Ｑ_{ｓｉｇｍａ}，Ｎ_{ｐｉｘｅｌｓ}］のデータの組（「カラーキューブの点」）

アルゴリズム：
各データベースの画像について（FOR each database image）
データベースの画像の各セグメントグループについて（FOR each segment group in the database image）
データベースのセグメントグループの各カラーキューブについてＮ_pixelsが減少する順で（FOR each Color Cube Point in database segment group, in order of descending N_piexels value）
入力の（Ｙ，Ｉ，Ｑ）とデータベースの（Ｙ，Ｉ，Ｑ）との間でガウシアンがマッチすれば（IF Gaussian match between input (Y,I,Q) and database (Y,I,Q)）
Ｉ．このセグメントについてマッチスコアを計算（Calculate match score for this segment）
II．セグメントについてのマッチスコアの総計にセグメントのマッチスコアを累計（Accumulate segment match score into aggregate match score for segment group）
III．マッチングスコアの総計があるＴＢＤ限度より大きければ（すなわち、ほとんどマッチ）（IF aggregate matching score is greater that some TBD limit (i.e., close match)）
比較は成功で、結果を保存（Successful comparison, save result）
エンド・イフ（END IF）
エンド・フォー（END FOR）
エンド・フォー（END FOR）
エンド・フォー（END FOR）
終了（END FOR）

備考：
Ｉ．あらゆるＹ，Ｉ，Ｑ点のガウシアンエンベロップは、その点のＹ、Ｉ、及びＱの標準偏差のＲＳＳにより決定される。

複合化したマッチスコアの計算
４つの対象の画像の比較（形状比較、グレースケール比較、ウェブレット比較、カラーキューブ比較）はそれぞれ正規化されたマッチングスコアに戻される。データベースの画像に対する入力画像の顕著な特徴のマッチの独立した複数の評価がある。あらゆる単一の比較プロセスにおける不確実性の影響を最小化し、それによって誤ったマッチを返すおそれを最小化するために、現在マッチ＝ＳＱＲＴ(Ｗ_ｏｃＭ_ｏｃ ^２＋Ｗ_CCCＭ_CCC ^２＋Ｗ_WCＭ_WC ^２＋Ｗ_SGCＭ_SGC ^２)という根二乗和の関係を使用して個々の比較の結果が画像のマッチスコアに組み込まれる。Ｗ_ｓはＴＢＤパラメータ重み付け係数でＭ_Ｓは４つの異なる比較の個々のマッチスコアである。

特有のデータベース検索法とそれに続く対象マッチングスコアが、特別の関心に値する本発明の新規な面である。参照画像と入力画像の領域の個々の分解（decomposition）が画像の顕著な特徴の独立した特性の記述を表している。ウェブレット分解、カラーキューブ分解、形状分解、及び副標本を取った入力画像の低解像度クレースケール評価のすべてが、画像を独立の方法で表現する一組のパラメータを生成する。テストされる画像についてこれら４種類のプロセスのすべてが完了すると、各特性記述（characterization）により供給されるパラメータが、予め計算されてデータベースに記憶されている参照画像の同一の特性記述の結果と比較される。これらの比較ないしは検索は並列で実行される。各検索の結果は、「適合ないしはマッチ（match）」する（すなわち、統計学的に等価である）顕著な特性の数の重み付けされた測定値である、数値スコアである。殆ど等価であることも留意され、累積スコアに計算されるが、重み付けは大幅に低減される。

本発明のデータベース検索方法の新規な側面は、独立の検索が並列に実行されるだけでなく、すべての低解像度グレースケール比較が「収束性（convergent）」である点にある。この収束性は、データベース全体のより小さなサブセットについて入力画像パラメータが連続的に検索されることを意味する。統計的マッチ及びほぼマッチを見付け出すために、すべてのデータベースのレコードにおいて画像からの最大の重み付けを持っているパラメータが最初に比較される。この比較に基づいて、正規化された仮のスコア（例えばゼロから１に縮尺された値で、１は完全なマッチでゼロは全くマッチしないことを示す。）が計算される。次に、許容し得る最小の閾値を上回る初期値の仮のスコアを有するデータベースのレコードについてのみ、入力画像特性記述による重み付けが次に大きいパラメータが検索される。これによって、累積的に仮のスコアに組み込まれてスコアが増加する。次に、前述の累積的なテストの組において同一の許容可能な最小の閾値を上回る仮のスコアの累積を有するデータベースのレコードについてのみ、後続の重み付けが小さくなるパラメータの比較が評価される。

この検索技術によりロバスト性のあるマッチが迅速に完了すると共に、後続の組み合わせマッチ計算（combined match calculation）における制限が確立し、このプロセスの速度が上がる。これらの比較における検索の収束性により、データベース全体のサブセットが順位付けられる。

これらのデータベース比較の個々の結果は、分解検索法の機能としての、各画像のマッチ品質の順位である。許容し得る閾値を上回る最終的な累積スコアを有する画像のみが、次のステップである組み合わせマッチ評価で評価される。

４つのデータベース比較プロセス、すなわち形状比較、グレースケール比較、ウェブレット比較、及びカラーキューブ比較が実行される。これらの処理は連続的に実行してもよいが、一般に並列計算プラットフォームで並列的に実行されることが好ましい。各比較法は、それらの画像のマッチングスコアに従って、特定のアルゴリズムにより画像データベース全体を検索して最良のマッチを与える画像を戻す。これらの比較アルゴリズムはセグメントグループについて実行され、各入力画像のセグメントグループは各データベースの各セグメントグループと比較される。

図３Ａ及び図３Ｂは、データベースマッチングプロセス中のプロセスフローを示す。こでは最も内側のループ内に４つの並列プロセスを有する４つのネストループを含むものとしてアルゴリズムが表現されている。この構造は提示及び説明のみのためのものである。最も内側の層で同じ操作を実行しているが、現実の実施ないしは実装では、並列計算及びデータインデックス技術のような処理速度向上技術の利益を最大限に達成するために異なる構造を採用することができる。ループ構造は、図３Ａ及び３Ｂに示すような共用のアプローチではなく、内部の個々の比較について独立に実行できることに留意することが重要である。

好適には、複数のＣＰＵ（中央演算処理ユニット）及び／又はコンピュータ間でタスクを分割するために並列処理が使用される。全体のアルゴリズムを以下のような幾つかの方法で分割することができる。

外側のループの共用：
この方法では、すべてのＣＰＵが外側のループを含むアルゴリズム全体を実行するが、１つのＣＰＵは最小のＮサイクルについてループを実行し、次のＮサイクルについては残りのＣＰＵが同時に実行する。

比較の共用：
この方法では、１つのＣＰＵがループ機能を実行する。比較が実行されるときには、各比較は別個のＣＰＵに渡されて並列に実行される。

データベースの共用：
この方法では、ＣＰＵ間でのデータベース検索の分割を伴い、各ＣＰＵがデータベースの１つのセクションの検索を担当し、複数のＣＰＵでセクションが並列に検索される。これは本質的には前記「外側のアルゴリズムの共用」技術の一形態である。

実際の実装では利用可能なハードウエア上でプロセスを最適化する前記技術のいくつかを組み合わせることができる。

速度を最大にするために使用できる他の技術はデータインデキシング（data indexing）である。この技術では、データベースの潜在的にマッチを含む部分を検索するためだめに、データがどこに存するについての「事前」の認識を利用する。ハッシュテーブル、データ区画化（ある値範囲内のデータがある場所に格納される。）、データソーティング、及びデータテーブルインデキシングのような種々の形態のインデキシングを使用することができる。形状比較アルゴリズム（以下参照）におけるそのような技術の例では、値Ａの領域全体についてデータベースが検索される場合には、アルゴリズムがこの近似値（approximate value）をどのデータベースが登録しているのか、ないしはどのデータベース領域が有するかを知っており、データベース全体を検索する必要がない。

他の使用される技術は以下の通りである。図４は本発明の単純化した構造を示す。実線の箱は、プロセス、ソフトウエア、物理的対象、又は装置を示している。破線の箱は情報を示す。プロセスは目的の対象、すなわち目標対象１００で開始する。顧客用途の場合、目標対象１００は、例えば飲料缶、音楽ＣＤボックス、ＤＶＤビデオボックス、雑誌広告、ポスター、劇場、店舗、建築物、自動車、又はユーザが興味を持ち、ないしは対話を望むあらゆる対象があり得る。セキュリティ用途の場合、目標対象１００は、例えば人、パスポート、又は運転免許証等があり得る。産業用途の場合、目標対象１００は、例えば機械の一部、組み立てラインの一部、倉庫内の箱、又は軌道上の宇宙船当があり得る。

端末１０２は、デジタルカメラ１０３、ビデオカメラ、又は物理的対象をその対象のデジタル表現に変換する何らかの装置のような「画像」取り込み装置を有する計算装置である。画像は、単一の画像、一連の画像、又は連続するビオストリームである。説明を簡略化するために、ここではデジタル画像は単一の画像の意味で使用するが、本発明及びこのシステムは前述のすべての種類の画像に使用することができる。

カメラ１０３が目標対象１００のデジタル画像を取り込んだ後、画像処理１０４のソフトウエアは、識別サーバ１０６に送って分析するために、デジタル画像を画像データ１０５に変換する。通常、識別サーバ１０６との通信を提供できるネットワーク接続が設けられる。画像データ１０５は目標対象１００のもとの画像から引き出され、ないしは変換されたデータであり、ソフトウエア又はハードウエアである対象認識１０７による目標対象１００の識別に必要な情報内容を有している。画像データ１０５は、本発明の特定の実施形態に応じて、いかなる態様をも取り得る。
画像データ１０５の例には、
カメラ１０３からの生の画像が圧縮（例えばＪＰＥＧ２０００）された形態、
カメラ１０３からの生の画像のスペクトル及び／又は空間周波数成分（例えばウェブレット成分）のようなキー画像情報、及び
カメラ１０３からの生の画像から生成されたＭＰＥＧビデオストリームがある。

画像データ１０５の形態と画像処理１０４で実行される操作は、
対象認識１０７で使用されるアルゴリズム及びソフトウエア、端末１０２の処理能力、端子１０２と識別サーバ１０６の間のネットワーク接続速度、
システムの用途、及び
必要なシステム応答時間による。

一般に、ネットワーク接続速度（端末１０２と識別サーバ１０６との間）と端末１０２の処理能力との間には兼ね合いがある。前述の兼ね合いのすべての結果が、特定の実施形態についての画像処理１０４及び画像データ１０５の性質を規定する。例えば、画像処理１０４は画像圧縮で、画像データ１０５が圧縮された画像の場合もあり、あるいは画像処理１０４はウェブレット分析で画像データ１０５がウェブレット係数の場合もある。

画像データ１０５は端末１０２から識別サーバ１０６に送信される。識別サーバ１０６は画像データ１０５を受信して対象認識１０７に渡す。

識別サーバ１０６は、通常は端末１０２とは別個の計算プラットフォームに存在する一組の機能であるが、同一の計算プラットフォームに存在してもよい。識別サーバ１０６がデータセンタのコンピュータのような別個の計算装置に存在する場合には、識別サーバ１０６への画像成分１０５の送信は、携帯電話ネットワーク、無線インターネット、インターネット、及び電線ネットワークのようなネットワーク又はネットワークの組み合わせによりなされる。識別サーバ１０６が端末１０２と同一の計算装置に存在する場合には、この送信は一つのソフトウエア部品から他のプロセスへの単なるデータの送信からなる。

端末１０２とは別個の計算プラットフォームに識別サーバ１０６を配置することにより、対象認識１０７及びデータベース１０８の機能のために強力な計算資源を使用することができ、これらの計算資源の能力がネットワーク接続を介して端末１０２に提供される。例えば、データセンタにおいて大規模な格納、記憶容量及び処理能力が利用可能であれば、数百万の既知の対象のデータベースから対象を識別する実施形態が容易となるが、そのような計算能力及びストーレイジを可搬装置が有することは容易ではない。端末１０２と識別サーバ１０６が同一の計算プラットフォームにあるか別個のプラットフォームにあるかは、システム応答時間、データベースのレコードの数、画像認識アルゴリズムの計算能力及び端末１０２で利用可能なストーレイジ等によるアーキテクチャ上の決定であり、この決定は本発明の個々の実施形態についてなされなければならない。現在の技術に基づくと、殆どの実施形態ではこれらの機能は別個の計算プラットフォームにあることになる。

識別サーバ１０６の全体的な機能は、画像データ１０５に基づいて、目標対象１００に対応する目標対象情報１０９を決定して供給することである。

対象認識１０７及びデータベース１０８は、
１．画像中のバーコード又はテキストのような記号の検出、認識、及び復号化
２．画像中の対象（目標対象１００）の認識
３．目標対象１００に対応する目標対象情報１０９の提供
を協働して行う。目標対象情報１０９は通常（実施形態に応じて）目標対象１００に対応するアドレス情報を含む。

対象認識１０７は、入力画像中のバーコード、テキストのような記号を検出して復号化する。これはこの機能に応じたアルゴリズム、ソフトウエア、及び／又はハードウエアコンポーネントでなされる。この種のコンポーネントは購入可能である（一例はＭＶＴｅｃのザ・ハルコン・ソフトウエアパッケージ（The HALCON software package）である）。また、対象認識１０７は目標対象１００又はその部分の画像を認識する。この認識は、画像データ１０５の分析及び他のデータとの結果の比較、既知の対象の複数の画像の表示、データベース１０８への格納、及び目標対象１００の表示がデータベース１０８に格納されている場合の目標対象１００の認識によってなされる。

いくつかの実施形態では、端末１０２は、ウェブブラウザ（ブラウザ１１０）のようなソフトウエアを含み、このソフトウエアは情報アドレスを受信し、インターネットのような一つ又は複数のネットワークを介して当該情報アドレスに接続し、その情報アドレスの他の計算装置と情報を交換する。顧客用途では、端末１０２はカメラ１０３と無線インターネット接続を備える可搬の携帯電話や個人用携帯情報端末であってもよい。セキュリティ及び産業用途の場合、端末１０２は同様の可搬の手持ち式の装置であってもよく、位置及び／又は向きが固定されていてもよく、無線又は有線のいずれのネットワーク接続でもよい。

他の対象認識技術も存在し、これらの技術はデータベースに（２次元よりむしろ）３次元のモデルを格納し、多くは市場で入手可能又は従来技術から得られる対象認識技術によって入力画像の目標対象のモデルに対する相関関係の算定を実行する方法を含む。通常、このような対象認識技術は入力画像と複数の既知の画像との比較と、当該新たに入力画像と当該既知の１つ以上の画像間の対応の検知を含む。既知の画像は複数の視野角からの既知の対象の視像であるので、カメラ１０３に対する任意の向きでの２次元及び３次元の対象を認識できる。

図４では、単純化のために、対象認識１０７とデータベース１０８を別個の機能として示している。しかしながら、多くの実施形態では、対象認識１０７とデータベース１０８は単一のプロセスとみなせる程度に密接に相互依存している。

対象認識記述には非常に多くの選択肢があり、その選択に応じて対象認識１０７及びデータベース１０８内で特定のプロセスが実行される。この選択は本発明の実施形態の性質、要求、及びアーキテクチャによる。しかしながら、通常、殆どの実施形態で以下の画像認識技術の望ましい特徴の多くを共有する。
２次元（例えば平面）及び３次元の両方で対象が認識可能であること。
前景又は背景の対象ないしは画像情報から目標対象１００を識別することができること、すなわち背景の変化に対してロバスト性を有すること。
速さ。
自律性（認識プロセスに人間の補助は必要とされない。）。
拡張性。短い応答時間で大規模な既知の対象のデータベースから対象を識別できる。
以下に関してロバスト性を有すること。
アフィン変換（回転、移動、拡大縮小）、
非アフィン変換（伸展、曲げ、破壊）、
（目標対象の）閉塞（occlusions）、
（目標対象上の）影、
（目標対象での）反射、
光線の色温度の変化、及び
画像ノイズ。
もとの画像における目標対象１００の位置及び向きを決定できること。
膨大な数の人間の顔を含むデータベースから個々の人間の顔を認識できること。

これらの特徴のすべてがすべての実施形態に適用されるわけではない。例えば、顧客関連の実施形態では、目標対象１００の位置及び向きを決定する必要はないが、宇宙船の目標位置及び向きの決定システムでは人間の顔や他の多数の異なる対象を識別する必要がある。

通常、データベース１０８が拡張性を有し、データベース１０８内の非常に多数（例えば数１００万）の既知の対象から目標対象１００を識別できることが望ましい。アルゴリズム、ソフトウエア、及び計算ハードウエアは、そのような検索を迅速に実行するために協働して機能するように設計しなければならない。このような迅速な検索を実行するためのソフトウエア技術の例では、画像データ１０５をデータベース１０８に格納されたデータと比較するために、データベースのクラスタリング及び多重解像度距離比較（multi resolution distance comparisons）と共に、メトリック距離比較技術（metric distance comparisons）を使用する。この技術は、西暦２０００年のソン（song）、キム（Kim）、及びラ（Ra）による「効率的な画像検索に基づく高速で網羅的な多重解像度検索アルゴリズム（Fast Exhaustive Multi-Resolution Search Algorithm Based on Clustering for Efficient Image Retrieval）」に記載されている。

このようなソフトウエア技術に加え、並列処理計算アーキテクチャを大規模なデータベースにおける高速検索を達成するために使用することができる。非メトリック距離が対象認識１０７に使用されている場合には、データベースクラスタリングと多重解像度検索を使用することができず、複数のＣＰＵでデータベースを区切ることで全データベースを検索しなければならないので、並列処理が特に重要となる。

前述のように、画像認識１０７は目標対象１００の識別マークを検知することもできる。例えば、目標対象１００は識別番号又はバーコードを含んでいてもよい。この情報は復号化してデータベース１０８における目標対象１００の識別又は識別の補助に使用することができる。また、この情報は目標対象情報１０９の一部として送ることができる。この情報が目標対象情報１０９の一部として含まれる場合、端末１０２やコンテンツサーバ１１１が外観は同様で識別マークのみが異なる多くの対象から特定の目標対象１００を識別するために使用することができる。例えば、目標対象１００がネットワーク接続を備えるアクティブな装置であってコンテンツサーバがこの目標対象１００との通信を確立する場合に、この技術が有用である。同様の対象をそれらの位置で識別するために、グローバルポジショニングシステムを組み合わせることができる。

対象認識１０７はハードウエア、ソフトウエア、及びこれらの両方の組み合わせで実行してもよい。各カテゴリーの例を以下に示す。

ハードウエアによる対象認識の実行には、光学相関器、最適化された計算プラットフォーム、及び特別仕様のハードウエアを含む。

光学相関器は、光線に対する画像相関計算を効率的に実行することにより、非常に迅速に画像中の対象を検知する。光学相関器の例は以下の通りである。
ノースロップ・グラマン社（Northrop Grumman Corp）のリットン小型耐久光学相関器（Litton Miniaturized Ruggedized Optical Correlator）、
英国のサセックス大学の工学情報技術校（School of Engineering and Information Technology, University of Sussex, UK）のハイブリット・デジタル／光学相関器（Hybrid Digital/Optical Correlator）、及び
カナダのケベック州のＩＮＯのＯＣ−ＶＧＡ３０００及びＯＣ−ＶＧＡ６０００光学相関器。

最適化された計算プラットフォームは、通常は単一基板のハードウエア計算システムであり、画像処理及び認識アルゴリズムを非常に高速で実行するために最適化されている。これらのプラットフォームは選択した対象認識アルゴリズムでプログラムされていなければならない。最適化された計算プラットフォームの例は以下の通りである。
アーバイン・センサーズ社（Irvine Sensors Corp）のＶＩＰ／バルボア（登録商標）画像処理ボード（VIP/Balboa Image Processing Board）、及び
アーバイン・センサーズ社の３ＤＡＮＮ（登録商標）−Ｒ処理システム（3DANN-R Processing System）。

画像認識計算は、用途特定集積回路（Application Specific Integrated Circuits：ＡＳＩＣｓ）、現場書換可能ゲートアレイ（Field Programmable Gate Arrays：ＦＰＧＡｓ）、及びデジタル信号プロセッサ（Digital Signal Processors）のような用途特定ハードウエアで直接的に実行することもできる。

市場で入手可能な多くの対象及び画像認識ソフトウエアアプリケーションや文献に発表された多くのアルゴリズムがある。市場で入手可能な画像／対象認識ソフトウエアパッケージには以下のものがある。
サンディア・ナショナル・ラボラトリーズ（Sandia National Laboratories）の対象認識システム、
エボリューション・ロボティクス（Evolution Robotics）の対象認識知覚モジュール、アトラソフト（Attrasoft）のイメージファインダ（ImageFinder）、
ロズ・ソフトウエア・システムズ（Roz Software Systems）のイメージウエア（ImageWare）、及び
イマジス・テクノロジーズ（Imagis Technologies）のＩＤ−２０００。

これらの認識システムのいくつかは３次元対象認識を含むが、残りは２次元画像認識を実行する。後者のタイプは、入力画像を複数の視野角からの対象の複数の２次元の視像と比較することにより、３次元対象認識の実行に使用される。

文献で発表されたソフトウエアでの実行を意図した画像認識アルゴリズムの例としては以下のものがある。
ラデス（Lades）他、「動的リンクアーキテクチャにおけるひずみ不変対象認識」（Distortion Invariant Object Recognition in the Dynamic Link Architecture），１９９３年
メル（Mel），シーモア（SEEMORE）：「可視対象認識に対するニューラル刺激アプローチにおける色、形状、及び模様ヒストグラムの組み合わせ」（Combining Color, Shape, and Texture Histogramming in a Neutrally Inspired Approach to Visual Object Recognition），１９９６年
リョン（Leung）他，「確率アフィン不変量」（Probabilistic Affine Invariants），１９９８年
ネン（Nene）他，「外観マッチングのためのソフトウエア・ライブラリ」（Software Library for Appearance Matching（SLAM）），１９９４年
ポープ及びロウ（Pope&Lowe），「３次元対象認識のための外観の確率モデル」（Probabilistic Models of Appearance for 3-D Object Recognition），２０００年
オサダ（Osada）他，「形状ひずみを有する３次元モデルのマッチング」（Matching 3D Models with Shape Distribution），２００１年
フォーサイス（Forsyth）他，「膨大な画像中での対象の画像の発見」（Finding Pictures of Objects in Large Collections of Images），１９９６年
コーエン及びギバス（Cohen & Guibas），「変換セット下のアース・ムーバーズ・ディスタンス」（The Earth Mover's Distance under Transformation sets），１９９９年
ロウ（Lowe），「ローカルスケール−不変特徴による対象認識」（Object Recognition from Local Scale-Invariant Features），１９９９年
ベツケ及びマクリス（Betke & Makris）,「シミュレーティド・アニールを使用したノイズの多い画像における高速対象認識」（Fast Object Recognition in Noisy Images Using Simulated Annealing）,１９９４年

この発明の一部は、対象認識１０７及びある範囲でデータベース１０８に専用の以下の対象認識アルゴリズムである。このアルゴリズムは閉塞、反射、影、背景／前景散乱、対象のひずみ及び破壊に対してロバスト性を有し、大規模のデータベースに拡張可能である。このアルゴリズムのタスクは、多数の対象のデータベースが各対象の多数の（異なる視野角からの）視像を有する場合に、入力画像中の対象又はその一部を見付け出すことである。

このアルゴリズムでは、画像のローカルな領域中の情報を要約するために、ローカル画像記述子（Local Image Descriptor：ＬＩＤ）の概念を使用する。ＬＩＤは、画像の一部の円形サブセットないしは「切り抜き」である。ＬＩＤには種々の表現がある。２つの例を示す。

ＬＩＤ表現１
ＬＩＤ内の領域は範囲及び角度の瓶に分割される。各（範囲及び角度の）瓶における平均色はその中の画素値から計算される。

ＬＩＤ表現２
ＬＩＤ内の領域は範囲の瓶に分割される。各範囲の瓶内の色ヒストグラム値がその中の画素値から計算される。各瓶について、角度に対する色の変化の量、例えば範囲の瓶の隣接する小さな角度部分間の平均色の変化の総和が計算される。

Ｌ１距離（L1 Distance）、L2（L2 Distance）、展開距離（Unfolded Distance）、アースムーブティスタンス（Earth Mover Distance）、又は相関法のような比較技術により、入力画像のＬＩＤがデータベース画像のＬＩＤと比較される。距離が短いことはＬＩＤに潜在する画像の部分間に良好なマッチがあることを示している。入力画像及びデータベースの画像ＬＩＤの位置及びサイズをインタラティブに（interatively）変更することにより、アルゴリズムは２つの画像の円形領域間の最良のマッチに収束する。

画像のサブセット（円形ＬＩＤ）に比較を限定することにより、アルゴリズムは背景から対象を弁別することができる。背景とは対象的に、対象に位置するＬＩＤのみがデータベースの画像との良好なマッチをもたらす。また、この技術により部分的に閉塞した対象のマッチングが可能であり、閉塞した対象の可視の部分に位置するＬＩＤが対象のデータベースの画像中の対応する位置のＬＩＤとマッチする。

遺伝的検索（genetic search）、最急降下法（steepest descent）、又は多変数最適化に適した他の同様の技術を単独で又はシミュレーティッド・アニーリングと組み合わせて使用することもできるが、最良のマッチを見付け出すための反復技術は、シミュレーティッド・アニーリングである。シミュレーティッド・アニーリングは、溶融物質が冷却して固体へ固化することにならってモデル化されている。アルゴリズムは所定温度で開始し時間経過に伴って温度が低下する。各温度段階で、検索変数の値がそれらの以前の値から摂動（perturb）され、ＬＩＤの新たな「子（child）」世代が生成される。摂動（perturbation）は統計学的に計算され、それらの強度は温度の関数である。温度が低下すると、摂動のサイズも小さくなる。入力画像及びデータベースの画像における子のＬＩＤが比較される。マッチが以前の「親」の世代で得られるマッチよりも良好であれば、子のＬＩＤを現在の最良のマッチとして許容するか拒否するかに関する統計学的判断がなされる。これはマッチ距離と温度の両方の関数である統計学的判断である。子が許容される確率は、温度に伴って増加し、マッチ距離に伴って減少する。従って、良好なマッチ（小さなマッチ距離）が許容される可能性が高いが、時として不十分なマッチが許容される可能性がある。後者の場合は、温度が高いプロセスの初期に起きる可能性が高い。不十分なマッチの許容は、ローカルミニマムないしは局所的最小（local minima）からのアルゴリズムの「ジャンプ」の許容に含まれる。

ＬＩＤ表現１が使用される場合、ＬＩＤの回転角度はシミュレーティッド・アニーリング検索パラメータである必要はない。回転に単純な段階的検索（step-wise search）を実行し、シミュレーティッド・アニーリングの各時間段階内で、最良の向きを（段階のサイズの許容内で）見付け出すことにより、より高速な変換が得られる。

入力画像及びデータベースの画像における検索変数は以下の通りである。
ＬＩＤｘ−位置、
ＬＩＤｙ−位置、
ＬＩＤ半径、
ＬＩＤｘ−伸び、
ＬＩＤ y−伸び、及び
ＬＩＤ配向角（ＬＩＤ表現１についてのみ）

ＬＩＤｘ−伸びとＬＩＤｙ−伸びはＬＩＤの円に対して加えられる「伸び（stretch）」ひずみの尺度であり、この円を楕円にするひずみを測定する。これは入力画像とデータベースの画像間の向き及び曲率の相違に対するロバスト性の付与に含まれる。

多数のＬＩＤを同時に使用することで、閉塞、影、反射、回転、ひずみ、及び対象の破壊に対してさらにロバスト性を与えることができる。多数の入力画像ＬＩＤについての最良のマッチがデータベースの画像全体について探索される。入力画像のＬＩＤは、互いにある最小分離距離に留まるように制限される。この２つのＬＩＤ中心間の最小距離は、ＬＩＤ半径の関数である。入力画像のＬＩＤは、あらゆるデータベースの画像のあらゆる領域に対して最良の対応を有する入力画像の領域に収束及び定着する。従って、ＬＩＤは、例えば容器の底のような表面の最も低い位置へ転がる小石のような挙動を示すが、（ＬＩＤは一般に半径よりも小さい最小分離距離を有するが）半径程度は離れるように保持される。

入力画像中のＬＩＤがデータベースに現われているような既知の形態に対してひずみないしは湾曲して現われている場合には、多数の入力画像のＬＩＤが異なるデータベースの画像とマッチする。入力画像のＬＩＤは、その入力画像と最もよく似ている対象の基礎的な部分を表すデータベースの画像にマッチする。例えば曲がったポスターのように入力画像の対象が曲がっていれば、ある部分があるデータベースの向きとマッチし、他の部分は異なる他の向きとマッチする。

閉塞又は物理的破壊のいずれかによって入力画像が多数の破片に壊れて現われている場合も、多数のＬＩＤを使用することでロバスト性のあるマッチングが与えられる。すなわち、個々のＬＩＤは、データベースマイクロプロセッサ中の種々の視像における対象の対応する部分にマッチしたときに、入力画像の対象の部分に「定着（settle）」する。

影及び反射に関するロバスト性は、ＬＩＤが単にこれらの入力画像の領域で良好なマッチを検知しないことにより与えられる。影及び反射は閉塞と同様の方法で効果的に調整される。

湾曲及び曲げに関するロバスト性は、多数の技術により調整される。第１に、多数のＬＩＤを使用することで前述のようにロバスト性が付与される。第２に、湾曲及び曲げのロバスト性は、ＬＩＤ中心からの距離に伴って増加するＬＩＤ範囲瓶サイズ（LID range bin sizes）を使用することで（例えば対数間隔（logarithmic spacing））、各ＬＩＤ内である程度付与される。入力画像とデータベースの画像にマッチングポイントがあれば、このマッチングポイントにおける平面目標（plane target）から離れた入力画像の対象の変形は、マッチングポイントからの距離に伴って増大する。（範囲及び角度の両方における）外側瓶の瓶サイズがより大きく、画像シフトに対する感度が低いので、この敏感度が低減される。

照明色温度に関するロバスト性は、各ＬＩＤ内の各色チャンネルを正規化することにより付与される。

特に大規模なデータベースの高速性能は、以下の幾つかの技術で得ることができる。

１．ＬＩＤ表現２を使用すると回転不変により検索の総量を減少することができるが、画像情報の損失のためにロバスト性にいくらかコストがかかる。

２．メトリック距離（例えば、Ｌ１、Ｌ２、又は展開）がＬＩＤ比較に使用されると、三角不等式に基づくデータベースクラスタリングをデータベースの大部分を検索から除外するのに使用することができる。データベースＬＩＤはアルゴリズムの実行中に生成されるので、ラン・タイムのデータベースＬＩＤはクラスタ化されない。むしろ、データベースの準備中に、有効範囲にわたって検索パラメータがサンプリングされることによりデータベースの画像からサンプルＬＩＤが生成される。このデータから、各画像及び画像の部分について、境界クラスタが生成される。この情報により、アルゴリズムは検索パラメータ空間の一部を除外することができる。

３．メトリック距離が使用されると、連続多重解像度検索（progressive multiresolution search）を使用することができる。この技術は、最初にデータを低解像度で比較し、現在最適のマッチよりも良好な相関を有する候補についてのみ次のより高解像度の比較を進めることにより、時間を節約することができる。データベースクラスタリングに従ったこの技術の議論は、ソン（song）他，「効率的な画像検索のためのクラスタリングに基づく高速で網羅的な多重解像度検索アルゴリズム（Fast Exhaustive Multiresolution Search Algorithm Based on Clustering for Efficient Image Retrieval）」，２０００年にある。

４．パラメータ検索空間及びＬＩＤの数は制限することができる。データベースの画像に対する入力画像の対象の予想されるサイズに基づいて、例えばＬＩＤのサイズに限界を設定することができる。ある程度のロバスト性を犠牲にして、１個のような少数のＬＩＤを使用することができる。

５．ＬＩＤはデータベース画像に固定することができる。これによって、ある程度のロバスト性を犠牲にして、データベースＬＩＤパラメータの反復検索をなくすことができる。

６．「ｘ−伸び」と「ｙ−伸び」の検索パラメータはなくすことができるが、これらの検索パラメータとデータベースの画像の数の得失評価となる。これらのパラメータは、同じ対象の異なる向きの画像間をマッチさせる能力を向上させている。これらのパラメータをなくすと、特定の実施形態では、より狭い角度間隔でのより多くのデータベースの画像が必要となる場合がある。

７．計算能力を増大させるために並列処理を使用することができる。

この技術は、ベツケ及びマクリス（Betke & Makris），「シミュレーティド・アニールを使用したノイズの多い画像における高速対象認識」（Fast Object Recognition in Noisy Images Using Simulated Annealing）,１９９４年に記載の技術と同様であるが、以下の重要な区別がある。すなわち、
このアルゴリズムは閉塞に対してロバスト性がある。これは、データベースの画像の非閉塞の部分をマッチさせるために、検索プロセス中にデータベースの画像におけるＬＩＤのサイズ及び位置を変更することにより可能となる。
このアルゴリズムは、データベースのあらゆる角度の対象の視像を格納することにより、３次元の対象を識別することができる。
このアルゴリズムは、大規模なデータベースの迅速な検索を可能にするためにデータベースクラスタリングを使用している。
このアルゴリズムは、円形のＬＩＤを使用する。

画像情報の格納に加え、データベース１０８はアドレス情報を格納している。目標対象１００が識別された後、目標対象１００に対応する情報を見付けるためにデータベース１０８が検索される。この情報は、インターネットＵＲＬのような情報アドレスであってもよい。次に、識別サーバ１０６は、この情報を目標対象情報１０９の形態で端末１０２に送信する。本発明の実施形態に応じて、目標対象情報１０９は、目標対象１００に関連する１以上の以下の情報アイテムを含んでいてもよいが、これらに限定されるわけではない。すなわち、
情報アドレス（例えば、インターネットＵＲＬ）、
アイデンティティないしは身元（例えば、対象の名称、数、分類等）、
位置、
向き、
色、
状態、
記号から復号化され及び／又は参照された情報（例えば、バーコード中の情報コード又はそのようなバーコードで参照されているＵＲＬ）、及び
他のデータ（例えば英数字テキスト）がある。

従って、識別サーバは画像データ１０５から目標対象１００の身元及び／又は特質を決定する。

目標対象情報１０９は端末１０２に送信される。この情報は通常は端末１０２から識別サーバ１０６へ画像情報を送信するために使用される通信経路と同一の経路を流れるが、必ずしもそうとは限らない。この情報を流す方法は、本発明の特定の実施形態による。

端末１０２は目標対象情報１０９を受信する。次に、端末１０２は、目標対象情報１０９に基づき、ある１つ又は複数の動作を実行する。この１つ又は複数の動作は以下のものを含んでもよいが、これに限定される分けではない。すなちわ、
ウェブサイトへのアクセス。
端末１０２におけるソフトウエアプロセスへのアクセスないしは開始。
インターネットのような１又は複数のネットワークを介した他のコンピュータにおけるソフトウエアプロセスへのアクセスないしは開始。
ウェブサービス（インターネットを介してアクセスするソフトウエアサービス）。
目標対象情報に含まれ、あるいはそれから決定された電話番号、端末１０２に格納された電話番号、又はユーザが入力した電話番号への通話の開始（端末１０２がそのような機能を有する場合）。
目標対象情報に含まれ、あるいはそれから決定された無線周波数、端末１０２に格納された無線周波数、又はユーザが入力した無線周波数への通話の開始（端末１０２がそのような機能を有する場合）。
ウェブサイト、ソフトウエアプロセス（他のコンピュータ又は端末１０２）、又はハードウエア要素への目標対象情報１０９に含まれる情報の送信。
テキスト、グラフィック、アニメーション、ビデオ、又はインジケータ照明のような、スクリーン又は他の視覚表示を使用した情報の表示。
音楽の演奏を含む、音響信号ないしはサウンドの生成。

多くの実施形態では、端末１０２は目標対象情報１０９をブラウザ１１０に送信する。ブラウザ１１０は、本発明の特定の実施形態に応じて、端末１０２に存在していてもよく、存在していなくもてよい。ブラウザ１１０は、目標対象情報１０９に格納された情報アドレスのコンピュータと通信可能で、このコンピュータからの情報にアクセス可能な、ソフトウエア要素、ハードウエア要素、又はその両方である。

殆どの実施形態では、ブラウザ１１０は端末１０２に埋め込まれたウェブブラウザであり、インターネットのような１又は複数のネットワークを介してウェブサイトにアクセス及び通信可能である。しかしながら、目標対象１００の身元、位置、向き、又は状態の表示のみを含むような幾つかの実施形態では、ブラウザ１００はヒューマンユーザや他のソフトウエア要素ないしはアプリケーションに対して目標対象情報１０９を表示又は提供するソフトウエア要素ないしはアプリケーションであってもよい。

ブラウザ１１０がウェブブラウザである実施形態では、目標対象情報１０９に含まれる情報アドレス（通常はインターネットＵＲＬ）に設けられたコンテンツサーバ１１１に接続する。この接続は端末１０２とブラウザ１１０が協調して動作することで有効となる。コンテンツサーバ１１１は情報サーバ及び計算システムである。端末１０２とコンテンツサーバ１１１との間の接続及び情報の交換は、あらゆる情報技術を使用可能であるが、概ね標準のインターネット及び無線ネットワークソフトウエア、プロトコル（例えばＨＴＴＰ、ＷＡＰ等）、及びネットワークにより達成される。物理的なネットワーク接続は、実施形態のシステムアーキテクチャによるが、多くの実施形態では無線ネットワーク及びインターネットを含む。この物理的なネットワークは、端末１０２と識別サーバ１０６を接続するために使用されるネットワークと同じであることが多い。

コンテンツサーバ１１１はコンテンツ情報を端末１０２及びブラウザ１１０に接続情報を送信する。通常、このコンテンツ情報は目標対象１００に関するもので、テキスト、オーディオ、ビデオ、グラフィック、又はブラウザ１１０及び端末１０２で使用可能なあらゆる形態の情報がある。幾つかの実施形態では、端末１０２及びブラウザ１１０はコンテンツサーバ１１１に追加の情報を送信する。この追加の情報には端末１０２のユーザの身元や（ＧＰＳシステムや無線周波数測距システムで決定されるような）端末１０２のユーザの位置のような情報がある。幾つかの実施形態では、そのような情報が無線ネットワークキャリアによりコンテンツサーバに供給される。

ユーザはコンテンツサーバ１１１と継続的な対話を実行することができる。例えば、発明の実施形態及び応用に応じてユーザは以下を実行することができる。すなわち、
目標対象１００がオーディオ録音媒体（例えば、コンパクトオーディオディスク）である場合に、ストリーミングのオーディオサンプルを聴くこと、及び
オンライン取引で目標対象１００を購入することがある。購入額は端末１０２にリンクされた口座、個人ユーザ、銀行口座、又はクレジットカードに課金される。

幾つかの実施形態では、コンテンツサーバ１１１が端末１０２内に常駐していてもよい。そのような実施形態では、端末１０２とコンテンツサーバ１１１の通信はネットワークを介さず、端末１０２内で起こる。

目標対象１００が、インターネットのような１又は複数のネットワークを介して他の装置又はコンピュータと通信可能な装置であるか、そのような装置を含み、かつ目標対象情報１０９が特定の目標対象１００の適切な情報（サイン、ナンバー、又はバーコード）を含む実施形態では、コンテンツサーバ１１１はインターネットのような１又は複数のネットワークを介して目標対象１００に接続して情報を交換する。このタイプの実施形態では、端末１０２はコンテンツサーバ１１１に接続され、コンテンツサーバ１１１は目標対象１００に接続される。従って、端末１０２及び目標対象１００はコンテンツサーバ１１１を介して通信可能である。これによって、目標対象１００と端末１０２が直接接続されていないが、ユーザは目標対象１００と対話できる。

以下は本発明の実施形態の例である。

図５は、図４の端末１０２に対応する端末２０２として、計算機能、デジタルカメラ、及び無線ネットワーク接続を備える携帯電話、ＰＤＡ、又はその種の可搬装置を使用する本発明の好適な実施形態である。この実施形態では、端末２０２は識別サーバ２０６及びコンテンツサーバ２１１と携帯電話ネットワーク及びインターネットのようなネットワークを介して接続する。

この実施形態は以下のような応用にも使用することができる（「ユーザ」は端末２０２を操作する者をいい、端末２０２は携帯電話、ＰＤＡ、又は同様の装置であり、「ポイント・アンド・クリック」（point and click）は目標対象２００の画像を取り込んで識別サーバ２０６への画像データ２０５の送信を開始する操作をいう。）。

ユーザが録音された音楽を格納したコンパクトディスク（ＣＤ）や録画されたビデオを格納したデジタルビデオディスク（ＤＶＤ）に対して端末２０２を「ポイント・アンド・クリック」する。端末２０２のブラウザはＣＤやＤＶＤに対応するＵＲＬに接続し、ユーザが選択可能なオプションを表示する。このメニューから、ユーザはＣＤのストリーミングオーディオサンプルやＤＶＤのストリーミングオーディオサンプルを視聴し、あるいはＣＤやＤＶＤを購入することができる。

ユーザは、映画、音楽録音、ビデオ、又は他のエンタテーメントを宣伝する印刷媒体広告、ポスター、又は広告掲示板で端末２０２を「ポイント・アンド・クリック」する。ブラウザ２１０は宣伝されているアイテムに対応するＵＲＬに接続し、ユーザはストリーミングオーディオサンプルの聴取、ストリーミングオーディオサンプルの購入、ショータイムの取得、又はアイテムやチケットの購入が可能である。

ユーザはテレビ画面で端末２０２を「ポイント・アンド・クリック」してリアルタイムでテレビ番組と対話する。例えば、番組は期間限定の安売りを含む製品販促からなる。このテレビ番組の販促中にユーザが「ポイント・アンド・クリック」すると、販促価格で製品を販売しているウェブサイトにリンクされる。他の例としては対話型のテレビ番組があり、ユーザは画面上のコンテンツに応じて特定の時間にテレビ画面を「ポイント・アンド・クリック」して票を投じ、選択を示し、又は画面上の番組とリアルタイムで対話するためのウェブサイトに接続する。

ユーザが消費者製品、製品の広告、ポスター等のような対象を「ポイント・アンド・クリック」することで、端末２０２がその製品を販売する会社に電話をかけ、消費者はその会社の製品やサービスに関して会社の販売代理人と共に決定を行うことができる。この場合、会社の電話番号は目標対象情報２０９に含まれている。目標対象情報２０９が会社のＵＲＬを含む場合には、ユーザは音声及びインターネット（ブラウザ２１０を介して）の両方で同時に会社と対話することができる。

インターネットのようなネットワークへの接続を備え、かつ数字のような固有の識別マークを有する自動販売機（目標対象２００）を「ポイント・アンド・クリック」する。端末２０２は自動販売機を運営する会社のコンテンツサーバ２１１に接続する。識別サーバは固有の識別マークを識別及び復号化することで特定の自動販売機を識別する。この特定の自動販売機の身元は目標対象情報２０９に含められ、端末２０２からコンテンツサーバ２１１に送信される。特定の自動販売機（目標対象２００）の識別を取得したコンテンツサーバ２１１は、その自動販売との通信を開始する。ユーザは、コンテンツサーバ２０２を介して自動販売機と通信する自身の端末２０２を使用して、製品の購入のような自動販売機との取引を実行する。

ユーザは航空機の部分のような機械の部分を「ポイント・アンド・クリック」する。次に、端末２０２は、保守指示や修理履歴のような、その部分に関する情報を表示する。

ユーザは雑誌や新聞の文書を「ポイント・アンド・クリック」して、ストリーミングのオーディオ又はビデオコンテンツ、他の情報等に接続する。

ユーザは自動車を「ポイント・アンド・クリック」する。端末２０６のグローバルポジショニングシステム、セルラーネットワーク無線周波数、又は他の技術により端末２０６の位置が決定される。端末２０２の位置はコンテンツサーバ２１１に送信される。コンテンツサーバは価格及び特徴のようなその自動車に関する情報をユーザに提供し、さらに位置情報に基づいて、その自動車を販売している近隣の自動車ディーラの位置をユーザに知らせる。ユーザが「ポイント・アンド・クリック」した雑誌広告に示されているアイテムを販売する近隣の販売店にユーザを向かわせるために同様の技術を使用することができる。

視覚障害のある人々のために以下が可能である。すなわち、
店舗のいずれかのアイテムをクリックすると装置がアイテムの名称と価格を話す（アイテムがデータベースに存在していなければならない。）
新聞や雑誌の文書をクリックすると装置がその文書を読み上げる。
標識（建築物、道路標識等）をクリックすると、装置がその標識を読み上げて何らかの追加の関連情報を提供する（標識がデータベースに存在していなければならない。）

図６は宇宙船用途の本発明の実施形態を示す。この実施形態では、システムのすべての要素（目標対象３００を除く）は宇宙船の機内に搭載されている。目標対象３００は他の宇宙船ないしは対象である。この実施形態は宇宙船に対する目標対象３００の位置及び向きを決定するために使用され、この情報は目標対象３００に対する宇宙船のナビゲーション、ガイド、及び操縦に使用することができる。この実施形態の使用例は自動的な宇宙船のランデブー及びドッキングがある。

この実施形態では、カメラ３０３で取り込んだ画像における目標対象３００の位置、向き、及びサイズが、取り込んだ画像とデータベース３０８に格納された異なる向きからの目標対象３００の複数の視像との比較により決定されると、宇宙船に対する目標対象３００の位置及び向きが決定される。目標対象３００の相対的な位置及び向きは目標対象情報に出力され、宇宙船のデータシステム３１０が起動及び操縦の計画に使用することができる。

対象のデジタル的、光学的な表現によって対象が識別されるあらゆる分野で産業上の利用可能性がある。

最上位レベルのアルゴリズムの概略的なブロック図。画像取込の概念図。本発明のプロセスの詳細の概略的なブロック図。本発明のプロセスの詳細の概略的なブロック図。本発明の他の説明の概略的なブロック図。携帯電話及び個人用携帯情報端末（ＰＤＡ）への応用についての図４と同様の概略的なブロック図。宇宙船への応用についての概略的なブロック図。

符号の説明

１２ユーザ
１４装置
１８デジタル画像
２０サーバ
１００，２００，３００目標対象
１０２，２０２，３０２端末
１０６，２０６，３０６識別サーバ

Claims

画像を取り込むカメラと、
前記画像の少なくとも一部を末端のサービスへ送信するようにプログラムされた電話装置を備え、
前記サービスは、前記画像を受信し、前記画像内の対象を識別し、前記対象を情報のアドレスと関連付け、前記アドレスを電話装置に返信し、かつ
前記電話装置はさらに、前記対象に関する情報のアイテムを検索するために前記アドレスを使用するようにプログラムされているシステム。
前記電話装置はハンドヘルドコンピュータを備える、請求項１に記載のシステム。
前記電話装置は携帯電話を備える、請求項２に記載のシステム。
前記サービスはさらに、前記画像に対してマルチプルアルゴリズムを適用することで前記対象を識別し、かつ前記マルチプルアルゴリズムの結果と関連付けられた信頼度の関数として前記画像を識別するようにプログラムされている、請求項１に記載のシステム。
前記サービスはさらに、前記対象を含む第２の画像を前記電話装置から受信し、かつさらに両方の画像に含まれるデータの関数として前記対象を識別するようにプログラムされている、請求項１に記載のシステム。
前記対象はいかなるデータとも符号化されていない、請求項１に記載のシステム。
前記画像内のバーコード又は他の記号の識別を含む、請求項６に記載のシステム。
前記サービスは前記電話装置より末端側のコンピュータに格納されている、請求項１に記載のシステム。
前記サービスはさらに、前記電話装置のディスプレイに適したフォーマットのコンテンツを規定する複数のアドレス間からアドレスを選択するようにプログラムされている、請求項１に記載のシステム。
前記情報のアイテムは前記対象に関する商取引を実行するために使用できるデータを含む、請求項１に記載のシステム。
前記電話装置はさらに、前記対象に関する商取引を実行するために前記アドレスを使用するようにプログラムされている、請求項１に記載のシステム。
前記電話装置はさらに、末端のコンピュータのソフトウエアプロセスを開始するために、前記アドレスと前記情報のアイテムのうち少なくとも一つを使用するようにプログラムされている、請求項１に記載のシステム。
前記電話装置はさらに、電話通話を開始するために、前記アドレスと前記情報のアイテムのうち少なくとも一つを使用するようにプログラムされている、請求項１に記載のシステム。
前記電話装置はさらに、無線通信を開始するために、前記アドレスと前記情報のアイテムのうち少なくとも一つを使用するようにプログラムされている、請求項１に記載のシステム。
前記電話装置はさらに、前記サービスから受信したデータをウェブサイトへ送信するために、前記アドレスと前記情報のアイテムのうち少なくとも一つを使用するようにプログラムされている、請求項１に記載のシステム。
前記電話装置はさらに、グラフィックスを表示するために前記アドレスの少なくとも一つと前記情報のアイテムを使用するようにプログラムされている、請求項１に記載のシステム。
前記電話装置はさらに、可聴音を生成するために、前記アドレスの少なくとも一つと前記情報のアイテムを使用するようにプログラムされている、請求項１に記載のシステム。