JP2012524343A - モバイル機器を使用する画像認識のためのシステムおよび方法 - Google Patents

Abstract

実装は、リアルタイム画像認識およびモバイルでの画像検索用のシステムおよび方法に関する。携帯電話などのモバイル機器は画像を取得し、取得した画像を事前処理して、取得した画像で検出されたオブジェクトに基づいて画像検索クエリーを生成する。画像検索クエリーは、取得した画像またはそこから抽出されたクエリー画像、ならびに検出したオブジェクトに関連するメタデータを含む。モバイル機器は画像検索クエリーをリモートサーバーに無線で通信し、画像検索クエリーに応じて、リモートサーバーは、関連するメタデータに基づいてクエリー画像のオブジェクトを認識する。次に、リモートサーバーは、認識されたオブジェクトに基づいて情報コンテンツを生成し、情報コンテンツをモバイル機器に通信してモバイル機器を介して提示する。

Description

米国特許法第119条に基づく優先権の主張
本特許出願は、本出願と同じ出願人に譲渡され、または譲渡された権利の下で、2009年4月14日出願のRicardo dos Santos、Yong Chang、Joseph Huang、Hsiang-Tsun Li、およびDev Yamakawa(リカルド・ドス・サントス、ヤン・チャン、ジョセフ・ファン、シャンツン・リー、およびデブ・ヤマカワによる仮出願第61/169,295号「Systems and Methods for Image Recognition Using Mobile Devices(モバイル機器を使用する画像認識のためのシステムおよび方法)」の優先権を主張するもので、参照により本明細書に明示的に組み込まれるものである。

本願発明は、一般的に、モバイル機器を使用して画像認識および画像検索を実行するための方法および装置に関し、より詳しくは、対象となるオブジェクトを識別し、その識別に基づいて適切なコンテンツを検索するために、ネットワーク認識システムと通信できる縮小された1組の画像パラメーターを抽出するためにモバイル機器で取得した画像を前処理するためのプラットフォームおよび技術に関する。

たとえば、通信装置へのカメラおよび録画技術の統合、移動体通信ネットワークへの電子メールおよびショートメッセージサービスの組み込みなど、移動体通信技術およびモバイル通信装置における進歩は、既にユビキタスなモバイル通信装置に、より優れた柔軟性、処理能力、および通信能力をもたらした。その結果、そのようなモバイル通信装置は、消費者市場においてさらに普及し、現在、多くの消費者が、携帯電話などのモバイル通信装置に依存して、写真を撮りビデオを撮影し、ソーシャルネットワークでメッセージを交換し、購入を決定し、金銭上の取引を行い、他の活動を行っている。

広告および他の情報コンテンツは、意図した受信者によるコンテンツのクリックスルーレートおよびコンバージョンレートに基づいて、対象が選ばれ、通信されて、価格が付けられる。そして、これらは広告内容の関連性および通信のタイミングによって影響を受ける。たとえば、日本では大多数の消費者が、携帯電話を使用して印刷された広告でバーコードの写真を撮り、広告されている製品またはサービスに関連する情報を取得する。そして、適切な広告内容が潜在的消費者の携帯電話に速やかに送信された場合は、そのような広告内容は高いコンバージョンレートを得る可能性がある。潜在的消費者は、自分たちの携帯電話を使用して印刷された広告の写真を撮り、携帯電話は、次に、印刷された広告の写真とともにマルチメディアメッセージングサービス(MMS)メッセージをサーバーに送信する。サーバーは、広告のデータベースを用いて画像を1対1で照合し、約30から60秒後に、サーバーは、印刷された広告に関連するウェブリンクを含むショートメッセージサービス(SMS)メッセージを潜在的消費者に送信する。

しかし、そのような広告および情報コンテンツのターゲティングおよび伝送システムには、印刷された広告の写真を伝送するために相当な量の帯域幅が必要であり、また画像を広告のデータベース全体に照合するために、相当な量のリソースおよび時間を消費する。

以下では、そのような態様についての基本事項を理解するために、1つまたは複数の態様を単純化して要約を提供する。この課題を解決するための手段は、熟考したあらゆる態様の広範な概要ではなく、すべての態様の主な要素または重要な要素を識別したり、一部またはすべての態様の範囲を描写したりすることを意図するものではない。唯一の目的は、後に提示する、より詳細な記述の詳述の前置きとして、単純化された形式で1つまたは複数の態様の一部の概念を提示することである。

1つまたは複数の態様における本願発明によると、画像認識およびモバイルでの画像検索を実行する方法および装置が提供され、モバイル機器の利用者は画像を取得し、モバイル機器を介して画像に関連する情報コンテンツを受信する。本願発明の1つまたは複数の実装では、モバイル機器は、取得した画像の顕著な特徴の集合に基づいて、1つまたは複数のオブジェクトを検出し、分類し、かつ/または認識し、オブジェクトに基づいて画像検索クエリーを生成することができる。画像検索クエリーは、取得した画像またはそこから抽出されたクエリー画像、およびオブジェクトに関連するメタデータを含むことができる。モバイル機器は、リモートサーバーに無線で画像検索クエリーを通信することができ、リモートサーバーは、画像検索クエリーに応じて情報コンテンツを生成することができ、その後、モバイル機器は情報コンテンツを受信し提示することができる。

一態様によると、モバイル機器は、オブジェクトを検出して利用者に対して強調表示し、少なくとも1つの選択されたオブジェクトを示す入力を受信することができる。たとえば、オブジェクトは、ロゴ、図案、顔、建造物、服、記号、自然または人造のオブジェクトなどを含むことができる。次に、モバイル機器は、選択されたオブジェクトに基づいて特徴ベクトルを生成し、特徴ベクトルを対象画像の1組の画像係数と比較して、選択されたオブジェクトに一致する対応対象画像を決定することができる。1組の画像係数は、モバイル機器に格納することができる。その後、モバイル機器は、対応対象画像に基づいて選択されたオブジェクトを分類しかつ/または認識して、対応対象画像に基づいてメタデータを生成することができる。また、モバイル機器は、たとえば、取得した画像をトリミングし、取得した画像を圧縮して、取得した画像をサイズ変更し、取得した画像をグレイスケールに変換することによって、選択されたオブジェクトに基づいて、取得した画像からクエリー画像を抽出することができる。

一態様によると、モバイル機器は、取得した画像に関連する文脈データ(contextual data)を取得するセンサーを含むことができ、画像検索クエリーに文脈データを含めることができる。たとえば、文脈データは、全地球測位システム(GPS)位置決定(location fix)、Assisted GPS(A-GPS)位置決定、ガリレオシステム位置決定、タワーによる三点測量決定(tower trilateration fix)、利用者が入力したテキストまたは聴覚情報、加速度計読取り値、ジャイロスコープ読取り値、温度読取り値などを含むことができる。

一態様によると、モバイル機器は、画像検索クエリーを画像認識システム内のリモートサーバーに無線で通信することができる。クエリー画像およびクエリー画像内の少なくとも1つのオブジェクトに関連するメタデータを含む画像検索クエリーを受信すると、リモートサーバーは、関連するメタデータに基づいてクエリー画像のオブジェクトを認識することができる。たとえば、リモートサーバーは、関連するメタデータに基づいて1組の対象画像を選択し、クエリー画像を1組の対象画像と比較してクエリー画像に一致する対応対象画像を決定し、対応対象画像に基づいて画像のオブジェクトを認識することができる。次に、リモートサーバーは、認識されたオブジェクトに基づいて情報コンテンツを生成し、画像検索クエリーに応じて情報コンテンツを通信することができる。たとえば、情報コンテンツは、名前、価格、製造者、評価、クーポン、および広告を含むことができる。

一態様によると、リモートサーバーは、クエリー画像および関連するメタデータに加えて、クエリー画像に関連する文脈データを含む画像検索クエリーを受信することができる。そのような態様においては、リモートサーバーは、認識されたオブジェクトおよび文脈データに基づいて情報コンテンツを生成し、その後、画像検索クエリーに応じて情報コンテンツをモバイル機器に通信することができる。

一態様によると、ある点においては、モバイル機器は、画像検索クエリーを無線で通信する前に、取得した画像を事前処理するため、モバイル機器は、取得した画像全体の代わりに、取得した画像の関連する部分を抽出し送信できるため、画像検索クエリーを通信する速度を上げ、通信帯域幅要件を下げることができる。さらに、リモートサーバーは、クエリー画像に関連するメタデータおよび/または文脈データを利用して、クエリー画像において対象となるオブジェクトを認識するのを支援し、これによりリモートサーバーは、画像検索の範囲を絞ることができるので、リモートサーバーおよび画像認識システム全体の正確さ、速度、および効率を改善することができる。さらに、リモートサーバーは、関連するメタデータおよび/または文脈データを使用して、情報コンテンツを絞るか、または調整することができる。これによりリモートサーバー、そして結果画像認識システムは、画像検索クエリーに応じて、リアルタイムまたはほぼリアルタイムに、関連する情報コンテンツを提供することができる。

前述および関連する結果を達成するために、1つまたは複数の態様は、以下に完全に記述し、特許請求の範囲において特に指摘する特徴を含む。以下の記述および添付の図面は、1つまたは複数の態様の特定の実例となる特徴を詳細に述べるものである。しかし、これらの特徴は、様々な態様の原理を使用できる様々な方法の一部のみを示すものであり、この記述は、そのような態様およびそれらの等価物をすべて含むことを意図するものである。

本明細書に組み込まれ一部を構成する添付の図面は、本願発明の態様を例示するものであり、記述とともに、本願発明の原理について説明する役割を果たすものである。

本願発明の一実施形態による、ポータブル画像センサーを有するモバイル機器および画像認識システムのバックエンドのリモートサーバーを含む代表的な画像認識システムを示す図である。 本願発明の一実施形態による、モバイル機器の代表的な構成を示す図である。 本願発明の一実施形態による、モバイルでの画像検索および画像認識を促進し参加するための画像認識システムのバックエンドの代表的な構成を示す図である。 本願発明の他の実施形態による、モバイルでの画像検索を可能にして画像認識を促進するために、モバイル機器によって実行される処理のフローチャートを示す図である。 本願発明のさらに他の実施形態による、モバイルでの画像検索を可能にして画像認識を促進するために、画像認識システムのバックエンドによって実行される処理のフローチャートを示す図である。 本願発明のさらに他の実施形態による、代表的なモバイルでの画像検索の処理シーケンスを示す図である。 本願発明のさらに他の実施形態による、代表的なモバイルでの画像検索の処理シーケンスを示す図である。 本願発明のさらに他の実施形態による、代表的なモバイルでの画像検索の処理シーケンスを示す図である。 本願発明のさらに他の実施形態による、代表的なモバイルでの画像検索の処理シーケンスを示す図である。

ここで、本願発明の一実施形態について詳細に記述し、その一例を添付の図面に図示する。可能な場合には、同じ部分または同様の部分を参照するために、図面全体にわたって同じ参考番号を使用する。

ここで、図面を参照して様々な態様について記述する。以下の記述において、説明を目的として、1つまたは複数の態様について完全に理解できるように、多数の具体的な詳細を述べる。しかし、そのような態様は、これらの具体的な詳細がなくても実行できることは明白であろう。

主題の記述において、「代表的」という単語は、実施例、事例、または具体例としての役割を果たすことを意図して使用するものである。本明細書において「代表的」と記述した態様または設計は、必ずしも他の態様または設計より好ましい、または有利なものとして解釈するべきではない。むしろ、代表的という言葉の使用は、具体的な方法で概念を提示することを意図するものである。

さらに、「または」という言葉は、排他的な「または」ではなく、包括的「または」を意味することを意図している。すなわち、特に指定されていない限り、または内容から明らかでない限り、「Xは、AまたはBを使用する」という句は、両立的な自然な順列のいずれもを意味することを意図するものである。すなわち、「Xは、AまたはBを使用する」という句は、次の事例、すなわち、XはAを使用する、XはBを使用する、または、XはAおよびBの両方を使用する、のいずれによっても満たされる。これに加えて、本明細書および添付の請求項において、「1つの(a)」および「1つの(an)」という冠詞は、特に指定されない限り、単数形を意味することが内容から明らかでない限り、一般的に「1つまたは複数の」という意味と解釈するべきである。

さらに、様々な態様または特徴が、多数の装置、構成要素、モジュールなどを含むことができるシステムによって提示されるだろう。様々なシステムは、追加の装置、構成要素、モジュールなどを含むことができ、かつ/または図に関連して記述する装置、構成要素、モジュールなどのすべてを含まなくてもよいことが理解され認識されるであろう。また、これらの方法を組み合わせて使用することもできる。

本願発明の態様は、モバイル機器を介して画像検索および画像認識を実行するためのシステムおよび方法に関する。より詳しくは、1つまたは複数の態様において、およびたとえば図1において一般的に示すように、モバイルでの画像検索および画像認識がモバイル機器130を介して開始され、時間画像認識システム120において実行されるプラットフォームおよび技術が提供される。一実施形態によると、およびたとえば図1および図2に一般的に示すように、モバイル機器130は、画像100を取得して事前処理し、モバイルでの画像検索を開始することができる。モバイル機器130は、画像100において、顕著な特徴の集合、または対象となる特徴に基づいて、1つまたは複数のオブジェクトを検出することができ、パターン115など、検出したオブジェクトを強調表示して、オブジェクトを対象画像と比較してオブジェクトを分類または認識することができる。モバイル機器は、分類または認識されたオブジェクトに基づいて、取得した画像から部分画像を抽出することができる。また、モバイル機器130は分類または認識されたオブジェクトに基づいてメタデータを生成することができ、全地球測位システム(GPS)位置など、画像100に関連する文脈データを取得することができる。モバイル機器130は、取得した画像またはそこから抽出した部分画像、および関連するメタデータおよび/または文脈データを含む画像検索クエリーを生成し、無線接続132および無線サービスプロバイダー150を介してリモートサーバー140に通信することができる。1つまたは複数の実施例では、抽出された部分画像は、取得した画像よりファイルサイズが小さい。このため、取得した画像全体ではなく、抽出された部分画像を含む画像検索クエリーが通信される。この画像縮小により、画像検索クエリーが通信される速度を向上し、サーバーまたは他の目的地への通信帯域幅要件を下げることができる。

一実施形態によると、およびたとえば図1および図3に示すように、画像認識システム120のリモートサーバー140は画像検索クエリーを受信することができ、またモバイル機器130を介して提示する情報コンテンツを生成することができる。クエリー画像ならびにクエリー画像に関連するメタデータおよび/または文脈データを含む画像検索クエリーを受信すると、リモートサーバー140は、関連するメタデータに基づいて、クエリー画像において少なくとも1つのオブジェクトを認識することができる。リモートサーバーは、認識されたオブジェクトおよび関連する文脈データに基づいて情報コンテンツを生成し、情報コンテンツをモバイル機器130に通信することができる。その後、モバイル機器130は、画像検索クエリーに応じて情報コンテンツを提示することができる。

クエリー画像に関連するメタデータおよび/または文脈データのおかげで、リモートサーバー140は、画像検索の範囲を絞ることができるため、リモートサーバー140および画像認識システム120の正確さ、速度、および効率を全体的に改善することができる。さらに、リモートサーバー140は、関連するメタデータおよび/または文脈データを使用して情報コンテンツを調整することができる。これにより、リモートサーバー140、そしてその結果、画像認識システム120は、画像検索クエリーに応じて、リアルタイムまたはほぼリアルタイムに、関連する情報コンテンツを提供することができる。

モバイル機器130によって取り込まれた画像100または画像100内のパターン115は、1つまたは複数のオブジェクトに対応する1つまたは複数の顕著な特徴(たとえば特徴、対象となるオブジェクトなど)の集合を含むことができる。たとえば、オブジェクトは、限定することなく、ロゴ、図案、顔、建造物、服(たとえばTシャツ、帽子、シューズ、ポケットなど)、記号(たとえば道路標識、レストラン記号など)バーコード、広告、雑誌、新聞、ポスター(たとえば「1枚のシート」など)、広告掲示板、ビラ、絵画、図面、画像が表示または投影される背景幕、小売り用の下げ札、デジタルビデオディスク(DVD)ケース、ステッカー、チケット、コンパクトディスク(CD)ケース、ベースボールカード、ソーダ缶など、またはそれらの任意の組合せを含むことができる。一例では、画像100に取り込まれたオブジェクトまたはオブジェクトの面が平坦/または二次元でなくても、画像100またはパターン115は二次元にすることができる。図1は、画像100および1つまたは複数のパターン115が、ポータブル画像センサーを持つモバイル機器130によって取り込まれた画像認識システム120の一実施形態を示す。

画像認識システム120を提供することで、画像検索を可能にして、画像100のオブジェクトおよび/または画像100内のパターン115に関連する情報コンテンツを通信することができる。オブジェクトに関連する情報コンテンツは、視覚的、聴覚的、もしくは感覚的な内容、またはそのような内容にアクセス可能にする位置の記述子を含むことができる。たとえば、情報コンテンツは、画像、テキスト、ストリーミングまたは非ストリーミングのビデオ、ストリーミングまたは非ストリーミングのオーディオ、ユニバーサルリソースロケータ(URL)、無線アプリケーションプロトコル(WAP)ページ、ハイパーテキストマークアップ言語(HTML)ページ、拡張マークアップ言語(XML)ドキュメント、実行可能プログラム、ファイル名、インターネットプロトコル(IP)アドレス、電話、ポインタ、または他のコンテンツの形をとることができる。情報コンテンツは、たとえば、限定することなく、電子メール(eメール)、マルチメディアメッセージサービス(MMS)、拡張メッセージングサービス(EMS)、ショートメッセージサービス(SMS)、WAPプッシュ、アプリケーションプッシュ(たとえばプッシュレジストリなど)、標準的な形態のテレフォニーなどの通信プロトコルを介して、または伝送制御プロトコル(TCP)、IP、ユーザーデータグラムプロトコル(UDP)、ハイパーテキスト転送プロトコル(HTTP)、およびファイル転送プロトコル(FTP)などの標準インターネットプロトコルを介してモバイル機器130に通信することができる。

図1に示すように、画像認識システム120は、画像100を取り込み、生成、取得、または複製するモバイル機器130を含み、オブジェクトに基づいて画像検索クエリーを生成する。また、画像100の部分画像は、1つまたは複数のオブジェクトを含むパターン115を含むことができる。画像100は、モバイル機器130によって取り込まれたオブジェクトを電子的に表現したものである。たとえば、画像100は、ピクセル情報の2次元配列を含むデータ構造の場合がある。モバイル機器130の例として、たとえば、限定することなく、携帯電話(「セル式電話」)、携帯情報端末(PDA)、デジタルカメラ、またはIEEE802.16規格(WiMAX)もしくはIEEE802.11規格(Wi-Fi)を使用して動作する無線アクセスネットワークなど、無線アクセスネットワーク上で動作するのに適した無線電話、またはPDAと有線もしくは無線で通信できるデジタルカメラなど、これらの2つ以上の装置を電子的に接続した組など、任意のモバイル電子装置が挙げられる。

モバイル機器130はポータブル画像センサー(たとえば図2に示す画像センサー200など)を含み、このポータブル画像センサーは、画像100を生成できる任意の電子装置でもよい。たとえば、ポータブル画像センサーは、電荷結合素子(CCD)センサーまたは相補型金属酸化膜半導体(CMOS)センサーのいずれか、および光線パターンをセンサーに通信し、それによって画像100を生成する1組の光学レンズを含むことができる。一実施形態においては、ポータブル画像センサーはモバイル機器130に組み込まれている。動作中に、利用者がターゲットの一般的な方向にモバイル機器130のポータブル画像センサーを向けると、モバイル機器130はターゲットを包含する領域を取り込んだ後に画像100を生成する。また、モバイル機器130は、1つまたは複数の記憶されている画像を取得するか、または画像100を生成するためにビデオの1つまたは複数のフレームを取り込むことができる。たとえば、ポータブル画像センサーを使用して画像を生成する代わりに、モバイル機器130は、モバイル機器130に格納されている画像、または通信プロトコル(たとえば電子メール、MMS、EMS、SMS、HTTP、UDPなど)を介して送信された画像を取得して画像100を生成することができる。一実施形態においては、取得された画像または取り込まれたフレームは、以前に実施された画像検索からの画像検索結果および/または利用者の注釈を含むことができ、モバイル機器130は、画像100と無関係に、または画像100とともに(たとえば重ね合わせて)、画像検索結果および/または利用者の注釈を表示することができる。以下に詳しく記述するように、モバイル機器130は、画像100においてオブジェクトを検出し、リアルタイムまたはほぼリアルタイムに、オブジェクトの1つまたは複数を利用者に対して強調表示または指し示すことができる。モバイル機器130の統合について、オブジェクトの検出は、カリフォルニア州サンディエゴのQualcomm Incorporatedから入手可能なBREW(登録商標)プログラミングインタフェース(BREW(登録商標)API)を使用して実行または改善することができる。Ｊａｖａ（登録商標）プラットフォーム、Sun MicrosystemsのMicro Edition(Ｊａｖａ（登録商標） ME)、Symbian Ltd.のSymbian(商標) OS、Adobe SystemsのFlash Lite(商標)、Microsoft CorporationのWindows（登録商標） Mobile、Apple Inc.のiPhone(登録商標) OS、Open Handset AllianceのAndroid(登録商標)などで実行可能なAPIおよびサービスなど、他の画像検出および認識APIまたはサービスを使用して、モバイル機器130のオブジェクトの検出を統合することができる。

また、モバイル機器130は、画像100を生成するときに、場所、位置、方向、動き、および/またはモバイル機器130に関連する他の文脈データを検出する機能を含むことができる。モバイル機器130の場所または位置の検出および識別は、たとえば、全地球測位システム(GPS)、Assisted GPS(A-GPS)、登録済み携帯電話への携帯電話基地局三角測量または三点測量に基づく基地局三角測量または三点測量、ヨーロッパのガリレオ測位システム、または他の位置決めもしくは測位サービスもしくは技術など、様々なポジショニングサービスを使用して実行することができる。モバイル機器130の方向または動きの検出および識別は、たとえば、GPSユニット、加速度計、ジャイロスコープ、ならびに/または他の方向および動き検出サービスもしくは技術などを含む内蔵式のセンサー(たとえば、図2に示すセンサー290など)、など、様々なサービスを使用して実行することができる。さらにモバイル機器130は、利用者が入力したテキストまたは聴覚情報を受信でき、文脈データとしてテキストまたは聴覚情報を提供できるユーザー入力インタフェース(たとえば、キーパッド、マイクロホンなど)を含むことができる。また、モバイル機器130は、温度センサーなど、他の種類の文脈データを提供できる他の種類のセンサーを含むことができる。図1に示すように、モバイル機器130は、画像認識システム120内で動作する1つまたは複数の無線サーバーに支持される無線接続132および1つまたは複数の基地局135を介して、無線サービスプロバイダー150と通信することができる。次に、無線サービスプロバイダー150は、たとえば、利用者関連の加入、構成、位置決め、および他の情報を格納する利用者データベースなど、1組のリソースと通信することができる。

一実施形態においては、画像認識システム120は、モバイル機器130および無線サービスプロバイダー150と連携して動作するリモートサーバー140をさらに含むことができ、これにより画像検索を可能にして、画像100内のオブジェクトに関連する情報コンテンツをリアルタイム、ほぼリアルタイム、または別の方法で通信することができる。リモートサーバー140は、1つまたは複数のサーバー142、144、および146を含み、これらのサーバーは、ローカルエリアネットワーク(LAN)、イントラネット、またはインターネットなど、1つまたは複数の通信ネットワークを経由して接続148によって結合することができる。たとえば、リモートサーバー140は、無線サービスプロバイダー150および/またはモバイル機器130との通信を扱い、画像検索クエリーに応じて情報コンテンツをモバイル機器130に通信したり、アクセスを提供したりする1つまたは複数のメッセージングサーバー142であって、この画像検索クエリーは、画像データ、メタデータ、および/または画像100に関連する文脈データを含むメッセージングサーバー142と、情報コンテンツを格納し提供するコンテンツサーバー144と、どの情報コンテンツを通信するか、および/またはどのように情報コンテンツを通信するかを決定する画像認識サーバー146とのうちの1つ以上を含むことができる。一実施形態においては、メッセージングサーバー142、コンテンツサーバー144、および画像認識サーバー146は、異なる物理的位置に存在することができ、インターネットを通じて接続148を介して通信可能に結合することができる。たとえば、メッセージングサーバー142および画像認識サーバー146は、無線サービスプロバイダー150も管理する携帯電話会社によって管理される場所に物理的に存在することができる。一方、コンテンツサーバー144は、広告販売ネットワーク、マーケティングプロバイダー、コンテンツプロバイダー、メディアプロバイダー、またはモバイル機器130に通信するコンテンツの他のプロバイダーもしくはソースに物理的に存在することができる。

リモートサーバー140は、1つまたは複数の通信接続170を介して無線サービスプロバイダー150に結合することができる。通信接続170は、有線の電気的接続(たとえばT1またはT3の回線など)、無線接続、光接続、または他の方式の通信接続を含むことができる。無線サービスプロバイダー150は、モバイル機器130など、電子装置の利用者に、セルラテレフォニー(cellular telephony)または他のデジタル通信サービスを提供することができる。たとえば、無線サービスプロバイダー150は、携帯電話サービスプロバイダー(Sprint Nextel Corporationなど)、パーソナル通信サービス(PCS:Personal Communications Services)プロバイダー、または他の無線サービスのプロバイダーを含むことができる。無線サービスプロバイダー150は、1つまたは複数の無線サーバーおよび基地局135のネットワークを含むことができる。モバイル機器130は、無線接続132を通じて、多層型(たとえばクライアントサーバーなど)ソフトウェアアーキテクチャを使用して、無線サービスプロバイダー150の無線サーバーと基地局135を介して通信することができる。このため、モバイル機器130は、無線サービスプロバイダー150を介してリモートサーバー140と通信することができ、リモートサーバー140は、無線サービスプロバイダー150を介してモバイル機器130に関連する情報コンテンツを通信することができる。情報コンテンツの通信には、画像認識システム120の利用者に情報コンテンツを提示することを含むことができる。たとえば、情報コンテンツは、モバイル機器130に伝送して、表示装置または音声スピーカーなどで利用者に提示することができる。

ここで、図2を参照して、本願発明の1つまたは複数の実装による、モバイル機器130の代表的な構成を示す。モバイル機器130は(図1に示すように)、信号(たとえば、携帯電話の呼び出し開始または他のハンドシェイク、ハンドシェイク応答、モバイルアプリケーションのデータ転送、データイベント、データイベント応答、ハンドシェイク終了などに関する)を受信する少なくとも1本のアンテナ202(たとえば入力インタフェースなどを含む送信受信機(transmission receiver)またはそのような受信機の群)、および受信機204を含むことができ、受信機204は、受信した信号に対してアクション(たとえば、フィルター、増幅、ダウンコンバートなど)を実行する。アンテナ202は、たとえば、ハンドシェイク要求、データイベント要求などに対する応答を伝送または受信することができる。また、アンテナ202および受信機204は、受信した信号を復調し、処理するためにプロセッサ208に提供できる復調器206に結合することができる。モバイル機器130は、メモリ210をさらに含むことができ、メモリ210は、1つまたは複数のコンピュータ可読媒体を含む。メモリ210は、プロセッサ208に動作可能なように結合され、実行される命令および伝送、受信、処理などの対象となるデータを格納することができる。

プロセッサ208は、モバイル機器130のアンテナ202および/またはユーザー入力インタフェース(図示せず)によって受信された情報を分析することができ、かつ/または変調器216を介して送信機218によって伝送される情報を生成することができる。さらに、プロセッサ208は、たとえば、画像センサー200、復調器206、メモリ210、変調器216、送信機218、画像検出装置250、画像認識装置260、およびセンサー290など、モバイル機器130の1つまたは複数のリソースまたは構成要素を制御しかつ/または参照することができる。また、プロセッサ208は、たとえば、Qualcomm IncorporatedのBREW(登録商標)、Sun MicrosystemsのＪａｖａ（登録商標） ME、Symbian Ltd.のSymbian(商標) OS、Adobe SystemsのFlash Lite(商標)、Microsoft CorporationのWindows（登録商標） Mobile、Apple Inc.のiPhone(登録商標) OS、Open Handset AllianceのAndroid(登録商標)などに加えて、1組のアプリケーション214、または他のソフトウェア、モジュール、アプリケーション、ロジック、コードなど、実行時環境212を実行することができる。

一実施形態においては、モバイル機器130は、コンピュータ可読データ(たとえば図1に示す画像100、画像係数ライブラリ262など)およびコンピュータ実行可能なソフトウェア命令(たとえば画像検出/認識ソフトウェア270、実行時環境212、1組のアプリケーション214など)を格納するためのメモリ210を含む。メモリ210は、1つまたは複数のソリッドステートメモリ(たとえば読取り専用メモリ、ランダムアクセスメモリ、フラッシュメモリなど)、磁気ハードドライブ、コンパクトディスク(CD)またはデジタルビデオディスク(DVD)などの光学的に読取り可能な媒体などを含むことができる。また、モバイル機器130は、メモリ210に格納されているソフトウェア命令を実行するために、少なくとも1台のプロセッサ208を含むことができる。命令は、たとえば、画像センサー200、画像検出装置250、および画像認識装置260の機能などを制御および/または実行するプロセッサ208を構成するために実行される。詳しくは、たとえば、図4を参照して下記に記述する。

一実施形態においては、画像感知機能ならびに画像検出および/または認識機能をモバイル機器130の画像センサー200、画像検出装置250、および画像認識装置260による処理を含むものとして示す。たとえば、画像センサー200はCCDセンサーまたはCMOSセンサーのいずれか、およびセンサーに光線パターンを通信する1組の光学レンズを含むことができ、それによって画像100を生成する。動作中に、利用者は、ターゲットの一般的な方向にモバイル機器130の画像センサー200を向けることができ、画像センサー200はターゲットを包含する領域を取り込んだ後に画像100を生成することができる。また、モバイル機器130は、1つまたは複数の記憶されている画像を取得するか、または画像100を生成するためにビデオの1つまたは複数のフレームを取り込むことができる。一実施形態においては、画像センサー200は、モバイル機器130に組み込まれている。しかし、画像検出および画像認識の機能は、モバイル機器130、リモートサーバー140、またはこれらを任意に組み合わせたものに完全に備えることができる。たとえば、画像検出装置250および画像認識装置260は、モバイル機器130のメモリ210に格納され、プロセッサ208によって実行できる1組または複数組の画像処理ソフトウェア(たとえば画像検出/認識ソフトウェア270など)として実装することができる。

一実施形態においては、画像検出/認識ソフトウェア270は、モバイル機器130およびそれの構成要素に、画像センサー200、画像検出装置250、および/または画像認識装置260の機能へのインタフェースを提供することができる。画像検出/認識ソフトウェア270は、画像において1つまたは複数の分類のオブジェクトを検出し、かつ/または顕著な特徴の集合に基づいて画像のオブジェクトを認識するためのアルゴリズムを含むことができる。アルゴリズムは、たとえば、スケール不変の機能変換(たとえばSIFT、SIFT++、LTI-lib SIFTなど)、高速化された堅牢な機能(たとえばSURF、SURF-dなど)、拡張現実(たとえばBazARなど)、および当業者に知られている他の画像検出および認識のアルゴリズムを含むことができる。画像検出/認識ソフトウェア270は、たとえば、生物学的視覚野ネットワーク(たとえば階層型最大化アーキテクチャ(Hierarchal Maximization Architecture)、HMAXなど)および当業者に知られている他のオブジェクト分類アルゴリズムなど、画像のオブジェクトに対応する顕著な特徴の集合に基づいて、画像の1つまたは複数のオブジェクトの分類を検出し、または分類するアルゴリズムを含むことができる。オブジェクトの分類は、たとえば、顔、動物、植物、土地の特徴などの自然物を含むことができる。また、オブジェクトの分類は、たとえば、ロゴ、図案、建物、建造物、服、記号、車両など人工のオブジェクトを含むことができる。特定の特性を共有するオブジェクトの組について記述するために、「オブジェクトの分類」および「オブジェクト分類」という用語を使用するが、オブジェクトのクラス、オブジェクトの種類、オブジェクトのタイプなど、当業者に知られている他の類似する用語を区別なく使用することができる。

一実施形態においては、モバイル機器130は、1つまたは複数のアルゴリズムを使用して、画像のオブジェクトを検出し、同じまたは異なるアルゴリズムを使用してオブジェクトの分類を検出し、かつ/または同じまたは異なるアルゴリズムを使用してオブジェクトを認識することができる。一実施形態においては、モバイル機器130は、検出したオブジェクトの分類に基づいて、認識アルゴリズムを選択することができる。たとえば、モバイル機器130はHMAXを使用して画像100のオブジェクトを検出および分類し、次にSIFTを使用して、人工オブジェクトとして分類された画像100内のオブジェクトを認識することができる。

一実施形態においては、画像検出/認識ソフトウェア270は、ロゴを検出するためのアルゴリズムを含むことができる。ロゴは、マーケティング目的でほぼすべての製品に表示されており、ロゴ検出アルゴリズムは、ロゴパターンおよび画像内のそれらの境界を検出することにより、モバイルでの画像検索を促進することができる。ロゴは、濃淡の差が非常に大きいが、輝度および/または色のレベルが制限されていることがあるため、ロゴパターンの輝度および/またはクロミナンスのヒストグラムには2つの大きなピークがある場合がある。これらの観察された特性に基づいて、たとえば、Table 1(表1)の式1を使用して、ロゴパターンは、輝度(またはRGB成分がガンマ圧縮されている場合はルマ)のヒストグラムまたクロミナンスの成分を取得することにより効率的に検出することができる。

輝度およびクロミナンス成分のヒストグラムは、任意の数のbinを持つことができる。一例では、binが16個のヒストグラムは、ロゴパターンの主なピークを識別するのに十分な解像度を提供する。輝度およびクロミナンスの成分のヒストグラムを取得した後、ロゴ検出アルゴリズムは、ヒストグラムで最も強いピーク、一般的には2を見つけることができる。ロゴ検出アルゴリズムは、(peak1, bin1)および(peak2, bin2)と表される、ヒストグラムの異なるbinの2つの最も強いピークが、Table 2(表2)で提供されている基準を満たすことを保証できる。

ロゴパターンを検出した後、一次元(1D)射影アルゴリズムを使用して、ロゴ検出アルゴリズムはロゴパターン境界を検出することができる。1D射影アルゴリズムは、たとえば、Table 3(表3)で提供される式2を使用して、X方向およびY方向に最大結合成分および最小結合成分のデルタを取得することができる。

ロゴ検出アルゴリズムは、X射影およびY射影に基づいてロゴパターン境界を決定することができる。一例では、ロゴ検出アルゴリズムは、ロゴパターンのX射影およびY射影の波形上の際立ったデルタのために、効率的かつ高い確信を持ってロゴパターン境界を決定することができる。画像検出/認識ソフトウェア270に格納されているロゴ検出アルゴリズムは、画像100内に1つまたは複数のロゴを検出しかつ/または見つけるために、画像検出装置250によって使用することができる。これについては、たとえば図4を参照して、より詳しく下記に記述する。

一実施形態においては、画像処理ソフトウェアは、画像係数ライブラリ262にアクセスすることができ、画像係数ライブラリ262は、可能性のある画像候補または対象画像の画像係数を格納することができる。対象画像のそれぞれは、対応する係数のベクトル、または画像係数を持つことができ、これにより、対象画像を一意に表すことができる。画像係数は、対応する対象画像のシグネチャを形成する1組の数を含むことができ、画像係数のサイズは、一般的に対象画像の分類に対応する。たとえば、ロゴ(たとえばBREW GAMING MONKEY(商標)ロゴなど)の画像係数は、約22×18×32バイト、または約12キロバイトのサイズを持つことができ、人の顔の画像係数は、1メガバイト以上のサイズを持つことができる。対象画像は、たとえば、HMAX、k近傍法、サポートベクトルマシン、ニューラルネットワーク、ランダムツリー(Randomized Trees)、または当業者に既知の他の分類アルゴリズムなど、分類アルゴリズムを使用して、それらに含まれるオブジェクトに基づいて分類することができる。対象画像の画像係数は、画像係数ライブラリ262に格納することができ、また、対象画像のオブジェクト、メタデータ(たとえばオブジェクト分類、商標など)、および/または対象画像に関連する文脈データ(たとえばGPSの位置、場所識別子など)の分類に従ってインデックス化されうる。画像係数ライブラリ262に格納されている対象画像の画像係数は、画像検出装置250および画像認識装置260によって使用して、画像100および/またはパターン115内の1つまたは複数のオブジェクトを分類、認識、または識別することができる。これについては、たとえば図4を参照して、より詳しく下記に記述する。

モバイル機器130の画像処理ソフトウェアは、画像編集ソフトウェアをさらに含むことができ、画像編集ソフトウェアは、画像センサー200によって取り込まれたプロセス画像100をトリミング、圧縮、サイズ変更、グレイスケール変換、または処理し、パターン115を含む部分画像を抽出または生成することができる。たとえば、画像100は、検出、分類、および/または認識されたオブジェクトに基づいて、トリミングまたは処理することができる。あるいは、または加えて、画像100は、モバイル機器130の利用者から受信した、もしくは指定された命令に従って、または以前にモバイル機器130によって受信されたコンピュータ可読命令に従って、トリミングまたは処理することができる。画像処理ソフトウェアは、BREW(登録商標)、Ｊａｖａ（登録商標） ME、Symbian(商標) OS、Flash Lite(商標)、Windows（登録商標） Mobile、iPhone(登録商標) OS、Android(登録商標)など、任意の適切なプログラミング言語および/または開発環境で記述することができる。あるいは、または加えて、画像検出装置250および画像認識装置260は、モバイル機器130にハードウェアとして実装することができる。ハードウェアは、受動的および/または能動的な電子部品を含む電子回路を含むことができる。たとえば、一実施形態においては、ハードウェアは、少なくとも1つの特定用途向け集積回路(ASIC)に実装することができる。

ここで、図3を参照してリモートサーバー140および無線サービスプロバイダー150を含む、画像認識システム120のバックエンド300の代表的な構成を示す。バックエンド300は、本願発明の実装に従って、画像認識および画像検索を促進しかつ/または参加することができる。一実施形態においては、バックエンド300は、受信アンテナ306を介して、1つまたは複数のモバイル機器(たとえば図1に示すモバイル機器130)から1つまたは複数の信号を受信する受信機310および、送信アンテナ308を介して、変調器320によって変調された1つまたは複数の信号をモバイル機器に伝送する送信機322を有する無線サービスプロバイダー150を含むことができる。受信機310は、受信アンテナ306から情報を受信し、未受信または判読不能なデータパケットに関連するフィードバックデータを受信する信号受信機(図示せず)をさらに含むことができる。さらに、受信機310は、受信した情報を復調する復調器312に動作可能なように関連する。プロセッサ314は、復調器312によって提供される復調されたシンボルおよび情報を分析することができる。

プロセッサ314は、モバイル機器、無線サービスプロバイダー150、および/またはリモートサーバー140の間で遠隔通信を促進しかつ/または参加する1つまたは複数のアプリケーション318を格納できるメモリ316にさらに結合される。たとえば、アプリケーション318は、ハンドシェイクを開始するように構成された主要なアプリケーションを含むことができ、(たとえば、診断情報、データ解析などに関連する)データイベント要求をモバイル機器で動作する受信アプリケーションに送信することができる。あるいは、アプリケーション318は、ハンドシェイク要求を受信することができ、モバイル機器で始動アプリケーションを認証できる第2のアプリケーションを含むことができる。アプリケーション318は、モバイル機器上の対応するアプリケーションに対してアプリケーション318を識別する識別子を生成かつ/または検証するためのルール、もしくはその逆、または特定の往復通信を識別するそのような識別子の増加量をさらに含むことができる。さらに、ルールは、不承認の伝送を再伝送し、ハンドシェイク要求および/または応答を再開し、ハンドシェイクを終了するなどのポリシーを指定することができる。その結果、アプリケーション318は、モバイル機器に存在する1つまたは複数のアプリケーション(たとえば図2に示す1組のアプリケーション214)との移動通信、および/または本明細書に記載する様々な動作および機能の実行に関連する他の適切な活動に取り組むことができる。

一実施形態においては、バックエンド300は、モバイル機器(たとえばモバイル機器130など)と連携して動作するリモートサーバー140ならびに画像認識および画像検索を可能にする無線サービスプロバイダー150を含むことができる。リモートサーバー140は、モバイル機器および/または無線サービスプロバイダー150との通信を扱い、画像検索クエリーに応じて情報コンテンツをモバイル機器に通信したり、情報コンテンツへのアクセスを提供したりするために、メッセージングサーバー142を含むことができる。たとえば、メッセージングサーバー142は、画像検索クエリーを受信することができ、画像検索クエリーは、画像100または画像100から抽出された1つまたは複数の部分画像(たとえばパターン115など)、ならびにメタデータおよび/または画像100に関連し、モバイル機器によって生成された文脈データを含むことができる。次に、メッセージングサーバー142は、画像検索クエリーを画像認識サーバー146に伝送することができる。他の例としては、メッセージングサーバー142は、画像検索結果を受信することができ、画像検索結果は、画像検索クエリーに応じてコンテンツサーバー144によって生成された、画像100または抽出された部分画像に関連する情報コンテンツを含むことができる。次に、メッセージングサーバー142は、モバイル機器への伝送のために無線サービスプロバイダー150に画像検索結果を伝送することができる。

リモートサーバー140は、画像認識サーバー146を含むか、または画像認識サーバー146と通信して、画像データ、メタデータ、画像100に関連する文脈データ、および/または以前に同様の画像検索クエリーに提供された検索結果に対する利用者フィードバックに基づいて、画像100内の1つまたは複数のオブジェクトまたは抽出された部分画像の1つまたは複数を認識または識別することができる。検索結果に対する利用者フィードバックは、たとえば、検索結果の正確さまたは関連性に関する二値応答(たとえば、はい/いいえ、真/偽、良い/悪いなど)または目盛り付き応答(たとえば1〜10の目盛り)、検索結果に対する利用者の注釈、検索結果に応じた利用者のフォローアップ動作(たとえば、検索結果で提供されるリンクまたは広告をクリックするなど)を含むことができる。画像認識サーバー146は、少なくとも1つの認識されたオブジェクト、メタデータ、および/または画像100に関連する文脈データ、ならびに以前に提供された検索結果に対するあらゆる利用者フィードバックに基づいて、セマンティック検索クエリー(semantic search query)をさらに生成することができる。一実施形態においては、画像認識サーバー146は、プロセッサ360およびメモリ362を含み、メモリ362は、プロセッサ360に動作可能なように結合された1つまたは複数のコンピュータ可読媒体を含み、実行される命令および伝送、受信、処理などをされるデータを格納することができる。メモリ362は、1つまたは複数のソリッドステートメモリ、磁気ハードドライブ、CDまたはDVDなど光学的に読取り可能な媒体などを含むことができる。そこに格納された命令は、たとえば、画像認識システム120の他の構成要素と共に、画像検索および画像認識を制御しかつ/または実行するために、プロセッサ360を構成するために実行される。たとえば、メモリ362は、画像認識ソフトウェア364および画像データならびに係数ライブラリ366を格納することができる。画像認識ソフトウェア364は、画像係数ライブラリ366にアクセスすることができ、画像係数ライブラリ366は、画像データおよび/または可能性のある画像候補または対象画像の係数を格納しインデックス化できる。対象画像は、たとえば、HMAX、k近傍法、サポー
トベクトルマシン、ニューラルネットワーク、ランダムツリー(Randomized Trees)、または当業者に既知の他の分類アルゴリズムなど、分類アルゴリズムを使用して、対象画像に含まれているオブジェクトに基づいて分類することができる。画像係数ライブラリ366は、対象画像のオブジェクトの分類、メタデータ(たとえばオブジェクト分類、商標など)、対象画像に関連する文脈データ(たとえばGPSの位置、場所識別子など)に従って、対象画像をインデックス化できる。対象画像のそれぞれは、データおよび/または対象画像を一意に表す係数のベクトルを持ち、これらは、画像データおよび係数ライブラリ366に格納し、画像認識ソフトウェア364によって使用して、画像100内の1つもしくは複数のオブジェクトまたはパターン115を認識することができる。これについては、たとえば図5を参照して、より詳しく下記に記述する。

リモートサーバー140は、さらにコンテンツサーバー144を含むか、またはコンテンツサーバー144と通信し、たとえば、製品情報(たとえば名前、価格、製造者、仕様、評価、広告、クーポン、プロモーションなど)、製品情報に向けられたリンク、動作リンク(たとえば比較して買い物するためのオンライン小売業者へのリンク、購入予定リストに保存するためのリンク、友達と共有するためのリンク、即座に購入するためのリンクなど)、有名人情報(たとえば名前、伝記、製品、および/または有名人に関連するサービスなど)、建造物情報(たとえば名前、歴史、製品、および/または建造物に関連するサービスなど)など、またはそれらを任意に組み合わせたものなど、情報コンテンツを格納し、インデックス化して、提供することができる。コンテンツサーバー144は、たとえば、少なくとも1つのオブジェクト、メタデータ、および/または画像100に関連する文脈データに基づいて、画像認識サーバー146によって生成されたセマンティック検索クエリーに応じて関連する情報コンテンツを提供することができる。

一実施形態においては、コンテンツサーバー144は、プロセッサ340およびメモリ342を含み、メモリ342は、プロセッサ340に動作可能なように結合された1つまたは複数のコンピュータ可読媒体を含み、実行される命令、および伝送、受信、処理などの対象となるデータを格納することができる。メモリ342は、1つまたは複数のソリッドステートメモリ、磁気ハードドライブ、CDまたはDVDなど光学的に読取り可能な媒体を含むことができる。そこに格納された命令は、画像認識システム120の他の構成要素とともに、画像100またはパターン115に基づいて、関連する情報コンテンツを検索し提供するためにプロセッサ340を構成するために実行される。たとえば、メモリ342は、検索エンジン344および情報コンテンツデータベース346の命令を格納することができる。

検索エンジン344は、モバイル機器および/または画像認識サーバー146からの検索クエリーに応じて、関連する情報コンテンツを見つけて提供することができる。説明する実装において、検索クエリーを受信する前に、コンテンツサーバー144は、情報コンテンツデータベース346および/またはリモートサーバー140に結合された他のコンピュータ可読データ記憶域のクロールを実行し、そこに格納されている情報コンテンツを見つけてインデックス化することができる。このように、検索エンジン344は、検索クエリーに応じてインデックスにアクセスすることにより、関連する情報コンテンツを見つけることができる。したがって、情報コンテンツサーバー144は、画像認識サーバー146によって生成されるセマンティック検索クエリーに基づいて、モバイル機器にどの情報コンテンツを通信するか、および/または情報コンテンツの形式や通信プロトコルなど、情報コンテンツをどのようにして通信するかを決定することができる。これについては、たとえば図5を参照して、より詳しく下記に記述する。

図4および図5は、本願発明の1つまたは複数の態様による方法および/またはフローダイアグラムを示す図である。説明を単純化するために、方法を一連の動作として描き記述する。対象となる新技術は、図示する動作および/または動作の順序によって限定されないことが理解され認識されるであろう。たとえば、動作は様々な順序で、および/または同時に発生することができ、本明細書に提示および記述されていない他の動作が伴って発生することもできる。さらに、請求対象の内容による方法を実装するために、図示するすべての動作が必要であるとは限らない。これに加えて、この方法は、もう1つの方法として、状態遷移図またはイベントを通じて一連の関連する状態として表せることを当業者であれば理解され認識されるであろう。さらに、以下および本明細書を通じて開示する方法は、1個の製品に格納して、そのような方法をコンピュータに移送および転送するのを促進できることを理解されるであろう。本明細書で使用する製品という用語は、コンピュータ可読装置、キャリア、またはメディアからアクセス可能なコンピュータプログラムを包含することを意図している。

図4は、本願発明の1つまたは複数の実装による、モバイル機器130(図1および図2に示す)によって実行できる処理のフローチャート示す図であり、画像認識システム120(図1に示す)を使用して、画像検索を可能にして、画像認識を促進することができる。410において、モバイル機器130は、画像(たとえば図1の画像100、図6Aの画像600など)を取得することにより、画像検索および画像認識を開始することができる。たとえば、モバイル機器130の利用者は、ターゲットの一般的な方向にモバイル機器130の画像センサー200を向けることができ、モバイル機器130は、ターゲットを表す画像を取り込み、生成、取得、または複製することができる。また、モバイル機器130は、1つまたは複数の記憶されている画像を取得するか、またはビデオの1つまたは複数のフレームを取り込んで画像を生成することができる。たとえば、画像センサー200を使用して画像を生成する代わりに、モバイル機器130は、モバイル機器130に格納されているか、または通信プロトコル(たとえば電子メール、MMS、EMS、SMS、HTTP、UDPなど)を介して送信された画像を取得して画像を生成することができる。一実施形態においては、取得された画像または取り込まれたフレームは、以前に実施された画像検索からの画像検索結果および/または利用者の注釈を含むことができ、モバイル機器130は、画像100と無関係に、または画像100とともに(たとえば重ね合わせて)、画像検索結果および/または利用者の注釈を表示することができる。

次に415において、モバイル機器130は、取得した画像のオブジェクトに対応する顕著な特徴の集合に基づいて、1つまたは複数のオブジェクトの存在および場所を検出することができる。一実施形態においては、モバイル機器130は、肯定的な入力、またはたとえばシャッターを押すなど、利用者からの他の動作なしでオブジェクトの検出を開始することができる。代わりに、モバイル機器130は、連続的に取得した画像を比較して、いつ画像センサー200が静止しているのか、またはしきい値の期間、静止していたのかを決定し、それに応じてオブジェクトの検出を開始することができる。他の実装においては、モバイル機器130は、肯定的な入力または利用者からの他の動作の後にオブジェクトの検出を開始することができる。

一実施形態においては、オブジェクトの検出は、図2に示すように、たとえば、画像検出/認識ソフトウェア270および画像検出装置250に格納され実行される検出アルゴリズムなど、モバイル機器130に格納されている1つまたは複数の画像検出アルゴリズムを使用することによって、実行または改善することができる。オブジェクトは、たとえば、線、端部、隆起部、角、斑点、T分岐、または他の顕著な特徴など、画像内にキーポイントを見つけ、次に、それぞれのキーポイントに近い点または領域に基づいてキーポイントベクトルを生成することによって検出することができる。モバイル機器130は、キーポイントベクトルを使用して、画像内でオブジェクトを見つけることができ、次に、オブジェクトのそれぞれに対して、モバイル機器130は、対応するオブジェクトを一意に表す特徴ベクトルを生成することができる。たとえば、HMAX、SIFT、SIFT++、LTI-lib SIFT、SURF、SURF-d、BazAR、または当業者に知られている他の画像検出アルゴリズムなど、他の画像検出アルゴリズムを使用することができる。

一実施形態においては、オブジェクトの検出は、ロゴ、図案、顔、建造物、服、記号、オブジェクトなど、様々な分類のオブジェクトに対して実行することができる。一態様においては、オブジェクトの検出は、1つまたは複数のあらかじめ選択した分類のオブジェクト、または利用者が選択した分類のオブジェクトに対してのみ実行することができる。たとえば、オブジェクトの検出は、画像検出/認識ソフトウェア270に格納されているロゴ検出アルゴリズムを利用して、画像内のロゴまたはロゴのようなパターンだけを検出しかつ/または見つけることができる。あるいは、または加えて、モバイル機器130は、検出したオブジェクトに対応する特徴ベクトルをリアルタイムに生成し、選択した分類または画像係数ライブラリ262に格納されているオブジェクトの分類に対して、特徴ベクトルを可能性のある画像候補または対象画像の画像係数と比較することによって、検出したオブジェクトの分類を決定することができる。対象画像のそれぞれは、対象画像の特徴を一意に表す対応する係数のベクトルを持つ。一実施形態においては、モバイル機器130は、ベクトル間の距離(たとえばマハラノビス距離、ユークリッド距離など)を計算することによって、検出したオブジェクトの特徴ベクトルを対象画像の選択された分類の係数のベクトルと比較して、検出したオブジェクトの分類を決定することができる。

一実施形態においては、モバイル機器130は、人間に対して表示するために取得した画像を改善したり(たとえば画像の鮮明さ、光度および色のダイナミックレンジなどの改善)、改善された画像をモバイル機器130のファインダーまたはディスプレイに表示したりする前に、取得した画像においてオブジェクトを検出することができる。改善された画像の見栄えが利用者にとってより美しい可能性がある一方、そのような改善によって、モバイル機器130が画像内のオブジェクトを正確かつ効率的に検出するのが遅らせられたり、妨げられたりする可能性がある。

420において、モバイル機器130は、画像の上にインジケータを重ね合わせることにより、画像の検出したオブジェクトを強調表示または指し示すことができる。たとえば、インジケータは、図1に示すパターン115の周りのインジケータ、図6Aおよび図6Bに示すパターン610〜620の周りのインジケータ、ボックス、ブルズアイハイパーリンク(bulls-eye hyperlink)など、様々な形式の拡張現実グラフィックを含むことができる。415において、モバイル機器130が、検出したオブジェクトの分類を決定すると、次に、モバイル機器130は、1つまたは複数のあらかじめ選択された分類または利用者が選択した分類に当てはまるものとして分類された検出したオブジェクトだけを強調表示することができる。次に、425において、モバイル機器130は利用者から入力を受信して、図6Bに示す選択されたパターン610など、強調表示されたオブジェクトの少なくとも1つを選択することができる。ユーザー入力は、ユーザー入力インタフェースを介した肯定的な入力または利用者からの他の動作を含むことができる。また、ユーザー入力は、モバイル機器130を静止して保持する利用者を含むことができため、画像センサー200は、しきい値の期間の間、検出したオブジェクトの1つに焦点を当てることができる。

次に430において、モバイル機器130は、選択されたオブジェクトの特性を分類、認識、または決定することができる。モバイル機器130は、必要に応じて、選択されたオブジェクトに対応する生成された特徴ベクトルを詳細化することができる。モバイル機器130は、画像係数ライブラリ262に格納されている1つまたは複数の分類の特徴に対して、選択されたオブジェクトの特徴ベクトルを対象画像の画像係数と比較することによって、選択されたオブジェクトの分類を決定することができる。(415において)モバイル機器130が、選択されていたオブジェクトを分類した場合、モバイル機器130は、選択されたオブジェクトをさらに分類することなく、選択されたオブジェクトの分類を保持することができる。一実施形態においては、モバイル機器130は、選択されたオブジェクトの特徴ベクトルを画像係数ライブラリ262に格納されている対象画像の画像係数と比較して、選択されたオブジェクトの特性を認識または決定することができる。一実施形態においては、モバイル機器130は、ベクトル間の距離(たとえばマハラノビス距離、ユークリッド距離など)を計算することによって、選択されたオブジェクトの特徴ベクトルを対象画像の係数のベクトルと比較して、選択されたオブジェクトに一致する対象画像を見つけることができる。モバイル機器130が、選択されたオブジェクトに一致する対象画像を見つけた場合、モバイル機器130は、対応対象画像に基づいて、選択されたオブジェクトを認識することができる。特徴ベクトルの次元数は、特徴ベクトルを照合するのに必要な時間および処理能力に直接関連するため、特徴ベクトルの次元数を最小限にすることが望ましい場合がある。しかし、特徴ベクトルは、特徴を示すのに十分な次元を持っている必要があり、またノイズ、検出エラー、ならびに幾何学的および測光的な変形に対して堅牢である必要がある。

435において、モバイル機器130は、選択されたオブジェクトに一致する対象画像に基づいて、選択されたオブジェクトに関連するメタデータを生成することができる。たとえば、モバイル機器130は、選択されたオブジェクトをBREW GAMING MONKEY(商標)ロゴの対象画像に照合したら、モバイル機器130は、選択されたオブジェクトがBREW GAMING MONKEY(商標)ロゴであること、またはBREW GAMING(商標)製品を含むことを示すメタデータを生成することができる。あるいは、モバイル機器130が、選択されたオブジェクトを対象画像に照合できなかった場合、モバイル機器130は、選択されたオブジェクトの特徴ベクトルを含むメタデータを生成することができる。

440において、モバイル機器130は、取得した画像に関連する文脈データを取得することができる。モバイル機器130は、画像を取得するとき、またはオブジェクトを検出するために画像を処理するときに、場所、位置、方向、動き、および/またはモバイル機器130に関連する他の文脈データを取得することができる。たとえば、文脈データは、画像を取得した場所のGPSの場所を含むことができる。他の例では、文脈データは、モバイル機器130の方向(たとえば、広告掲示板に対して上向き、雑誌に対して下向きなど)、または画像が取得されたときの周囲温度を含むことができる。さらに他の例では、文脈データは、たとえば「全米オープンで」のようなテキストまたは音声メッセージ、背景雑音のような受動的情報、および「左側の女性は誰?」または「左側の女性が着ているのは何?」のような指示など、利用者が入力したテキスト形式または聴覚による情報を含むことができる。一実施形態においては、モバイル機器130は、440において独立して、または410から435において実行された処理のいずれかと同時に文脈データを取得することができる。

次に445において、モバイル機器130は、取得した画像に基づいて画像検索クエリーを生成し、画像検索クエリーを画像認識システム120のバックエンド300に通信することができる。画像検索クエリーは、バックエンド300のプロセッサもしくはサーバー、またはそこで実行されているプロセスへの宛先アドレスを含むことができ、宛先アドレスは、選択されたオブジェクトの分類に基づいて調整することができる。一実施形態においては、画像検索クエリーは、選択されたオブジェクトに基づいて、取得した画像または取得した画像から抽出された部分画像、および取得した画像または抽出された部分画像に関連するメタデータおよび/または文脈データを含むことができる。モバイル機器130は、取得した画像をトリミング、圧縮、サイズ変更、グレイスケールに変換、または処理し、選択されたオブジェクトに基づいて、少なくとも1つの部分画像を抽出または生成することができる。

たとえば、図1および図6Cに示すように、選択されたオブジェクトが、430においてBREW GAMING MONKEY(商標)ロゴと認識された場合、モバイル機器130は、取得した画像をトリミングまたは処理して、ロゴまたはロゴが添付されているオブジェクト(たとえばTシャツ630、広告、クーポン、帽子、シューズなど)を含む部分画像を抽出することができる。あるいは、または加えて、モバイル機器130は、モバイル機器130の利用者から受信した、もしくはモバイル機器130の利用者が指定した命令に従って、または以前にモバイル機器130が受信したコンピュータ可読命令に従って、取得した画像をトリミング、または処理することができる。取得した画像または抽出された部分画像ならびに取得した画像または抽出された部分画像に関連するメタデータおよび/または文脈データを含む画像検索クエリーを生成した後、モバイル機器130は、画像認識システム120のバックエンド300に、画像検索クエリーを通信することができる。抽出された部分画像は、取得した画像よりファイルサイズが小さい。このため、取得した画像全体ではなく、抽出された部分画像を含む画像検索クエリーが通信される。この画像縮小により、ここでも、画像検索クエリーが通信される速度を改善することができる。さらに、取得した画像全体ではなく、抽出された部分画像を含む画像検索クエリーを通信することで、サーバーまたは他の宛先への通信帯域幅要件を下げることもできる。

450において、モバイル機器130は、バックエンド300から受信して、画像検索クエリーに応じて利用者に画像検索結果を提示することができる。また、モバイル機器130は、画像検索結果を格納し、かつ/または画像検索結果を画像検索クエリーに関連付けて、画像検索結果に関する利用者からの注釈を受信し格納することができる。その後、モバイル機器130は、通信プロトコルを介して画像検索結果、画像検索クエリー、および/または利用者の注釈を伝送することができる。画像検索結果は、取得した画像の選択されたオブジェクトに関連する情報コンテンツを含むことができる。たとえば、選択されたオブジェクトがロゴである場合(たとえば図6Bに示す選択されたパターン610のロゴ)、情報コンテンツは、製品情報(たとえば図6Dに示す製品ブランド650および製品の種類660)、製品情報に向けられたリンク(たとえば情報リンク670)、関連商品(たとえば関連商品690および広告695)、比較して買い物するためのオンライン小売業者へのリンク、購入予定リストに保存するためのリンク、友達と共有するためのリンク、もしくは即座に購入するためのリンク(たとえば購入リンク680)、またはそれらの任意の組合せを含むことができる。選択されたオブジェクトが有名人の顔の場合、たとえば、情報コンテンツは、有名人の名前、彼または彼女の経歴、製品、および/もしくは有名人に関連するサービス、ならびに他の関連情報、またはそれらの任意の組合せを含むことができる。選択されたオブジェクトが建造物の場合、情報コンテンツは、建造物の名前、歴史、建造物に関連する製品および/もしくはサービス、ならびに他の関連情報、またはそれらの任意の組合せを含むことができる。一実施形態においては、モバイル機器130は、たとえば、利用者が検索結果の正確さまたは関連性を評価するための確認ダイアログ、利用者が検索結果に注釈を付けるための入力ダイアログなど、画像検索結果に関してバックエンド300からフィードバック要求を受信することができる。上記の様々な分類および種類の画像、メタデータ、文脈データ、画像検索クエリーおよび結果、情報コンテンツ、ならびに利用者フィードバックメカニズムは、例示のみを目的とするものであって、いかなる場合においても本願発明を限定することを意図するものではない。

図5は、本願発明の一実施形態により、画像認識システム120(図1に示す)を使用して、画像検索を可能にして画像認識を促進するために、バックエンド300(図3に示す)によって実行できる処理のフローチャートを示す図である。510において、バックエンド300のリモートサーバー140(図1および図3に示す)は、無線接続132および無線サービスプロバイダー150、または当業者に既知のデータ伝送の他の手段を介して画像検索クエリーを受信することができる。上記のように、画像検索クエリーは、少なくとも1つの対象となるオブジェクトを含む画像、ならびに画像に関連するメタデータおよび/または文脈データを含むことができる。例示を目的として、画像600(図6Cに示す)に基づいて生成された代表的な画像検索クエリーは、Tシャツ630の画像、画像がBREW GAMING(商標)に関連していることを示すメタデータ、および画像が特定のGPSの場所で取得されたことを示す文脈データを含むことができる。

次に515において、リモートサーバー140は、画像検索クエリーに基づいて、画像内の対象となるオブジェクトを認識または識別することができる。リモートサーバー140は、画像に関連するメタデータおよび/または文脈データ、ならびに以前に同様の画像検索クエリーに提供された検索結果に関連する任意の利用者フィードバックを利用して、対象となるオブジェクトを認識するのを支援し、これにより、リモートサーバー140は、画像検索の範囲を絞る、または限定することができ、画像認識システム120の正確さ、速度、および/または効率を改善することができる。一実施形態においては、リモートサーバー140は、画像認識サーバー146に格納されている画像認識ソフトウェア364を実行して、画像データおよび係数ライブラリ366格納されている画像データ(たとえば画像のラスターデータ、画像係数など)との1対1の画像照合を実行することができる。リモートサーバー140は、画像に関連するメタデータおよび/または文脈データに基づいて、1対1の照合を絞ることができる。たとえば、画像600に基づいて生成された代表的な画像検索クエリーを受信した後に、リモートサーバー140は、BREW GAMING(商標)に関連する保存されている画像データにTシャツ630の1対1の照合を絞ることができる。

1対1の照合の代わりに、またはそれに加えて、515において、リモートサーバー140は、画像認識ソフトウェア364を実行し、画像内の対象となる少なくとも1つのオブジェクトを検出し、対象となるオブジェクトを一意に表す特徴ベクトルを計算することができる。リモートサーバー140は、特徴ベクトルを画像データおよび係数ライブラリ366に格納されている、可能性のある画像候補または対象画像の画像係数と比較することによって、計算された特徴ベクトルに基づいて対象となるオブジェクトを認識することができる。一実施形態においては、リモートサーバー140は、対象となるオブジェクトを認識するためにベクトル間の距離(たとえばマハラノビス距離、ユークリッド距離など)を計算することによって、計算された特徴ベクトルを対象画像の係数のベクトルに照合することができる。次に、リモートサーバー140は、対応対象画像に基づいて対象となるオブジェクトを認識することができる。リモートサーバー140は、画像に関連するメタデータおよび/または文脈データに基づいてベクトル照合を絞ることができる。たとえば、画像600に基づいて生成された代表的な画像検索クエリーを受信した後に、リモートサーバー140は、Tシャツ630から計算された特徴ベクトルの照合をBREW GAMING(商標)に関連する格納されている画像係数に絞ることができる。

520において、リモートサーバー140は、画像検索クエリーに応じて認識された対象となるオブジェクトに基づいて、情報コンテンツを含む画像検索結果を生成することができる。リモートサーバー140は、認識されたオブジェクト、画像に関連するメタデータおよび/または文脈データ、ならびに以前に同様の画像検索クエリーに提供された検索結果に関連する任意の利用者フィードバックに基づいてセマンティック検索を実行し、認識されたオブジェクトに関連する情報コンテンツおよび/または適切な情報コンテンツを取得することができる。関連するメタデータおよび/または文脈データを使用して、セマンティック検索の範囲を絞るか、または制限することによって、画像検索クエリーに応じて、リモートサーバー140、そして画像認識システム120は、より正確かつ/またはより多くの関連する情報コンテンツを提供することができる。

一実施形態においては、リモートサーバー140は、コンテンツサーバー144に格納されている検索エンジン344を実行し、情報コンテンツデータベース346に格納されている情報コンテンツのセマンティック検索を実行することができる。リモートサーバー140は、画像に関連するメタデータおよび/または文脈データに基づいてセマンティック検索を絞ることができる。たとえば、画像600に基づいて生成された代表的な画像検索クエリーを受信し、Tシャツ630がBREW GAMING MONKEY(商標)ロゴの画像を含むことを認識した後に、リモートサーバー140は、BREW GAMING(商標)に対してセマンティック検索を実行し、製品情報(たとえば図6Dに示す製品ブランド650および製品の種類660)、製品情報に向けられたリンク(たとえば情報リンク670)、関連商品(たとえば関連商品690)、比較して買い物するためのオンライン小売業者へのリンク、購入予定リストに保存するためのリンク、友達と共有するためのリンク、もしくは即座に購入するためのリンク(たとえば購入リンク680)、またはそれらの任意の組合せなど、関連する情報コンテンツを取得することができる。さらに例を示すと、リモートサーバー140は、関連する文脈データ(たとえばGPSの場所、利用者が入力するテキスト形式または聴覚による情報など)を利用してセマンティック検索を絞り、GPSの場所の近くの店での関連商品690の広告695(図6Dに示す)、GPSの場所に対応する近くの店で利用可能なクーポンおよびプロモーションなど、GPSの場所に基づいて、関連する情報コンテンツを取得することができる。上記の様々な種類の検索クエリー、画像、対象となるオブジェクト、メタデータ、文脈データ、画像検索クエリーおよび結果、ならびに情報コンテンツは、例示のみを目的とするものであって、いかなる場合においても本願発明を限定することを意図するものではない。

次に525において、リモートサーバー140は、関連する情報コンテンツを含む画像検索結果をモバイル機器130に無線接続132および無線サービスプロバイダー150または当業者に既知のデータ伝送の他の手段を介して通信するか、または提供することができる。また、リモートサーバー140は、利用者が検索結果の正確さまたは関連性を評価するための確認ダイアログ、利用者が検索結果に注釈を付けるための入力ダイアログなど、画像検索結果に関する利用者フィードバックの要求を通信することができる。530において、リモートサーバー140は、料金収集、報告、データマイニング、利用者または製品のプロファイリング、将来的なマーケティングなど、任意の目的のために画像検索クエリーを記録することができる。さらに、リモートサーバー140は、対応する画像検索クエリーに関連して、または無関係に、任意の目的のために画像検索結果を記録することができる。また、リモートサーバー140は、画像認識ソフトウェア364および/または検索エンジン344のトレーニング、料金収集、報告、データマイニング、利用者または製品のプロファイリング、将来的なマーケティングなど、任意の目的のために画像検索結果に対する利用者フィードバックを記録しかつ/または関連付けることができる。さらに、リモートサーバー140は、画像検索結果をキャッシュに入れることで、画像検索クエリーと同一か、ほぼ同一の将来的な画像検索クエリーに応じて、検索結果をすばやく提供し、冗長な処理を最小限にすることができる。さらに、リモートサーバー140は、画像認識システム120によって、検索時間、画像検索結果の情報コンテンツの関連性の信頼度など、画像検索クエリーの処理に関連する統計を記録することができる。

本明細書に記述した実装が、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、および/またはプログラムコードもしくはコードセグメントに実装される場合、それらは記憶構成要素などコンピュータ可読記憶メディアに格納することができる。コードセグメントは、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造、もしくはプログラム文の任意の組合せを示すことができる。コードセグメントは、情報、データ、引き数、パラメーター、またはメモリ内容を渡しかつ/または受信することによって、他のコードセグメントまたはハードウェア回路に結合することができる。情報、引き数、パラメーター、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク伝送など、任意の適切な手段を使用して、渡したり、転送したり、伝送したりすることができる。ソフトウェア実装について、本明細書に記述した技術は、本明細書に記述した関数を実行するモジュール(たとえばプロシージャ、関数など)を用いて実装することができる。ソフトウェアコードはメモリユニットに格納し、プロセッサによって実行することができる。メモリユニットは、プロセッサ内に実装することも、またはプロセッサの外部に実装することもでき、外部に実装する場合には、当業者に既知の様々な手段を介して、通信できるようにプロセッサに結合することができる。

前述の記述は例を示すものであり、構成および実装の変更を当業者なら考えつくであろう。たとえば、本明細書に示した実装に関連して記述した、実例として示した様々なロジック、論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブルロジックデバイス、個別のゲートもしくはトランジスターのロジック、個別のハードウェアコンポーネント、または本明細書に記述した機能を実行するために設計された、これらの任意の組合せを用いて実装または実行することができる。汎用プロセッサはマイクロプロセッサでもよいが、代替として、プロセッサは、任意の従来のプロセッサ、制御装置、マイクロコントローラ、または状態機械でもよい。また、プロセッサは、たとえば、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアに連結した1つもしくは複数のマイクロプロセッサ、または他の任意の構成など、コンピューティングデバイスの組合せとして実装することもできる。

1つまたは複数の代表的な実装において、記述した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せに実装することができる。ソフトウェアの実装について、本明細書に記述した技術は、本明細書に記述した機能を実行するモジュール(たとえばプロシージャ、関数など)を用いて実装することができる。ソフトウェアコードはメモリユニットに格納し、プロセッサによって実行することができる。メモリユニットは、プロセッサ内に実装することも、またはプロセッサの外部に実装することもでき、外部に実装する場合には、当業者に既知の様々な手段を介して、通信できるようにプロセッサに結合することができる。ソフトウェアに実装する場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体に格納または伝送することができる。コンピュータ可読媒体は、実体のあるコンピュータ記憶媒体およびある場所から別の場所へのコンピュータプログラムの転送を促進する任意の媒体を含む通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセス可能な任意の利用可能な実体のある媒体でもよい。限定を目的とせずに例を挙げると、そのような実体のあるコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM、もしくは他の光学ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶装置、または命令またはデータ構造の形式で希望のプログラムコードを送ったり格納したりするために使用でき、コンピュータによってアクセスできる任意の他の媒体を含むことができる。また、どのような接続も厳密にはコンピュータ可読媒体と称される。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波など無線技術を使用して、ウェブサイト、サーバー、または他のリモートソースから伝送される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、もしくは赤外線、無線、およびマイクロ波などの無線技術は、媒体の定義に含まれる。本明細書に使用するディスク(disk)およびディスク(disc)は、CD、レーザーディスク(laser disc)、光ディスク(optical disc)、DVD、フロッピー（登録商標）ディスク(floppy disk)、およびブルーレイ
ディスク(blu-ray disc)を含み、ディスク(disk)は通常、磁気的にデータを再生し、ディスク(disc)は、レーザーを用いて光学的にデータを再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるものである。

本明細書に記述した技術は、CDMA、TDMA、FDMA、OFDMA、SC-FDMA、および他のシステムなど、様々な無線通信方式で使用することができる。「システム」および「ネットワーク」という用語は、しばしば区別なく使用される。CDMAシステムは、Universal Terrestrial Radio Access(UTRA)、cdma2000などの無線技術を実装することができる。UTRAは、Wideband-CDMA(W-CDMA)およびCDMAの他の変形を含む。さらに、cdma2000はIS-2000、IS-95、およびIS-856規格を包含している。TDMAシステムは、Global System for Mobile Communications(GSM)などの無線技術を実装することができる。OFDMAシステムは、Evolved UTRA(E-UTRA)、Ultra Mobile Broadband(UMB)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、Flash-OFDMなどの無線技術を実装することができる。UTRAおよびE-UTRAは、Universal Mobile Telecommunication System(UMTS)の一部である。3GPP Long Term Evolution(LTE)は、ダウンリンクにOFDMAを使用し、アップリンクにSC-FDMAを使用する、E-UTRAを使用するUMTSのリリースである。UTRA、E-UTRA、UMTS、LTE、およびGSMについては、「3rd Generation Partnership Project」(3GPP)という名前の組織による文書に記述されている。さらに、cdma2000およびUMBについては、「3rd Generation Partnership Project 2」(3GPP2)という名前の組織による文書に記述されている。さらに、そのような無線通信システムは、不対無認可スペクトル(unpaired unlicensed spectrum)、802.xx無線LAN、BLUETOOTH、および他の任意の短または長範囲の無線通信技術をしばしば使用するピアツーピア(たとえばモバイル間)のアドホックネットワークシステムをさらに含むことができる。

本明細書に示す実装に関連して記述した方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはこれら2つの組合せに直接組み込むことができる。実施例を示して方法について記述してきたが、この方法のステップは、説明したものとは異なる順に、または同時に実行することができる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROM、EPROM、EEPROM、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、または当業者に既知の任意の他の形式のコンピュータ可読記憶媒体に格納することができる。代表的な記憶媒体はプロセッサに結合されるため、プロセッサは、記憶媒体から情報を読み込んだり、記憶媒体に情報を書き込んだりできる。代替案では、記憶媒体はプロセッサに内蔵されてもよい。プロセッサおよび記憶媒体は、ASICに格納することができる。ASICはモバイル機器に搭載することができる。代替案では、プロセッサおよび記憶媒体は、個別部品としてモバイル機器に搭載することができる。単数または統合されたものとして記述した他のリソースは、一実施形態においては、複数または分散されたものにすることができ、また複数または分散されたものとして記述したリソースは、実装において組み合わせることができる。本願発明の範囲は、したがって、添付の特許請求の範囲によってのみ限定されるものである。

100 画像
115 パターン
120 時間画像認識システム、画像認識システム
130 モバイル機器
132 無線接続
135 基地局
140 リモートサーバー
142 メッセージングサーバー
144 コンテンツサーバー
146 画像認識サーバー
148 接続
150 無線サービスプロバイダー
170 通信接続
200 画像センサー
202 アンテナ
204 受信機
206 復調器
208 プロセッサ
210 メモリ
212 実行時環境
214 アプリケーション
216 変調器
218 送信機
250 画像検出装置
260 画像認識装置
262 画像係数ライブラリ
270 画像検出/認識ソフトウェア
290 センサー
300 バックエンド
306 受信アンテナ
308 送信アンテナ
310 受信機
312 復調器
314 プロセッサ
316 メモリ
318 アプリケーション
320 変調器
322 送信機
340 プロセッサ
342 メモリ
344 検索エンジン
346 情報コンテンツデータベース
360 プロセッサ
362 メモリ
364 画像認識ソフトウェア
366 係数ライブラリ、画像係数ライブラリ
600 画像
610 パターン
630 Tシャツ
650 製品ブランド
660 製品の種類
670 情報リンク
680 購入リンク
690 関連商品
695 広告

Claims (57)

1. サーバーに対する無線インタフェースと、
   前記無線インタフェースと通信するプロセッサとを含み、前記プロセッサは、処理を開始するように構成され、前記処理が、
   画像を取得する段階と、
   前記取得した画像において1つまたは複数のオブジェクトを検出する段階と、
   前記検出したオブジェクトの少なくとも1つに関連するメタデータを生成する段階と、
   前記少なくとも1つのオブジェクトに基づいて前記取得した画像からクエリー画像を抽出する段階と、
   画像検索クエリーを生成する段階であって、前記画像検索クエリーは前記クエリー画像および前記メタデータを含む段階と、
   前記画像検索クエリーを前記サーバーに前記無線インタフェースを介して通信する段階と、
   前記画像検索クエリーに応じて、前記少なくとも1つのオブジェクトに関連する情報コンテンツを受信し提示する段階と、
   を含むモバイル機器。
2. メタデータを生成する段階は、
   前記検出したオブジェクトの1つまたは複数をオブジェクト分類にあるものとして分類する段階と、
   前記分類されたオブジェクトを強調表示する段階と、
   前記分類されたオブジェクトの選択された1つを指示する入力を受信する段階と、
   前記選択されたオブジェクトの前記オブジェクト分類に基づいて、前記メタデータを生成する段階と、
   をさらに含む請求項1に記載のモバイル機器。
3. 前記検出したオブジェクトの1つまたは複数を分類する段階が、
   前記検出したオブジェクトの少なくとも1つに基づいて特徴ベクトルを生成する段階と、
   前記特徴ベクトルを前記オブジェクト分類の対象画像の1組の画像係数と比較して、前記少なくとも1つの検出したオブジェクトに一致する前記オブジェクト分類において対応対象画像を決定する段階であって、前記1組の画像係数は、前記モバイル機器に格納される段階と、
   前記対応対象画像に基づいて前記検出したオブジェクトを分類する段階と、
   をさらに含む請求項2に記載のモバイル機器。
4. 前記プロセッサは、取得、検出、強調表示、および分類の動作をリアルタイムに実行する請求項3に記載のモバイル機器。
5. 前記オブジェクト分類は、ロゴ、図案、顔、建造物、服、記号、自然物、または人工オブジェクトを含む請求項3に記載のモバイル機器。
6. メタデータを生成する段階は、
   前記検出したオブジェクトを強調表示する段階と、
   前記検出したオブジェクトの選択された1つを指示する入力を受信する段階と、
   前記選択されたオブジェクトに基づいて前記メタデータを生成する段階と
   をさらに含む請求項1に記載のモバイル機器。
7. 前記選択されたオブジェクトに基づいて前記メタデータを生成する段階は、
   前記選択されたオブジェクトをオブジェクト分類にあるものとして分類する段階と、
   前記選択されたオブジェクトの前記オブジェクト分類に基づいて前記メタデータを生成する段階と、
   をさらに含む請求項6に記載のモバイル機器。
8. 前記画像検索クエリーを前記サーバーに通信する段階は、
   前記選択されたオブジェクトの前記オブジェクト分類に基づいて前記画像検索クエリーの宛先アドレスを生成する段階と、
   前記宛先アドレスに従って前記画像検索クエリーを前記サーバーに通信する段階と、
   をさらに含む請求項7に記載のモバイル機器。
9. 前記取得した画像からクエリー画像を抽出する段階は、前記取得した画像をトリミングする段階、前記取得した画像を圧縮する段階、前記取得した画像のサイズを変更する段階、または前記取得した画像をグレイスケールに変換する段階をさらに含む請求項1に記載のモバイル機器。
10. メタデータを生成する段階は、
    前記検出したオブジェクトの少なくとも1つに基づいて特徴ベクトルを生成する段階と、
    前記特徴ベクトルを対象画像の1組の画像係数と比較して、前記検出したオブジェクトに一致する対応対象画像を決定する段階であって、前記1組の画像係数は前記モバイル機器に格納される段階と、
    前記対応対象画像に基づいて前記検出したオブジェクトを認識する段階と、
    前記対応対象画像に基づいて前記認識されたオブジェクトに関連する前記メタデータを生成する段階と、
    をさらに含む請求項1に記載のモバイル機器。
11. 前記モバイル機器は文脈データセンサーを含み、画像を取得する段階は、
    前記文脈データセンサーを介して前記取得した画像に関連する文脈データを取得する段階をさらに含み、前記画像検索クエリーは、前記文脈データをさらに含む
    請求項1に記載のモバイル機器。
12. 前記文脈データは、全地球測位システム(GPS)位置決定、Assisted Global Positioning System(A-GPS)位置決定、ガリレオシステム位置決定、タワーによる三点測量決定(tower trilateration fix)、テキスト形式の情報、聴覚情報、加速度計読取り値、ジャイロスコープ読取り値、または温度読取り値を含む請求項11に記載のモバイル機器。
13. 前記情報コンテンツは、名前、価格、製造者、評価、クーポン、または広告を含む請求項1に記載のモバイル機器。
14. 画像認識を実行する方法であって、
    モバイル機器によって画像を取得する段階と、
    前記取得した画像において1つまたは複数のオブジェクトを検出する段階と、
    前記検出したオブジェクトの少なくとも1つに関連するメタデータを生成する段階と、
    前記少なくとも1つのオブジェクトに基づいて前記取得した画像からクエリー画像を抽出する段階と、
    画像検索クエリーを生成する段階であって、前記画像検索クエリーは、前記クエリー画像および前記メタデータを含む段階と、
    前記画像検索クエリーを無線で通信する段階と、
    前記画像検索クエリーに応じて、前記少なくとも1つのオブジェクトに関連する情報コンテンツを受信し提示する段階と、
    を含む方法。
15. メタデータを生成する段階は、
    前記検出したオブジェクトの1つまたは複数をオブジェクト分類にあるものとして分類する段階と、
    前記分類されたオブジェクトを強調表示する段階と、
    前記分類されたオブジェクトの選択された1つを指示する入力を受信する段階と、
    前記選択されたオブジェクトの前記オブジェクト分類に基づいて前記メタデータを生成する段階と、
    をさらに含む請求項14に記載の方法。
16. 前記検出したオブジェクトの1つまたは複数を分類する段階が、
    前記検出したオブジェクトの少なくとも1つに基づいて特徴ベクトルを生成する段階と、
    前記特徴ベクトルを前記オブジェクト分類の対象画像の1組の画像係数と比較して、
    前記少なくとも1つの検出したオブジェクトに一致する前記オブジェクト分類において対応対象画像を決定する段階であって、前記1組の画像係数は前記モバイル機器に格納される段階と、
    前記対応対象画像に基づいて前記検出したオブジェクトを分類する段階と、
    をさらに含む請求項15に記載の方法。
17. 前記モバイル機器は、取得、検出、強調表示、または分類の動作をリアルタイムに実行する請求項16に記載の方法。
18. メタデータを生成する段階は、
    前記検出したオブジェクトを強調表示する段階と、
    前記検出したオブジェクトの選択された1つを指示する入力を受信する段階と、
    前記選択されたオブジェクトに基づいて前記メタデータを生成する段階と
    をさらに含む請求項14に記載の方法。
19. 前記選択されたオブジェクトに基づいて前記メタデータを生成する段階は、
    前記選択されたオブジェクトをオブジェクト分類にあるものとして分類する段階と、
    前記選択されたオブジェクトの前記オブジェクト分類に基づいて前記メタデータを生成する段階と、
    をさらに含む請求項18に記載の方法。
20. 前記画像検索クエリーを無線で通信する段階は、
    前記選択されたオブジェクトの前記オブジェクト分類に基づいて前記画像検索クエリーの宛先アドレスを生成する段階と、
    前記宛先アドレスに従って前記画像検索クエリーを宛先に通信する段階と、
    をさらに含む請求項19に記載の方法。
21. 画像を取得する段階は、
    前記モバイル機器の文脈データセンサーを介して前記取得した画像に関連する文脈データを取得する段階であって、前記画像検索クエリーは、前記文脈データをさらに含む段階
    をさらに含む請求項14に記載の方法。
22. 画像認識を実行するためのシステムであって、
    モバイル機器によって画像を取得するための手段と、
    前記取得した画像において1つまたは複数のオブジェクトを検出するための手段と、
    前記検出したオブジェクトの少なくとも1つに関連するメタデータを生成するための手段と、
    前記少なくとも1つのオブジェクトに基づいて、前記取得した画像からクエリー画像を抽出するための手段と、
    画像検索クエリーを生成するための手段であって、前記画像検索クエリーは、前記クエリー画像および前記メタデータを含む手段と、
    前記画像検索クエリーを無線で通信するための手段と、
    前記画像検索クエリーに応じて、前記少なくとも1つのオブジェクトに関連する情報コンテンツを受信し提示するための手段と、
    を含むシステム。
23. メタデータを生成するための前記手段は、
    前記検出したオブジェクトの1つまたは複数をオブジェクト分類にあるものとして分類するための手段と、
    前記分類されたオブジェクトを強調表示するための手段と、
    前記分類されたオブジェクトの選択された1つを指示する入力を受信するための手段と、
    前記選択されたオブジェクトの前記オブジェクト分類に基づいて前記メタデータを生成するための手段と、
    をさらに含む請求項22に記載のシステム。
24. 前記検出したオブジェクトの1つまたは複数を分類するための前記手段は、
    前記検出したオブジェクトの少なくとも1つに基づいて特徴ベクトルを生成するための手段と、
    前記特徴ベクトルを前記オブジェクト分類の対象画像の1組の画像係数と比較して、前記少なくとも1つの検出したオブジェクトに一致する前記オブジェクト分類において対応対象画像を決定するための手段であって、前記1組の画像係数は前記モバイル機器に格納される手段と、
    前記対応対象画像に基づいて前記検出したオブジェクトを分類するための手段と、
    をさらに含む請求項23のに記載のシステム。
25. 取得、検出、強調表示、および分類のための前記手段は、リアルタイムに実行される請求項24に記載のシステム。
26. メタデータを生成するための前記手段は、
    前記検出したオブジェクトを強調表示するための手段と、
    前記検出したオブジェクトの選択された1つを指示する入力を受信するための手段と、
    前記選択されたオブジェクトに基づいて前記メタデータを生成するための手段と、
    をさらに含む請求項22に記載のシステム。
27. 前記選択されたオブジェクトに基づいて前記メタデータを生成するための前記手段は、
    前記選択されたオブジェクトをオブジェクト分類にあるものとして分類するための手段と、
    前記選択されたオブジェクトの前記オブジェクト分類に基づいて前記メタデータを生成するための手段と、
    をさらに含む請求項26に記載のシステム。
28. 前記画像検索クエリーを無線で通信するための前記手段は、
    前記選択されたオブジェクトの前記オブジェクト分類に基づいて前記画像検索クエリーの宛先アドレスを生成するための手段と、
    前記宛先アドレスに従って前記画像検索クエリーを宛先に通信するための手段と、
    をさらに含む請求項27に記載のシステム。
29. 画像を取得するための前記手段は、
    前記モバイル機器の文脈データセンサーを介して前記取得した画像に関連する文脈データを取得するための手段をさらに含み、前記画像検索クエリーは、前記文脈データをさらに含む
    請求項22に記載のシステム。
30. コンピュータによって実行されたときに、前記コンピュータに画像認識を実行させる命令を格納するコンピュータ可読媒体を含むコンピュータプログラム製品であって、前記コンピュータ可読媒体は、
    前記コンピュータに画像を取得させるための少なくとも1つの命令と、
    前記コンピュータに前記取得した画像において1つまたは複数のオブジェクトを検出させるための少なくとも1つの命令と、
    前記コンピュータに前記検出したオブジェクトの少なくとも1つに関連するメタデータを生成させるための少なくとも1つの命令と、
    前記少なくとも1つのオブジェクトに基づいて、前記コンピュータに前記取得した画像からクエリー画像を抽出させるための少なくとも1つの命令と、
    前記コンピュータに画像検索クエリーを生成させるための少なくとも1つの命令であって、前記画像検索クエリーは、前記クエリー画像および前記メタデータを含む命令と、
    前記コンピュータに前記画像検索クエリーを無線で通信させるための少なくとも1つの命令と、
    前記画像検索クエリーに応じて、前記コンピュータに前記少なくとも1つのオブジェクトに関連する情報コンテンツを受信させ提示させるための少なくとも1つの命令と、
    を含むコンピュータプログラム製品。
31. 前記コンピュータにメタデータを生成させるための前記少なくとも1つの命令は、
    前記コンピュータに前記検出したオブジェクトの1つまたは複数をオブジェクト分類にあるものとして分類させるための少なくとも1つの命令と、
    前記コンピュータに前記分類されたオブジェクトを強調表示させるための少なくとも1つの命令と、
    前記コンピュータに前記分類されたオブジェクトの選択された1つを指示する入力を受信させるための少なくとも1つの命令と、
    前記選択されたオブジェクトの前記選択されたオブジェクト分類に基づいて、前記コンピュータに前記メタデータを生成させるための少なくとも1つの命令と、
    をさらに含む請求項30に記載のコンピュータプログラム製品。
32. 前記コンピュータに前記検出したオブジェクトの1つまたは複数を分類させるための前記少なくとも1つの命令は、
    前記コンピュータに前記検出したオブジェクトの少なくとも1つに基づいて特徴ベクトルを生成させるための少なくとも1つの命令と、
    前記コンピュータに前記特徴ベクトルを前記オブジェクト分類の対象画像の1組の画像係数と比較させ、前記少なくとも1つの検出したオブジェクトに一致する前記オブジェクト分類において対応対象画像を決定させるための少なくとも1つの命令であって、前記1組の画像係数は前記コンピュータに格納される命令と、
    前記対応対象画像に基づいて前記コンピュータに前記検出したオブジェクトを分類させるための少なくとも1つの命令と、
    をさらに含む請求項31に記載のコンピュータプログラム製品。
33. 前記コンピュータに、取得、検出、強調表示、および分類をさせるための前記少なくとも1つの命令は、前記コンピュータに、リアルタイムに取得、検出、強調表示、および分類をさせる請求項32に記載のコンピュータプログラム製品。
34. 前記コンピュータにメタデータを生成させるための前記少なくとも1つの命令は、
    前記コンピュータに前記検出したオブジェクトを強調表示させるための少なくとも1つの命令と、
    前記コンピュータに前記強調表示されたオブジェクトの選択された1つを指示する入力を受信させるための少なくとも1つの命令と、
    前記選択されたオブジェクトに基づいて前記コンピュータに前記メタデータを生成させるための少なくとも1つの命令と、
    をさらに含む請求項30に記載のコンピュータプログラム製品。
35. 前記コンピュータに前記選択されたオブジェクトに基づいて前記メタデータを生成させるための前記少なくとも1つの命令は、
    前記コンピュータに前記選択されたオブジェクトをオブジェクト分類にあるものとして分類させるための少なくとも1つの命令と、
    前記選択されたオブジェクトの前記オブジェクト分類に基づいて、前記コンピュータに前記メタデータを生成させるための少なくとも1つの命令と、
    をさらに含む請求項34に記載のコンピュータプログラム製品。
36. 前記コンピュータに前記画像検索クエリーを無線で通信させるための前記少なくとも1つの命令は、
    前記選択されたオブジェクトの前記オブジェクト分類に基づいて、前記コンピュータに前記画像検索クエリーの宛先アドレスを生成させるための少なくとも1つの命令と、
    前記宛先アドレスに従って、前記コンピュータに前記画像検索クエリーを宛先に通信させるための少なくとも1つの命令と、
    をさらに含む請求項35に記載のコンピュータプログラム製品。
37. 前記コンピュータに画像を取得させるための前記少なくとも1つの命令は、
    前記コンピュータに前記モバイル機器の文脈データセンサーを介して前記取得した画像に関連する文脈データを取得させるための少なくとも1つの命令であって、前記画像検索クエリーは前記文脈データをさらに含む少なくとも1つの命令
    をさらに含む請求項30に記載のコンピュータプログラム製品。
38. サーバーを含む、画像認識を実行するためのシステムであって、
    前記サーバーは、
    モバイル機器から画像検索クエリーを受信し、前記画像検索クエリーは、画像および前記画像の少なくとも1つのオブジェクトに関連するメタデータを含み、
    前記メタデータに基づいて前記少なくとも1つのオブジェクトに関連する前記画像のオブジェクトを認識し、
    前記認識されたオブジェクトに基づいて情報コンテンツを生成し、
    前記画像検索クエリーに応じて前記情報コンテンツを通信するように構成される
    システム。
39. 前記画像検索クエリーは、前記画像に関連する文脈データをさらに含み、
    さらに前記サーバーは、前記認識されたオブジェクトおよび前記文脈データに基づいて前記情報コンテンツを生成するように構成された
    請求項38に記載のシステム。
40. 前記文脈データは、全地球測位システム(GPS)位置決定、Assisted Global Positioning System(A-GPS)位置決定、ガリレオシステム位置決定、タワーによる三点測量決定(tower trilateration fix)、テキスト形式の情報、聴覚情報、加速度計読取り値、ジャイロスコープ読取り値、または温度読取り値を含む請求項39に記載のシステム。
41. 前記サーバーは、
    前記画像を対象画像と比較して、前記画像に一致する対応対象画像を決定し、前記対象画像は前記メタデータに基づいて選択され、
    前記対応対象画像に基づいて前記画像の前記オブジェクトを認識する
    ようにさらに構成される請求項38に記載のシステム。
42. 前記サーバーは、
    前記メタデータに基づいて前記画像の前記オブジェクトを検出し、
    前記オブジェクトの特徴ベクトルを生成し、
    前記特徴ベクトルを対象画像の画像係数と比較して、前記オブジェクトに一致する対応対象画像を決定し、前記画像係数は前記メタデータに基づいて選択され、
    前記対応対象画像に基づいて前記オブジェクトを認識する
    ようにさらに構成される請求項38に記載のシステム。
43. 前記オブジェクトは、ロゴ、図案、顔、建造物、服、記号、自然物、または人工オブジェクトを含む請求項38に記載のシステム。
44. 前記情報コンテンツは、名前、価格、製造者、評価、クーポン、または広告を含む請求項38に記載のシステム。
45. 前記サーバーは、
    前記画像検索クエリーを格納し、
    前記情報コンテンツを前記画像検索クエリーに関連付ける
    ようにさらに構成される請求項38に記載のシステム。
46. モバイル機器から画像検索クエリーを受信する段階であって、前記画像検索クエリーは、画像および前記画像の少なくとも1つのオブジェクトに関連するメタデータを含む段階と、
    前記メタデータに基づいて前記少なくとも1つのオブジェクトに関連する前記画像のオブジェクトを認識する段階と、
    前記認識されたオブジェクトに基づいて情報コンテンツを生成する段階と、
    前記画像検索クエリーに応じて前記情報コンテンツを通信する段階と、
    を含む画像認識を実行する方法。
47. 前記画像検索クエリーは、前記画像に関連する文脈データをさらに含み、さらに情報コンテンツを生成する段階は、前記認識されたオブジェクトおよび前記文脈データに基づいて前記情報コンテンツを生成する段階を含む請求項46に記載の方法。
48. 前記文脈データは、全地球測位システム(GPS)位置決定、Assisted Global Positioning System(A-GPS)位置決定、ガリレオシステム位置決定、タワーによる三点測量決定(tower trilateration fix)、テキスト形式の情報、聴覚情報、加速度計読取り値、ジャイロスコープ読取り値、または温度読取り値を含む請求項47に記載の方法。
49. 前記画像のオブジェクトを認識する段階は、
    前記画像を1組の対象画像と比較して前記画像に一致する対応対象画像を決定する段階であって、前記1組の対象画像は前記メタデータに基づいて選択される段階と、
    前記対応対象画像に基づいて前記画像の前記オブジェクトを認識する段階と、
    をさらに含む請求項46に記載の方法。
50. モバイル機器から画像検索クエリーを受信するための手段であって、前記画像検索クエリーは、画像および前記画像の少なくとも1つのオブジェクトに関連するメタデータを含む手段と、
    前記メタデータに基づいて前記少なくとも1つのオブジェクトに関連する前記画像のオブジェクトを認識するための手段と、
    前記認識されたオブジェクトに基づいて情報コンテンツを生成するための手段と、
    前記画像検索クエリーに応じて前記情報コンテンツを通信するための手段と、
    を含む画像認識を実行するシステム。
51. 前記画像検索クエリーは、前記画像に関連する文脈データをさらに含み、さらに情報コンテンツを生成するための前記手段は、前記認識されたオブジェクトおよび前記文脈データに基づいて前記情報コンテンツを生成するための手段を含む請求項50に記載のシステム。
52. 前記文脈データは、全地球測位システム(GPS)位置決定、Assisted Global Positioning System(A-GPS)位置決定、ガリレオシステム位置決定、タワーによる三点測量決定(tower trilateration fix)、テキスト形式の情報、聴覚情報、加速度計読取り値、ジャイロスコープ読取り値、または温度読取り値を含む請求項51に記載のシステム。
53. 前記画像のオブジェクトを認識するための前記手段は、
    前記画像を1組の対象画像と比較して前記画像に一致する対応対象画像を決定するための手段であって、前記1組の対象画像は前記メタデータに基づいて選択される手段と、
    前記対応対象画像に基づいて前記画像の前記オブジェクトを認識するための手段と
    をさらに含む請求項50に記載のシステム。
54. コンピュータによって実行されたときに、前記コンピュータに画像認識を実行させる命令を格納するコンピュータ可読媒体を含むコンピュータプログラム製品であって、
    前記コンピュータ可読媒体は、
    前記コンピュータにモバイル機器から画像検索クエリーを受信させるための少なくとも1つの命令であって、前記画像検索クエリーは、前記画像の少なくとも1つのオブジェクトに関連する画像およびメタデータを含む命令と、
    前記メタデータに基づいて前記コンピュータに前記少なくとも1つのオブジェクトに関連する前記画像のオブジェクトを認識させるための少なくとも1つの命令と、
    前記認識されたオブジェクトに基づいて前記コンピュータに情報コンテンツを生成させるための少なくとも1つの命令と、
    前記画像検索クエリーに応じて前記コンピュータに前記情報コンテンツを通信させるための少なくとも1つの命令と、
    を含むコンピュータプログラム製品。
55. 前記画像検索クエリーは、前記画像に関連する文脈データをさらに含み、さらに前記コンピュータに情報コンテンツを生成させるための前記少なくとも1つの命令は、前記コンピュータに前記認識されたオブジェクトおよび前記文脈データに基づいて前記情報コンテンツを生成させるための少なくとも1つの命令を含む請求項54に記載のコンピュータプログラム製品。
56. 前記文脈データは、全地球測位システム(GPS)位置決定、Assisted Global Positioning System(A-GPS)位置決定、ガリレオシステム位置決定、タワーによる三点測量決定(tower trilateration fix)、テキスト形式の情報、聴覚情報、加速度計読取り値、ジャイロスコープ読取り値、または温度読取り値を含む請求項55に記載のコンピュータプログラム製品。
57. 前記コンピュータに前記画像のオブジェクトを認識させるための前記少なくとも1つの命令は、
    前記コンピュータに前記画像を1組の対象画像と比較させ、前記画像に一致する対応対象画像を決定するための少なくとも1つの命令であって、前記1組の対象画像は前記メタデータに基づいて選択される命令と、
    前記対応対象画像に基づいて前記コンピュータに前記画像の前記オブジェクトを認識させるための少なくとも1つの命令と、
    をさらに含む請求項54に記載のコンピュータプログラム製品。

Images