JP2009500719A - 画像によるクエリ探索（ｑｕｅｒｙ−ｂｙ−ｉｍａｇｅｓｅａｒｃｈ）及び検索システム - Google Patents

Abstract

本発明は、画像に基づくクエリを高度化し且つ高速化する画像クエリシステム並びに関連した方法及びコンピュータプログラム製品が開示される。このために、本発明は、関連付けられた暗黙的なメタデータ及び明示的なメタデータを有するデジタル画像クエリ、並びに、ローカルレポジトリ、ネットワーク化レポジトリ、又はウェブリンクされたレポジトリに記憶された画像の大きな集合体からの視覚的に類似した画像又は他の関連のある情報の検索を提案する。
【選択図】 図４

Description

本発明は、包括的には、画像によるクエリ探索を可能にする方法、システム、及びコンピュータプログラム製品に関し、より具体的には、一組の類似のオブジェクトのナビゲーションのための関連付けられた暗黙的又は明示的なメタデータ、及び、クエリ基準を満たすオブジェクトの識別情報で、画像によるクエリ探索を可能にする方法、システム、及びコンピュータプログラム製品に関する。

ワールドワイドウェブ（ＷＷＷ）は、世界中の企業、政府機関、グループ、及び個人が、ウェブページとして知られている相互リンクされたコンピュータファイルを保持する相互接続されたコンピュータの広大なネットワークで構成されている。ユーザは、インターネットブラウザとして一般的に知られているコンピュータソフトウェアプログラムによってこれらのページをナビゲートする。構造化されていないＷＷＷの広大さにより、ユーザは、情報を検索したり企業の所在場所を突き止めたりするのに主としてインターネットサーチエンジンに頼ることになる。これらのサーチエンジンは、さまざまな手段を使用して、ユーザにより定義された探索と検索された情報との関連性を求める。

通常、サーチエンジンによってレンダリングされた各探索結果は、ユーザの探索式を満たすものとしてサーチエンジンにより識別された個々のエントリーのリストを含む。各エントリー、すなわち「ヒット」は、統一資源位置指定子（ＵＲＬ）ロケーション又はウェブページを指し示すハイパーリンクを含む。ハイパーリンクに加えて、一定の探索結果ページは、そのウェブページのコンテンツを説明する短い概要又は要約も含む。

インターネット上のテキスト形式の素材にアクセスするための一般的な技法は、一般に単語間又は用語間にブール演算子を有する「キーワード」の組み合わせによるものである。この「キーワード」の組み合わせでは、ユーザは、英数字の探索式又はキーワードで構成されたクエリを入力する。このクエリに応答して、サーチエンジンは、要求された情報の所在場所を突き止めるために、利用可能なウェブサイトを厳密に調べ、探索クエリの単語をメタデータレポジトリの単語と照合する。

この単語照合に基づくサーチエンジンは、メタデータレポジトリを解析（parse）して、クエリの単語を、レポジトリにおける文書のインデックスされた単語と比較することにより、マッチングの位置を突き止める。クエリと１つ又は２つ以上の文書の単語との間に単語の一致したものがある場合、サーチエンジンは、それらの文書を識別して、ＨＴＭＬページの形式で探索結果を返す。

さらに、ＷＷＷの素材の量が増加しているだけでなく、デジタル化された素材のタイプも増加している。たとえば、英数字テキスト、データ、オーディオ記録物、映像、写真、図面、画像、ビデオ、及びプリントをさまざまなタイプのデジタル化データとして記憶することが可能である。しかしながら、このような大量の素材は、所望の情報の照会、ブラウジング、及び検索が容易に可能でない場合には、ほとんど価値がない。特定のタイプのテキスト形式の素材にアクセスするためのいくつかの技法が開発されてきたが、これらの技法は、せいぜい、グラフィック素材又は他の特殊化された素材にアクセスするのに適度に向いているものにすぎない。その結果として、まだ十分に利用されていない状態にある大量の公開素材がある。

その結果、ユーザがコンテンツ及びコンテキストによって探索することを可能にして、テキスト探索に限定されないようにすることが次第に重要になってきている。

本発明は、画像に基づくクエリを高度化し且つ高速化する画像クエリシステム並びに関連した方法及びコンピュータプログラム製品（本明細書では「本システム」と総称する）を対象としている。このために、本発明は、関連付けられた暗黙的なメタデータ及び明示的なメタデータを有するデジタル画像クエリ、並びに、ローカルレポジトリ、ネットワーク化レポジトリ、又はウェブリンクされたレポジトリに記憶された画像の大きな集合体からの視覚的に類似した画像又は他の関連のある情報の検索を提案する。

本システムによって、個人は、デジタル映像を撮影又は使用して、暗黙的なデータ及び明示的なデータの双方を画像に付け加え、それらデータがクエリの画像に付随するようにすることが可能になる。クエリがインターネット又は任意の他の媒体を通じて送信される場合、付随するテキスト、又は、これに加えてオーディオファイルは、常に、デジタル映像に関連付けられる。

映像に付け加えられる、注釈として付けられる素材は、照会、ブラウジング、及び検索が可能であり、画像がデータベースに組み込まれたときに、暗黙的なデータ及び明示的なデータが、関連のある画像又は情報の所在場所を突き止めるのに有益となるようにされる。たとえば、写真のロケーション等のテキスト形式の素材が、デジタル写真に追加される場合、同じロケーションにおけるオブジェクトの画像によるクエリにより、その探索に対する一致が得られることになる。さらに、たとえばニュースイベントといった特定のイベントに関連のあるデータベースによって多数の画像が取得された場合、ユーザは、或るイベントについて又は或る主題に関して又はロケーションにより又は映像の日付によりサブミットされた写真のすべてについて画像クエリ探索又はテキスト形式探索を行うことができる。探索することができる組み合わせは、ファイルに記憶された素材のタイプによって変化する。

今や、本発明に基づいて、各映像を、その映像についての属性を記述するデータの個別のデータベースサポジトリ（database suppository）にすることが可能になり、他の多くの写真タグ付き映像と共に結合されると、映像のデータベースを構築することが可能になる。このデータベースでは、各映像は、その映像のコンテンツを記述する情報を有する。したがって、多くの他の映像と結合されると、これは、グループとして又は個々の映像として探索及び処理が可能な映像のデータベースを形成することになる。

本発明のさまざまな機能及びそれら機能を達成する方法を、以下の説明、添付の特許請求の範囲、及び以下の図面を参照してより詳細に説明することにする。図面では、参照符号が、参照されるアイテム間の対応を示すために適宜再利用される。

図１は、本発明の画像によるクエリシステム１０を実施できる代表的なコンピュータワークステーション１１０を示している。クエリのデジタル画像が選択され、携帯電話、デジタルカメラ、スキャナによってコンピュータワークステーション１１０に入力されるか、又は、インターネット若しくは別のコンピュータからダウンロードされる。ワークステーション１１０は、たとえば、複数の周辺デバイスに接続されるパーソナルコンピュータ（ＰＣ）とすることができる。さらに、ワークステーション１１０は、カメラ又は移動電話とすることもできることに留意されたい。通常、ワークステーション１１０は、中央処理装置（ＣＰＵ）１１２及びバス１１４を含む。バス１１４は、中央処理装置１１２とワークステーション１１０の他のコンポーネントとの間を接続して、それらの間の通信を可能にするのに使用される。

ワークステーション１１０は、さらに、ユーザインターフェースアダプタ１１６を含むことができる。ユーザインターフェースアダプタ１１６は、バス１１４を介して中央処理装置１１２を１つ又は２つ以上のインターフェースデバイスに接続する。これらのインターフェースデバイスは、キーボード１１８、マウス１２０、及び／又は他のインターフェースデバイス１２２、１２３等であり、他のインターフェース１２２、１２３は、タッチスクリーン、デジタル化パッド等である。また、バス１１４は、モニタや液晶ディスプレイ（ＬＣＤ）スクリーン等の表示デバイス１２４をもディスプレイアダプタ１２６を介して中央処理装置１１２に接続する。さらに、バス１１４は、中央処理装置１１２をメモリ１２８及びストレージデバイス１３０にも接続する。ストレージデバイス１３０は、ハードドライブ、ディスケットドライブ、テープドライブ等である。

デジタル映像は、ディスクのハードドライブへの物理的な装填等の任意の従来の手段によって、又はカメラとメモリとの間の有線通信若しくは無線通信によって、第１のワークステーション１１０のメモリ１２８へ転送される。

システム１０は、ソフトウェアプログラミングコード又はコンピュータプログラム製品を含む。このソフトウェアプログラミングコード又はコンピュータプログラム製品は、ディスケット、ハードドライブ、ＣＤ−ＲＯＭ等、データ処理システムと共に使用されるさまざまな既知の媒体のいずれかにおいて実施することができる。

コードは、このような媒体で配布することもできるし、或るコンピュータシステムのメモリ又はストレージから、他のコンピュータシステムのユーザによる使用のためにこのような他のシステムへ、或るタイプのネットワークによりユーザに配布することもできる。或いは、プログラミングコードは、メモリ内で実施することもでき、中央処理装置によってアクセスすることができる。メモリ内若しくは物理媒体上でソフトウェアプログラミングコードを実施するための技法及び方法、並びに／又は、ネットワークを介してソフトウェアコードを配布するための技法及び方法は、既知であり、本明細書ではこれ以上解説しないことにする。

代替的な一実施の形態では、システム１０は、モジュール形式であると共に、ワークステーション１１０又はホストサーバ２４７（図２）内に組み込むこともできるしインストールすることもできるソフトウェア又はコンピュータプログラム製品を含む。

ワークステーション１１０は、たとえば通信チャネル又はモデム１３２を介して他のコンピュータ又はコンピュータのネットワーク１１５と通信することができる。或いは、ワークステーション１１０は、セルラーデジタルパケットデータ（ＣＤＰＤ）カード等の無線インターフェースを使用して通信することもできる。ワークステーション１１０は、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）内のこのような他のコンピュータに関連付けることができる。また、ワークステーション１１０は、別のコンピュータとのクライアント／サーバ配置におけるクライアントとすることもできる。

システム１０は、さらに、候補画像及び画像に関する関連情報の潜在的に大規模な集合体を有するデータベースも備える。このシステムの目的は、この集合体から、画像クエリと一致する１つ又は２つ以上の画像及び関連情報を検索することである。システムは、探索として使用される画像のコンテンツと、その画像に注釈として付けられた暗黙的又は明示的なメタデータとの双方に基づいて、画像の集合体の探索を行う。システムは、最も関連のある結果を表示するランキング基準を有する。

次に図２を参照すると、図２は、本視覚的クエリシステム１０を実施できるデータ処理ネットワーク２４０を示している。このネットワーク２４０は、たとえば、無線ネットワーク２４２及びインターネット２４４等の複数のネットワークを含む。これらのネットワークのそれぞれは、ワークステーション１１０、１５０、１６０、１７０、１８０等の複数の個々のワークステーションを接続することができる。加えて、１つ又は２つ以上のローカルエリアネットワーク（ＬＡＮ）も含めることができる。この場合、ローカルエリアネットワークは、ホストプロセッサに結合される複数のインテリジェントワークステーションを備えることができる。

また、ネットワーク２４２及び２４４は、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）接続を使用してデータレポジトリ２４８にアクセスするゲートウェイ２４６及びアプリケーションサーバ２４７等のメインフレームコンピュータ又はサーバも含むことができる。ゲートウェイ２４６は、各ネットワーク２４４へのエントリーポイントとして機能する。通信リンク２５０Ａによってゲートウェイ２４６を別のネットワーク２４２に結合することができる。また、通信リンク２５０Ｂ、２５０Ｃをそれぞれ使用して１つ又は２つ以上のワークステーション１１０、１５０にゲートウェイ２４６を直接結合することもできる。

ゲートウェイ２４６は、ネットワーク２４２から遠方に位置することができ、同様に、ワークステーション１１０、１５０、１６０、１７０、１８０も、ネットワーク２４２及び２４４から遠隔に配置することができる。ワークステーション１１０は、携帯電話ネットワーク、無線周波数ネットワーク、衛星ネットワーク等の多数の代替的な接続媒体により、ＴＣＰ／ＩＰ等のネットワーキングプロトコルを使用して無線ネットワーク２４２に接続することができる。

無線ネットワーク２４２は、インターネットプロトコル、Ｘ．２５、フレームリレー、サービス統合デジタルネットワーク（ＩＳＤＮ）、公衆交換電話網（ＰＳＴＮ）等の上で伝送制御プロトコルやユーザデータグラムプロトコル（ＵＤＰ）等のネットワーク接続２５０Ａを使用してゲートウェイ２４６に接続される。ワークステーション１１０は、代替的に、ダイアルアップ接続を使用してゲートウェイ２４６に直接接続することもできる。さらに、ネットワーク２４２及び２４４は、図２に示す方法と類似の方法で１つ又は２つ以上の他のネットワーク（図示せず）に接続することもできる。

使用時に、有線接続又は無線接続を使用して、画像によるクエリシステム１０を実施するサーバ（又はゲートウェイ）２４６に、ユーザのコンピュータ、すなわちコンピュータ１６０を接続することができる。有線接続は、ケーブルや電話線等の物理媒体を使用する接続であるのに対して、無線接続は、衛星リンク、無線周波数波、赤外線波等の媒体を使用する。電話線上に接続を確立するコンピュータのモデムの使用、トークンリングやイーサネット（登録商標）等のローカルエリアネットワークカードの使用、無線接続を確立する携帯電話モデムの使用等の多くの接続技法を、これらのさまざまな媒体と共に用いることができる。ユーザのコンピュータ１６０は、処理能力及び通信能力を有するラップトップコンピュータ、ハンドヘルドコンピュータ、又はモバイルコンピュータ；車載デバイス；デスクトップコンピュータ；メインフレームコンピュータ等を含む任意のタイプのコンピュータプロセッサとすることができる。リモートサーバ２４６も、同様に、処理能力及び通信能力を有する多くのコンピュータタイプの１つとすることができる。

図３は、標準的なデジタルカメラ１０（又はデジタルカメラ付き携帯電話）のオペレーション機能３００を広く示している。これらの機能は、画像を捕捉するための画像キャプチャデバイス３０２に加えて、１つ又は２つ以上の画像をデジタルフォーマットで記憶するためのストレージデバイス３０４を含む。ＣＰＵ３０６は、メモリ３０８と協力してデジタルカメラのオペレーションを制御する。ストレージデバイス３０４に含まれる情報は、その後、１つ又は複数のデジタル画像を、インターネット若しくは任意の他のタイプの有線通信又は無線通信等の通信ネットワーク３１２へ送信する目的で、ネットワークインターフェース３１０に導入される。

カメラ３００は、日付スタンプや時刻スタンプ等の暗黙的なデータを画像に付け加えることができる。さらに、カメラ３００は、同様に、ＧＰＳローカライゼーション（GPS localization）又はカメラ付き携帯電話の場合にはＧＳＭローカライゼーション（GSM localization）を画像に付け加える自動画像ジオコーディングを含むことができる。自動画像ジオコーディングは、ＧＰＳ受信機プラグイン３１４を通じて行うことができる。日付スタンプ、時刻スタンプ、及びＧＰＳ／ＧＳＰスタンプは、ピクセルとしてデジタル映像に付け加えられる永続的で変更不能な固有情報である。

データベースからの画像の編成及びロケーション特定を可能にするテキスト形式の属性を画像に注釈として付けることができる。さらに、アンカテキスト又は代わりのテキストを通じて画像に追加情報を関連付けることもできる。既知の情報抽出技法を通じて、注釈として付けられたテキスト又はアンカテキストからこのデータを抽出することができ、画像データベース２４８においてさまざまなアイテムを探索するのに使用することができる。このデータは、テキスト形式のデータに限定されず、音データも含むことができることに留意することは重要である。これは、本発明の探索能力が、その場合、テキスト形式のデータのみに限定されず、オーディオデータを探索する可能性も含むことになることから重要である。音声認識デバイス等、本発明に関連付けられるさまざまな入力デバイスをこの探索プロセスで用いることができる。

画像データタグアプリケーションが、カメラ、カメラ付き携帯電話、任意の他のメモリデバイス等、ワークステーション１１０のメモリ内にロードされる。このデータアプリケーションによって、ユーザは、関連情報で画像にタグ付けできるように、画像に関係したデータを入力することが可能になる。関連のある文書のロケーション特定及び今後の探索のための画像のカテゴリー化の双方のために、注釈として付けられた素材を使用できるように、この注釈として付けられたデータは、システム１０によって容易にアクセス可能である。

このように、本システム１０によって、データ及び写真の双方が１つのファイルとして記憶される方法で画像に注釈として付けられた暗黙的なメタデータ及び／又は明示的なメタデータを含む画像によるクエリ探索が可能になる。したがって、ファイル全体を、第１のワークステーション１１０等の１つのメモリデバイスから、サーバ２４６等の第２のメモリデバイスへ転送することができる。

図４のフローチャートは、図１及び図３の視覚的クエリシステムの実施態様の方法４００を示している。ステップ４１０において、ユーザは、カメラ若しくはカメラ付き携帯電話のいずれかを通じて画像を取得するか又は画像を選択し、その画像をワークステーション１１０のメモリに記憶する。ステップ４１２において、クエリシステムは、探索をさらに向上させ、関連する情報のブラウジング及び検索を行うためのアプリケーションサーバに探索をサブミットするために、ユーザが、テキスト形式のデータ又はオーディオデータで画像に注釈を付けることを可能にする。一例として、画像クエリは、エッフェル塔の映像とすることができる。明示的なメタデータ、すなわち注釈として付けられるテキストは、次のもの、すなわち、エッフェル塔、パリ、フランス、及び元日を明示するものである。暗黙的なデータは、映像が撮影された時の時刻及び日付のスタンプ並びにカメラのＧＰＳ座標を含む。

クエリシステムは、ステップ４１４において、フォトマッチング技術を使用して画像クエリを解析し、さらに、メタデータを解析してメタデータ類似度を得る。システム１０は、連合データベースシステムを組み込むことができる。構成要素のデータベースは、コンピュータネットワークを介して相互接続され、地理的に分散させることができる。たとえば、システム１０は、解析されたメタデータを使用して、オンライン百科事典やマッピングサービス等の他のデータベース用のサブクエリを作成することもできるし、或いは、それらサブクエリを使用して、画像クエリで使用されるロケーション又はアイテムを対象としたスポンサ付き広告を識別することもできる。このために、システム１０は、ステップ４１６において、クエリをサブクエリに分解することができ、ステップ４１８において、関連のある構成要素のデータベース管理システムにサブミットすることができる。システム１０は、ステップ４２０において、レポジトリ２４８及び他の連合データベースの双方からのクエリの結果セットを合成し、ステップ４２２において、探索セットをユーザに提供する。このように、たとえ構成要素のデータベースが異種のものであっても、システムは、均一のフロントエンドユーザインターフェースを有し、ユーザが単一のクエリで複数のデータベースにデータを記憶すると共に複数のデータベースのデータを検索することを可能にする。

システム１０は、ステップ４２４において、データをカテゴリー化するために、暗黙的なメタデータ及び明示的なメタデータを使用して、クエリ画像の画像をデータベース２４８に記憶することを選択することができる。さらに、映像に付け加えられる、注釈として付けられる素材は、照会、ブラウジング、及び検索が可能であり、画像がデータベースに組み込まれるときに、暗黙的なデータ及び明示的なデータが、関連のあるクエリでこの画像を突き止めるのに有益となるようにされる。たとえば、或る写真のＧＰＳロケーション等の注釈として付けられる素材が、デジタル写真に追加される場合、同じジオコードロケーションにおけるオブジェクトのための画像によるクエリにより、その探索の結果として一致したものが得られる。

システム１０の一例として、多数の写真家が、或るイベントに関する見出し付き画像を送信した場合、システムは、その或るイベントにおいてサブミットされた写真のすべてを探索することができ、その探索の結果として画像の集合体を返すことができる。

本明細書で説明した本発明の特定の実施形態は、本発明の原理のいくつかの用途の単なる例示にすぎないことが理解されるべきである。本発明の例示的な一実施形態が、例示の目的で詳細に説明されてきたが、本発明の精神及び範囲から逸脱することなくさまざまな変更を行えることが十分認識されよう。したがって、本発明は、添付の特許請求の範囲によって限定されること以外は限定されることはない。

本発明の画像によるクエリシステムを実施できるコンピュータワークステーション環境の高レベルブロック図である。 図１のワークステーション及びクエリシステムを使用できる例示的な一ネットワーク化コンピューティング環境である。 本発明の画像によるクエリ探索システムを実施できるカメラ環境又はカメラ付き携帯電話環境の高レベルブロック図である。 図１のクエリシステムのオペレーションを示すプロセスフローチャートである。

Claims (12)

1. 画像クエリを通じてデータベースを探索（search）するための方法であって、
   データエントリーデバイスを有する第１のワークステーションに画像を入力するステップと、
   前記データエントリーデバイスを使用して、関連付けられたデータで前記画像に明示的に注釈を付け、それによって、注釈付き画像を生成する、ステップと、
   前記注釈付き画像で候補画像のデータベースを探索するステップと、
   １つ又は２つ以上のレコードを含む結果セットを生成するステップと
   を含む、画像クエリを通じてデータベースを探索するための方法。
2. 請求項１に記載の方法であって、
   カメラで画像を捕捉するステップと、暗黙的なデータを前記画像に関連付けるステップとをさらに含む、方法。
3. 請求項２に記載の方法において、
   前記暗黙的なデータは、前記画像の時刻、日付、及びジオコードロケーションの少なくとも１つを含む、方法。
4. 請求項２に記載の方法において、
   前記関連付けられたデータで前記画像に明示的に注釈を付けるステップは、テキストデータ又はオーディオデータの少なくとも一方で前記画像に注釈を付けることを含む、方法。
5. 請求項４に記載の方法において、
   前記注釈付き画像でデータベースを探索するステップは、画像認識を通じて前記画像を解析するステップと、前記関連付けられたデータを解析するステップとを含む、方法。
6. 画像検索（image retrieval）システムであって、
   ワークステーションに記憶される画像を備える該ワークステーションと、
   明示的なデータで前記画像に注釈を付けてクエリ画像を作成するためのエントリー手段と、
   関連付けられたデータを有する候補画像のデータベースと、
   前記クエリ画像を前記候補画像と比較して、前記クエリ画像と前記各候補画像との間の各画像類似度を確立するための画像比較手段と、
   前記クエリ画像の前記明示的なデータを、前記候補画像の前記データと比較するためのメタデータ比較手段と、
   最大の画像及びデータの類似度を有する少なくとも前記候補画像を提示するための提示手段と
   を備える、画像検索システム。
7. 請求項６に記載の画像検索システムにおいて、
   前記エントリー手段は、データタグアプリケーションである、画像検索システム。
8. 請求項７に記載の画像検索システムにおいて、
   前記ワークステーションに記憶される前記画像は、暗黙的なメタデータをさらに備える、画像検索システム。
9. 請求項８に記載の画像検索システムにおいて、
   前記暗黙的なメタデータは、時刻及び日付のスタンプ並びにジオコードロケーションの１つ又は２つ以上を含む、画像検索システム。
10. 請求項９に記載の画像検索システムにおいて、
    前記メタデータ比較手段は、前記クエリ画像の前記明示的なデータ及び前記暗黙的なデータを、前記候補画像の前記データと比較することを含む、画像検索システム。
11. コンテンツ及びメタデータに基づく画像クエリを実施するための命令コードを有するコンピュータプログラム製品であって、
    関連付けられたデータで画像に注釈を付けるための第１の組の命令コードと、
    前記画像の前記コンテンツ及び前記注釈として付けられたデータを使用することによって、候補画像のデータベースからの候補画像の関連性を求めるための第２の組の命令コードと
    を備える、コンピュータプログラム製品。
12. 請求項１１に記載のコンピュータプログラム製品において、
    前記画像は、暗黙的なメタデータを有する画像を含み、前記第２の組の命令コードは、前記暗黙的なデータ及び前記注釈として付けられたデータを解析する、コンピュータプログラム製品。

Images