JP2007242065A - イメージ検索システムおよびその方法 - Google Patents

Abstract

【課題】意味およびフィーチャベースの関連性フィードバックを用いたイメージ検索システムおよび方法を提供する。
【解決手段】イメージ検索システムはキーワードベースのイメージ検索とコンテントベースのイメージ検索の両方を実行する。ユーザインターフェースによって、ユーザは、キーワードとイメージ例の組合せを使用して問合せを指定することができる。このイメージ検索システムは、入力された問合せに応じて、問合せ中のキーワードと一致するキーワードを有するイメージ、および／または色、テクスチャ、形状など類似する低レベルフィーチャを有するイメージを見つける。システムは、イメージをランク付けしてユーザに返す。このユーザインターフェースによって、ユーザは、問合せとの関連性がより高いイメージと、関連性がより低いかあるいは関連性がまったくないイメージとを識別することができる。
【選択図】図１

Description

本発明は、意味およびフィーチャベースの関連性フィードバックを用いたイメージ検索システムおよびその方法に関する。

データ撮像技法が向上し、かつインターネットによって可用性が高くなったため、デジタルイメージが急速に普及している。ますます多くのイメージが日々利用可能になっている。

自動イメージ検索システムは、ユーザが増大する利用可能なイメージを検索するための効率的な方法をナビゲートする。従来のイメージ検索システムでは、ユーザはイメージを２つの方法のうちの１つ、すなわち、（１）キーワードベースのイメージ検索または（２）コンテントベースのイメージ検索でイメージを検索することができる。キーワードベースのイメージ検索では、ユーザの問合せ（ｑｕｅｒｙ）によるキーワードを、イメージに手動で付加されたキーワードと突き合わせることによってイメージが見つけられる。注釈付きイメージのより一般的な集合には、「Ｃｏｒｅｌ Ｇａｌｌｅｒｙ」、すなわち、約１００万枚の注釈付きイメージを含むＣｏｒｅｌ Ｃｏｒｐｏｒａｔｉｏｎのイメージデータベースがある。

キーワードベースのイメージ検索システムの１つの問題は、ユーザがあるイメージの固有の複雑さを厳密に表すことが困難または不可能であることである。その結果、説明することのできないイメージ、または曖昧にしか表せないイメージが首尾よく検索されないので、検索の精度が大幅に制限される恐れがある。また、手動注釈付けの負担が大きいので、状況は変化しつつあるが、注釈付きイメージを含むデータベースはほとんどない。

コンテントベースのイメージ検索（ＣＢＩＲ）では、カラーヒストグラム、テクスチャ、形状など、イメージ例の低レベルイメージフィーチャに類似したイメージが見つけられる。ＣＢＩＲはキーワードベースのイメージ検索の問題を解決するが、深刻な欠点も有する。ＣＢＩＲの１つの欠点は、探索によって、たまたま類似するフィーチャを有するに過ぎないまったく関連のないイメージが返される可能性があることである。また、イメージ中の個々のオブジェクトは種々の低レベルフィーチャを含む。したがって、低レベルフィーチャのみを使用しても、検索すべきものは十分に表されない。

ＣＢＩＲで返される関連のないイメージを除去するために、ＣＢＩＲベースのいくつかのイメージ検索システムはユーザフィードバックを使用して、あるイメージの関連性に関する理解を得ている。最初の問合せの後、このようなシステムは、問合せから返されるイメージに対してユーザによって入力される肯定的な応答および否定的な応答を監視することによってユーザの理想的な問合せを推定する。この手法は、ユーザが正確な最初の問合せを行う必要性を低減させる。

関連性フィードバック手法の１つの種類として、低レベルイメージフィーチャのみを使用する理想的な問合せパラメータを推定する手法がある。この手法は、フィーチャベクトルが問合せの本質を取り込むことができる場合にうまく働く。たとえば、ユーザが、色の特定の組合せを有する複雑なテクスチャを含むイメージを探索している場合、この問合せを表すことは極めて困難であるが、色フィーチャとテクスチャフィーチャの組合せによって合理的に表現することができる。したがって、いくつかの肯定的および否定的な例によって、関連性フィードバックプロセスはかなり正確な結果を返すことができる。一方、ユーザが、利用可能なフィーチャベクトルの組合せによって十分に表現することのできない特定のオブジェクトを探索している場合、このような関連性フィードバックシステムは、多数のユーザフィードバックにもかかわらず関連のある多くの結果を返さない。

数人の研究者は、テキスト情報検索で使用されるモデルをイメージ検索に適用することを試みている。テキスト情報検索で使用される最も一般的なモデルの１つはベクトルモデルである。ベクトルモデルは、非特許文献１〜３などの文献に記載されている。種々の効果的な検索技法がこのモデル用に開発されており、その多くが関連性フィードバックを使用している。

従来の関連性フィードバックの研究の大部分は２つの手法、すなわち問合せ点移動および再加重に分類することができる。問合せ点移動法は基本的に、「理想的な問合せ点」を良好な点の例に向かい、かつ不良な点の例から離れるように移動させることによって「理想的な問合せ点」の推定を向上させることを試みる方法である。この推定を反復的に改善するために頻繁に使用される技法は、ユーザによって指摘された関連性を有する文書Ｄ′_Ｒと関連性を有さない文書Ｄ′_Ｎの組に関して以下に与えるＲｏｃｃｈｉｏの公式である。

上式で、α、β、およびγは適切な定数であり、Ｎ_Ｒ′およびＮ_Ｎ′はそれぞれ、Ｄ′_ＲおよびＤ′_Ｎ中の文書の数である。この技法は、たとえば、非特許文献４に記載されたＭＡＲＳシステムで実現されている。

再加重を支持する中心的な考えは非常に単純で直感的なものである。各イメージはＮ次元フィーチャベクトルによって表されるので、イメージはＮ次元空間中の点とみなすことができる。したがって、良好な例の分散が主軸（ｐｒｉｎｃｉｐｌｅ ａｘｉｓ）ｊに沿って高い場合、軸上の値は、入力された問合せとの関連はそれほどない可能性が最も高く、この軸に低い重みｗ_ｊを割り当てることができる。したがって、重みｗ_ｊを更新するための基本的な考えとしてフィーチャマトリックス内のｊ番目のフィーチャ値の標準偏差の逆数が使用される。上述のＭＡＲＳシステムは、標準偏差法と呼ばれる再加重法をわずかに改善したものである。

最近、グローバル最適化を実行する計算面でより確固とした方法が提案されている。このような提案には、非特許文献５に記載されたＭｉｎｄＲｅａｄｅｒ検索システムがある。このシステムでは、パラメータ推定プロセスに関する最小化問題が公式化されている。座標軸に位置合わせされた楕円によって表すことのできる距離関数を用いた従来型の検索システムとは異なり、ＭｉｎｄＲｅａｄｅｒシステムでは、必ずしも座標軸に位置合わせされない距離関数が提案された。したがって、このシステムでは、各構成要素に対するそれぞれの異なる重みだけでなく属性間の相関関係を与えることができる。

この手法に対するさらなる改良は、非特許文献６に記載されている。このＣＢＩＲシステムは、最適化問題を公式化するだけでなく、マルチレベルイメージモデルも考慮に入れている。

上述の手法はすべて、イメージ検索における低レベルフィーチャベクトルレベルでの関連性フィードバックを実行するが、イメージ自体の意味を考慮に入れていない。これらの手法に関する固有の問題は、テキスト情報検索で使用されている関連性フィードバックをイメージ検索に採用しても期待されたほどの成功が得られなかったことである。これは主として、低レベルフィーチャがイメージの完全な意味コンテントを表現する上で有効ではないことが多いからである。

その結果、イメージ検索の関連性フィードバックに意味を組み込む試みがなされている。非特許文献７において、著者は、相関マトリックスを使用してフィーチャベースの低レベルイメージ検索プロセスに意味情報を埋め込むことを試みるフレームワークを提案している。このフレームワークでは、イメージクラスタ間の意味上の関連性がユーザのフィードバックから得られ、この関連性を使用して検索性能が改善される。
Ｐｒｏｃ ｏｆ ＳＩＧＩＲ‘９５のＢｕｃｋｌｅｙおよびＳａｌｔｏｎ著「Ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ Ｗｅｉｇｈｔｓ」 ＳａｌｔｏｎおよびＭｃＧｉｌｌ著「Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｍｏｄｅｒｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ」（ＭｃＧｒａｗ−Ｈｉｌｌ Ｂｏｏｋ Ｃｏｍｐａｎｙ、１９８３年） Ｗ．Ｍ．Ｓｈａｗ著「Ｔｅｒｍ−Ｒｅｌｅｖａｎｃｅ Ｃｏｍｐｕｔａｔｉｏｎ ａｎｄ Ｐｅｒｆｅｃｔ Ｒｅｔｒｉｅｖａｌ Ｐｅｒｆｏｒｍａｎｃｅ」（Ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｍａｎａｇｅｍｅｎｔ） Ｒｕｉ，Ｙ．、Ｈｕａｎｇ，Ｔ．Ｓ．、およびＭｅｈｒｏｔｒａ，Ｓ．著「Ｃｏｎｔｒｏｌ−Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ ｗｉｔｈ Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ ｉｎ ＭＡＲＳ」、Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．ｏｎ Ｉｍａｇｅ ｐｒｏｃ．（１９９７年） Ｉｓｈｉｋａｗａ，Ｙ．、Ｓｕｂｒａｍａｎｙａ Ｒ．、およびＦａｌｏｕｔｓｏｓ，Ｃ．の著「Ｍｉｎｄｒｅａｄｅｒ：Ｑｕｅｒｙ Ｄａｔａｂａｓｅｓ Ｔｈｒｏｕｇｈ Ｍｕｌｔｉｐｌｅ Ｅｘａｍｐｌｅｓ」、Ｐｒｏｃ． ｏｆ ｔｈｅ ２４ｔｈ ＶＬＤＢ Ｃｏｎｆｅｒｅｎｃｅ（ニューヨーク、１９９８年） Ｒｕｉ，Ｙ．、Ｈｕａｎｇ，Ｔ．Ｓ．著「Ａ Ｎｏｖｅｌ Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ Ｔｅｃｈｎｉｑｕｅ ｉｎ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ」（ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ、１９９９年） Ｌｅｅ、Ｍａ、およびＺｈａｎｇ著「Ｉｎｆｏｒｍａｔｉｏｎ Ｅｍｂｅｄｄｉｎｇ Ｂａｓｅｄ ｏｎ Ｕｓｅｒ′ｓ Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ ｆｏｒ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ」（Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＨＰ Ｌａｂｓ、１９９８年）

しかし、依然として、関連性フィードバックを使用するイメージ検索システムおよび方法を改良する必要がある。本発明者は、意味と低レベルフィーチャの両方を新しい方法でフィードバックプロセスに組み込むシステムを提案する。意味情報が得られないときにのみ、この技法は、特殊なケースとして前述の低レベルフィードバック手法のうちの１つに変更される。

イメージ検索システムはキーワードベースのイメージ検索とコンテントベースのイメージ検索の両方を実行する。ユーザインターフェースによって、ユーザは、キーワードとイメージ例の組合せを使用して問合せを指定することができる。このイメージ検索システムは、入力された問合せに応じて、問合せ中のキーワードと一致するキーワードを有するイメージ、および／または色、テクスチャ、形状など類似する低レベルフィーチャを有するイメージを見つける。システムは、イメージをランク付けしてユーザに返す。

このユーザインターフェースによって、ユーザは、問合せとの関連性がより高いイメージと、関連性がより低いかまたは関連性がまったくないイメージとを識別することができる。このイメージ検索システムは、ユーザフィードバックを監視し、このフィードバックを使用して探索を改善し、システム自体を将来の探索問合せに関して訓練する。

上述の実施態様では、イメージ検索システムはフィーチャベースの関連性フィードバックと意味ベースの関連性フィードバックをシームレスに統合する。フィーチャベースの関連性フィードバックを用いた場合、システムは、どの低レベルフィーチャによって関連するイメージが得られたかを学習し、このようなフィーチャをグループ化して将来の探索の助けとする。

意味ベースの関連性フィードバックを用いた場合、イメージ検索システムは、どのキーワードが関連するイメージと共に識別されたかを知り、キーワードとイメージの間の関連付けを強める。より具体的には、イメージおよびキーワードがデータベース内に維持され、キーワードとイメージの間の関連性を定義するようにイメージデータベース上に意味ネットワークが構築され、ユーザフィードバックが与えられたときにこの意味ネットワークが更新される。キーワードがイメージにどのように関連しているかを示すためにキーワードとイメージの関連性に重みが割り当てられる。重みは、ユーザフィードバックにしたがって調整され、それにより、より関連性の高いものとして識別されたキーワードとイメージの間の関連付けが強められ、より関連性が低いものとして識別されたキーワードとイメージの間の関連付けが弱められる。

本発明によれば、関連性フィードバックを使用して、より改善されたイメージ検索を行なうことができる。

この開示では、キーワードベースのイメージ検索とコンテントベースのイメージ検索を共に実行するイメージ検索システムについて説明する。このシステムは、フィーチャベースの関連性フィードバックと意味ベースの関連性フィードバックをシームレスに統合する。このイメージ検索システムはまた、キーワードとイメージを関連付けるようにイメージデータベース上に構築された意味ネットワークもサポートし、機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を使用しユーザフィードバックに基づいて意味ネットワークを適合させる。

サーバがイメージ検索システムのホストとして働き、クライアントがユーザ問合せをサーバに提出するインターネットベースのシステムに関して、このイメージ検索アーキテクチャを説明する。しかし、このアーキテクチャは他の環境で実現することができる。たとえば、このイメージ検索アーキテクチャは非インターネットベースのクライアントサーバシステムで実現することも、あるいは非ネットワーク化コンピュータシステム上で実現することもできる。

例示的なコンピューティング環境
図１は、イメージ検索システムを実現することのできる例示的なコンピュータネットワークシステム１００を示している。コンピュータネットワークシステム１００は、インターネットなどのネットワーク１０６を介してサーバ１０４に問合せを提出するクライアント１０２を含む。イメージ検索システムは他のネットワーク（たとえば、ワイドエリアネットワークやローカルエリアネットワーク）を使用して実現することができ、インターネットに制限すべきではないが、１つの適切な実施態様としてインターネットに関してこのシステムを説明する。このＷｅｂベース検索システムによって、複数のユーザが任意の所与の時間にタスクを同時に実行することができる。

クライアント１０２は、汎用コンピュータ（たとえば、デスクトップコンピュータ、ラップトップコンピュータなど）、ネットワーク機器（たとえば、セットトップボックス（ＳＴＢ）、ゲームコンソールなど）などを含め、多数の種々のコンピュータシステムを表す。クライアント１０２は、プロセッサ１１０、揮発性メモリ１１２（たとえば、ＲＡＭ）、および不揮発性メモリ１１４（たとえば、ＲＯＭ、フラッシュ、ハードディスク、光ディスクなど）を含む。クライアント１０２は、１つまたは複数の入力装置１１６（たとえば、キーボード、キーパッド、マウス、リモートコントロール、スタイラス、マイクロフォンなど）と、イメージ検索システムから返されたイメージを表示するディスプレイ１１８も有する。

クライアント１０２は、不揮発性メモリ１１４に記憶されており、プロセッサ１１０上で実行されるブラウザ１２０を備えている。ブラウザ１２０は、ネットワーク１０６を介してサーバ１０４に要求を提出し、サーバ１０４から応答を受信する。議論の都合上、ブラウザ１２０はＨＴＭＬ（ハイパーテキストマークアップ言語）などのマークアップ言語で書かれた文書を受信しレンダリングすることができる従来型のインターネットブラウザとして構成することができる。ブラウザを使用してさらにディスプレイ１１８上にイメージを表示することができる。

サーバ１０４は、ローカルエリアネットワークまたはワイドエリアネットワーク用のサーバ、このようなサーバ用のバックエンド、またはＷｅｂサーバを含め、多数の異なるサーバ環境を表す。このＷｅｂサーバの環境では、探索用のＷｅｂサイトなど、インターネット（ネットワーク）１０６上のサイトのホストとして働くようにサーバソフトウェアを有する１つまたは複数のコンピュータとして実現することができる。

サーバ１０４は、プロセッサ１３０、揮発性メモリ１３２（たとえば、ＲＡＭ）、および不揮発性メモリ１３４（たとえば、ＲＯＭ、フラッシュ、ハードディスク、光ディスク、ＲＡＩＤメモリなど）を有する。サーバ１０４は、オペレーティングシステム１３６およびイメージ検索システム１４０を動作させる。例示の都合上、オペレーティングシステム１３６およびイメージ検索システム１４０は、不揮発性メモリ１３４に記憶された離散的ブロックとして示されている。ただし、このようなプログラムおよび構成要素が、サーバ１０４のそれぞれの異なる時間にそれぞれの異なる記憶構成要素に存在し、プロセッサ１３０によって実行されることを認識されたい。一般に、これらのソフトウェア構成要素は、不揮発性メモリ１３４に記憶されており、そこから少なくとも部分的に揮発性メインメモリ１３２にロードされ、プロセッサ１３０上で実行される。

イメージ検索システム１４０は、イメージデータベース１４２に記憶されているイメージを検索する。イメージ検索システム１４０は、問合せハンドラ１５０、フィーチャ意味マッチャ（ｆｅａｔｕｒｅ ａｎｄ ｓｅｍａｎｔｉｃ ｍａｔｃｈｅｒ）１５２およびフィードバックアナライザ１５４を含む。

問合せハンドラ１５０は、クライアント１０２から受信された問合せを処理する。問合せは、自然言語の問合せ、個々の語の問合せ、または探索の基礎を形成するイメージ例の低レベルフィーチャを含むイメージ問合せの形態でよい。問合せハンドラ１５０は、問合せタイプに応じて、イメージデータベース１４２のキーワードベースの探索またはフィーチャベースの探索を開始する。

フィーチャ意味マッチャ１５２は、イメージ例に類似した低レベルフィーチャを含み、かつ／またはユーザ問合せ中のキーワードに一致する関連付けされたキーワードを有するイメージデータベース１４２の中のイメージの探索を試みる。フィーチャ意味マッチャ１５２は、意味ネットワークを使用して類似するキーワードを有するイメージを見つける。意味ネットワークはキーワードとイメージの間の関連付けを定義する。あるキーワードがこのイメージにどのように関連しているかを示すように関連付けに重みが割り当てられる。以下にある例示的な意味ネットワークについて図３を参照して説明する。

フィーチャ意味マッチャ１５２は、イメージを問合せに対するイメージの関連性にしたがってランク付けし、ユーザによって検討できるようにイメージをランク順に返す。ユーザは、ユーザインターフェースを介して、個々のイメージを問合せとの関連性がより高いかあるいはより低いか、あるいはまったく関連を有さないイメージとしてマーク付けするか、あるいはその他の方法で識別することができる。

フィーチャアナライザ１５４は、ユーザフィードバックを監視し、どのイメージが探索に関連するものとみなされ、どのイメージが関連しないものとみなされるかを分析する。フィードバックアナライザ１５４は、関連性フィードバックを使用して、イメージデータベース中の意味ネットワークを訓練する。たとえば、フィードバックアナライザ１５４は、関連するイメージ上の注釈を探索問合せ中のキーワードにより厳密に整合するように修正することができる。アナライザ１５４は、探索問合せのキーワードと関連するイメージとの間の関連付けを強め、キーワードと関連のないイメージとの間の関連付けを弱めることによって、意味ネットワークの重みを調整することもできる。

したがって、イメージ検索システムは、コンテントベースのイメージ検索（ＣＢＩＲ）と意味ベースのイメージ検索を統合する。このシステムは、意味ベースの関連性フィードバックとフィーチャベースの関連性フィードバックも統合する。このシステムは、検索精度と使いやすさの両方において顕著な利益をもたらす。

イメージ検索システムアーキテクチャ
図２は、イメージ検索システムアーキテクチャ１４０をより詳しく示している。このアーキテクチャは、テキストベースのキーワードまたは自然言語の問合せと、選択されたイメージ例との両方を受け入れるユーザインターフェース（ＵＩ）２００を有する。したがって、ユーザは、語の入力を選択するか、あるいは最初の探索問合せとして使用すべきイメージ例を選択することができる。ＵＩ２００は、ユーザが複数のイメージをブラウジングできるようにするナビゲーションツールも形成する。図１のネットワークシステムでは、ＵＩ２００は、ＨＴＭＬ文書として働かせることができ、クライアントのディスプレイ上でレンダリングされる。ユーザインターフェース２００の１つの例示的な実施態様については、以下に「ユーザインターフェース」の見出しの下で詳しく説明する。

問合せは問合せハンドラ１５０に渡される。図の実施態様では、問合せハンドラ１５０は、キーワード、句、文などテキストベースの問合せを解析する自然言語パーサ２０２を含む。パーサ２０２は、問合せからキーワードを抽出するように構成されており、自然言語問合せの構文情報および意味情報を使用してキーワードをより適切に理解し識別することができる。解析結果は意味ネットワークへの入力として使用され、意味ネットワークはキーワードをデータベース１４２内のイメージに関連付ける。

図３は、意味ネットワーク３００を示している。このネットワークは、キーワード３０２（１）、３０２（２）、．．．３０２（Ｎ）をデータベース１４２内のイメージ３０４（１）、３０４（２）、３０４（３）、．．．３０４（Ｍ）に関連付けるキーワード−イメージリンクを定義する。キーワード−イメージリンクは矢印として図示されている。個々の各リンクに、関連度を表わすように重みｗが割り当てられ、キーワードは、リンクされたイメージの意味コンテント（ｓｅｍａｎｔｉｃ ｃｏｎｔｅｎｔ）を表す。たとえば、第１のキーワード３０２（１）は３つのイメージ３０４（１）〜３０４（３）に関連付けされており、第１のイメージ３０４（１）との関連付けに重みｗ_１１が割り当てられ、第２のイメージ３０４（２）との関連付けに重みｗ_１２が割り当てられ、第３のイメージ３０４（３）との関連付けに重みｗ_１３が割り当てられている。

キーワードとイメージの関連付けを最初から得ることはできない。しかし、このような関連付けを得るいくつかの方法がある。第１の方法は、単に手動でイメージにラベル付けし、キーワード−イメージリンクに強い重みを割り当てる方法である。この方法は、コストおよび時間がかかる。

手動ラベル付けのコストを削減するには、自動手法を使用することができる。１つの可能な手法として、種々のＷｅｂサイトを訪れイメージをダウンロードするクローラを実現することによって、インターネットおよびその無数のユーザが活用される。ファイル名やＨＴＭＬファイルのＩＭＡＧＥタグ内のＡＬＴタグ文字列など、イメージに関するデータは、キーワードとして保存され、ダウンロードされたイメージに関連付けされる。また、リンク文字列およびページのタイトルをいくらかイメージに関係付け、したがって、可能なキーワードとして使用することができる。次いで、これらのキーワード−イメージリンクに、その関連性にしたがって重みが割り当てられる。発見的手法によって、この情報は関連性の降順、すなわち、（１）リンク文字列、（２）ＡＬＴタグ文字列、（３）ファイル名、および（４）ページのタイトルの順にリストされる。

他のキーワードをシステムに取り込むための他の手法として、ユーザの入力された問合せが使用される。ユーザが、問合せに関連するイメージとしてマーク付けされた１組のイメージをフィードバックすると必ず、入力されたキーワードがシステムに追加され、この組のイメージとリンクされる。また、これらのイメージが関連性を有していることをユーザが示しているので、新たに作成された各リンクに大きな重みを割り当てることができる。この手法について以下に、図５を参照して詳しく説明する。

再び図２を参照するとわかるように、ユーザがテキスト問合せの入力を望まない状況がある。その代わり、ユーザはイメージ例を選択し、類似するイメージを選択することを望む。このような状況に対処するために、ユーザインターフェース２００は、ユーザが選択を行うことのできる１組のイメージカテゴリを表示する（ｐｒｅｓｅｎｔ）。あるカテゴリが選択されると、イメージ検索システムは、そのカテゴリに関する１組のイメージサンプルを返す。

イメージ検索システムは、問合せハンドラ１５０における定義済みの概念階層２０４を用いてこの状況に対処する。選択されたカテゴリは概念階層２０４に渡され、概念階層２０４は、イメージデータベース１４２のカテゴリに対応する第１レベルのイメージを識別する。ユーザは、サンプルイメージから、イメージ例としてのイメージを識別することができる。次いで、このイメージ例の低レベルフィーチャを使用して、コンテントベースのイメージ検索動作が開始される。

フィーチャ意味マッチャ１５２は、ユーザの問合せに関連付けされたキーワードを有し、かつ／またはイメージ例に類似した低レベルフィーチャを含む、イメージデータベース１４２内のイメージを識別する。フィーチャ意味マッチャ１５２は、イメージデータベース１４２内の候補イメージから低レベルフィーチャを抽出するイメージフィーチャエキストラクタ２１０を含む。このような低レベルフィーチャはカラーヒストグラム、テクスチャ、形状などを含む。フィーチャエキストラクタ２１０はフィーチャをイメージフィーチャマッチャ２１２に渡し、候補イメージの低レベルフィーチャを、ユーザによって提出されたイメージ例の低レベルフィーチャと突き合わせる。より類似したフィーチャを有する候補により高いランクが割り当てられる。

テキスト問合せの場合、フィーチャ意味マッチャ１５２は、問合せのキーワードに一致する関連付けされたキーワードを含むイメージを識別する意味マッチャ２１２を有する。意味マッチャ２１４は、意味ネットワークを使用して、探索キーワードへのリンクを有するイメージを見つける。より強い重みが割り当てられたリンクを有する候補イメージにより高いランクが割り当てられる。

ランク付けモジュール２１６は、最も高いランクのイメージが好ましい結果セットとしてユーザに返されるようにイメージをランク付けする。このランク付けでは、キーワード−イメージリンクに割り当てられた重み付けと、２つのイメージ間のフィーチャの類似性とが考慮に入れられる。最も高いランクを有する１組のイメージがユーザインターフェース２００に返され、検討できるようにユーザに表示される。

ユーザインターフェース２００によって、ユーザは、関連性がより高いかあるいはより低いか、あるいは無関係であるかについてイメージにマーク付けする。フィードバックアナライザ１５４はこのユーザフィードバックを監視する。関連性フィードバックモニタ２２０は、このフィードバックを追跡し、意味ベースの関連性フィードバックと低レベルフィーチャ関連性フィードバックの両方を統合された方法で実行する。一般に、関連性フィードバックモニタ２２０は、キーワード−イメージリンクに割り当てられた重みを意味ベースの検索モデルを訓練するように調整し、問合せ点移動技法または再加重技法を使用してフィーチャベースの検索モデルを改善する。フィードバックアナライザ１５４は、機械学習アルゴリズム２２２を実現し、関連性フィードバックにしたがってデータベース内の意味ネットワークおよび／またはイメージを調整する。意味ベースの関連性フィードバックおよびフィーチャベースの関連性フィードバックに関する統合されたフレームワークの１つの特定の実施態様については、以下に「統合された関連性フィードバックフレームワークの見出しの下で詳しく説明する。

イメージ検索システム１４０は、従来型のシステムに勝る多数の利点をもたらす。第１に、イメージ検索システムはキーワードと低レベルフィーチャの両方を使用してイメージを見つけ、それによってキーワードベースのイメージ検索とコンテントベースのイメージ検索を統合する。また、イメージ検索システムは、意味ベースの関連性フィードバックとフィーチャベースの関連性フィードバックの両方を統合する。

イメージ検索プロセス
図４および図５は、図２のイメージ検索システム１４０によって実現されるイメージ検索プロセスを示している。このプロセスは、最初の問合せからイメージ結果セットを作成する第１のフェーズ（図４）と、結果セットを修正し結果およびユーザフィードバックから学習する第２のフェーズ（図５）とを含む。一実施態様では、イメージ検索プロセスは、実行されたときに、図４および図５にブロックとして示されている動作を実行するコンピュータ実行可能な命令である。

一実施態様では、このプロセスは、利用可能なイメージの粗な概念階層が存在するものと仮定する。ただし、この仮定は必ずしも必要ではない。たとえば、人間のイメージは、全般的に「人間」として粗に注釈付けし、より具体的に「男性」および「女性」として注釈付けすることができる。また、イメージデータベース１４２内のイメージの低レベルフィーチャは、オフラインで算出し、データ構造を通してイメージと相関させることができる。これにより、イメージ検索プロセス中に低レベルフィーチャを算出することによって速度が低下することはなくなる。

論理ブロック４０２で、イメージ検索システム１４０は、ユーザインターフェース２００を介してユーザによって提出された最初の問合せを受信する。ユーザが、「トラ（ｔｉｇｅｒｓ）」のイメージを見つけるための探索問合せを入力するものと仮定する。ユーザは以下の問合せのいずれかを入力することができる。
「トラ（ｔｉｇｅｒｓ）」
「トラの写真（ｔｉｇｅｒ ｐｉｃｔｕｒｅｓ）」
「トラの写真を見つける（Ｆｉｎｄ ｐｉｃｔｕｒｅｓ ｏｆ ｔｉｇｅｒｓ）」
「トラのイメージを探しています（Ｉ’ｍ ｌｏｏｋｉｎｇ ｆｏｒ ｉｍａｇｅｓ ｏｆ ｔｉｇｅｒｓ．）」

論理ブロック４０４で、問合せハンドラ１５０は、ユーザの問合せを解析して１つまたは複数のキーワードを抽出する。この例では、どの問合せからでもキーワード「トラ」を抽出することができる。「写真」や「イメージ」など他の語を抽出することもできるが、例示の都合上、キーワード「トラ」に焦点を当てる。

論理ブロック４０６で、イメージ検索システム１４０は、イメージデータベース１４２を探索し、キーワード「トラ」が注釈として付加されたイメージを識別する。システムは類似する語（たとえば、猫、動物など）を同時に探索することもできる。このキーワードとのリンク関連付けを有するイメージがデータベース内にある場合（すなわち、論理ブロック４０８の「ｙｅｓ」分岐）、これらのイメージが結果セットに入れられる（論理ブロック４１０）。次いで、結果セット内のイメージが、意味ネットワーク内のキーワード−イメージリンクに割り当てられた重みにしたがってランク付けされる（論理ブロック４１２）。フィーチャ意味マッチャ１５２は、キーワードに一致する１組のイメージを識別した後、結果セット内の低レベルフィーチャに類似した低レベルフィーチャを有する他のイメージを見つけることを試みることもできる（論理ブロック４１４）。次いで、あらゆるこのようなイメージが結果セットに追加される。次いで、拡張された結果セットがユーザインターフェース２００を介してユーザに表示される（論理ブロック４１６）。

このような追加のイメージが最初の結果セット内の他のイメージに類似している可能性があり、それに対して、低レベルフィーチャの比較を介して発見されるあるイメージが探索キーワードとの関係を有さない可能性があることに留意されたい。すなわち、演算４１４は、トラを含む他のイメージの色またはテクスチャに類似しているが、イメージ中のどこにもトラが示されていないイメージを返す可能性がある。

論理ブロック４０８に戻るとわかるように、最初のキーワード探索でイメージが見つからなかった場合（すなわち、論理ブロック４０８からの「ｎｏ」分岐）、イメージ検索システム１４０は概念階層の第１レベルでイメージを検索する（論理ブロック４２０）。これらのイメージは、階層内の１つまたは複数のカテゴリから無作為に選択することができる。イメージは、可能なイメージ例を示すようにユーザに対して表示される（論理ブロック４２２）。

最初の問合せの後、イメージ検索システム１４０は、結果およびユーザフィードバックを使用して探索を修正し検索モデルを訓練することができる。修正学習プロセスは図５に示されている。

論理ブロック５０２で、フィードバックアナライザ１５４は結果セット内のイメージに対するユーザフィードバックを監視する。ユーザは、１つまたは複数のイメージを探索問合せに関連するイメージとしてマーク付けするか、あるいはその他の方法で示すことができる。これは、たとえば、ユーザが各イメージを評価し、イメージに関連付けされた肯定マークまたは否定マークを（たとえば、ポイントアンドクリック操作によって）活動化するユーザインターフェース機構を通して行うことができる。肯定マークは、イメージと探索の関連性がより高いことを示し、それに対して、否定マークは、イメージと探索の関連性がより低いか、あるいはまったくないことを示す。

これらの結果から、ユーザは、問合せに関連するものとみなされるあるイメージを見つけ、それらのイメージを選択して所望のセットを生成する（すなわち、論理ブロック５０４からの「ｙｅｓ」分岐）。この状況では、最初の問合せ中のキーワードは、ユーザが選択したイメージに関連付けされ、この関連付けリンクに大きな重みが割り当てられる（論理ブロック５０６）。このリンクに大きな重みが割り当てられるのは、高レベルキーワードを使用してイメージが識別されるときに探索が正確になることがより強く確信されるからである。一実施態様では、このような重みは付加的なものである。したがって、初期のリンクには関連性を示す値「１」が割り当てられる。その後、キーワードが探索を介してイメージに関連付けされた場合は、重みを「１」だけ増分することができ、それによって時間の経過と共に重みの強度が増していく。

論理ブロック５０８で、これらのイメージと相関された互いに類似した低レベルフィーチャは、フィーチャ空間内でより近くにあるものと認識される。次いで、後続の探索に関して、システムは、同じキーワードが与えられた場合、あるイメージに対するユーザの意図をより適切に理解する。

ユーザは、探索問合せに関連する１組のイメージを見つけられない場合（すなわち、論理ブロック５０４からの「ｎｏ」分岐）、イメージ例を選択し、探索を修正し、選択されたイメージのフィーチャに類似したフィーチャを有する他のイメージを見つける（論理ブロック５１０）。イメージ例が選択されると（すなわち、論理ブロック５１０からの「ｙｅｓ」分岐）、最初の問合せ中のキーワードが、ユーザが選択したイメージに関連付けされ、この関連付けリンクに小さな重みが割り当てられる（論理ブロック５１２）。このリンクに小さな重みが割り当てられるのは、キーワードの一致から得られる結果と同程度に正確な結果が低レベルのイメージ類似性によって得られることがそれほど確信できないからである。

ユーザが修正のためにイメージ例を選択したことに応答して、問合せハンドラ１５０は次のレベルの概念階層で他の代表的なイメージを見つけることを試みる（論理ブロック５１４）。フィーチャ意味マッチャ１５２も、ユーザによって選択されたイメージ例に類似した低レベルフィーチャを有するイメージを見つけることを試みる（論理ブロック５１６）。次いで、結果として得られたイメージの組がユーザに表示される（論理ブロック５１８）。

論理ブロック５２０は、最初の問合せが関連するイメージを返さず、しかも、ユーザが探索を修正するためのイメージを見つけられなかった状況に関する論理ブロックである。この状況では、イメージ検索システムは、単にデータベース内のイメージを一度に１ページずつ出力し、ユーザに、関連するイメージをブラウジングさせ、システムにフィードバックすべきイメージを選択させる。

ユーザインターフェース
イメージ検索システム１４０は、３つのユーザ対話モード、すなわち、キーワードベースの探索、イメージ例による探索、および定義済みの概念階層を使用したイメージデータベースのブラウジングをサポートする。ユーザインターフェース２００はこの３つのモードに対処する。

図６は、最初の問合せを入力するためにユーザインターフェース２００によって表示される問合せ画面６００の例を示している。画面ディスプレイ６００は、ユーザがキーワードまたは句を入力することを可能にする自然言語テキスト入力領域６０２を表示する。ユーザは、１つまたは複数のキーワードを入力した後、関連するイメージの探索を開始するボタン６０４を作動させる。あるいは、ユーザは、問合せ画面６００のセクション６０６にリストされたカテゴリのうちの１つを選択することによって定義済みの概念階層をブラウジングすることができる。ユーザは、カテゴリリンクを作動させ、カテゴリ内でのイメージの探索を開始する。

キーワードまたはコンテントベースのイメージ検索の結果は次の画面に表示される。議論の都合上、ユーザが問合せ画面６００のテキスト入力領域６０２にキーワード「トラ（ｔｉｇｅｒ）」を入力するものと仮定する。

図７は、キーワード「トラ（ｔｉｇｅｒ）」が入力されたことに応答して表示される結果画面例７００を示している。ディスプレイサイズに応じて、１つまたは複数のイメージが結果画面７００に表示される。ここでは、一度に６つのイメージ７０２（１）〜７０２（６）が一度に表示される。同時に表示できる数よりも多くのイメージがあある場合、ナビゲーション「次（Ｎｅｘｔ）」および「前（Ｐｒｅｖ）」ボタン７０４が表示され、結果セット内の他のイメージをブラウジングすることが可能になる。

ユーザインターフェースによって、ユーザは、イメージをブラウジングする際に関連性情報をフィードバックすることができる。各イメージはいくつかのフィードバックオプションを有する。たとえば、各イメージは、イメージが見やすくなるようにユーザがイメージを拡大できるようにする「ビュー（Ｖｉｅｗ）」リンク７０６を有する。「類似（Ｓｉｍｉｌａｒ）」リンク７０８を活動化すると、対応するイメージに類似した意味コンテントと類似した低レベルフィーチャの両方を含むイメージに対する後続の問合せが開始される。この修正された探索は次の画面に表示される。

さらに、各イメージは、ユーザによって個別に選択できる肯定的な関連性マークと否定的な関連性マークの両方を有する。これらの関連性マークによって、ユーザは、探索問合せとの関連性がより高いのはどのイメージで、関連性がより低いのはどのイメージかをイメージごとに示すことができる。このようなマークの例には「＋」と「−」の組合せ、または「承認（ｔｈｕｍｂｓ ｕｐ）」と「拒絶（ｔｈｕｍｂｓ ｄｏｗｎ）」、または背景色の変更（たとえば、赤色は関連性がより低いことを意味し、青色は関連性がより高いことを意味する）。

図７で、イメージ７０２（１）、７０２（２）、および７０２（５）は青色の背景でマーク付けされており、これらのイメージが実際にトラを表しているという肯定的な一致を示している。イメージ７０２（４）および７０２（６）は赤色の背景を有し、これらのイメージが問合せの「トラ」に一致しないことを示している。これらのイメージがヒョウを含み、トラを含まないことに留意されたい。最後に、イメージ７０２（３）は勾配背景（ｇｒａｄｉｅｎｔ ｂａｃｋｇｒｏｕｎｄ）を有し（肯定的でも否定的でもない）、関連性フィードバックでは検討されない。このイメージは、基本的にトラとの関連性を有さないオオカミを表示している。

ユーザは、関連するフィードバックを与えた後、「フィードバック」ボタン７１０を作動させ、フィードバックをフィードバックアナライザ１５４に提出する。この点で学習が開始し、将来の問合せのためにイメージ検索プロセスが改善される。

統合された関連性フィードバックフレームワーク
この節では、意味ベースの関連性フィードバックを低レベルフィーチャベースの関連性フィードバックと統合する例示的な実施態様について説明する。意味ベースの関連性フィードバックは、低レベルフィーチャベースの関連性フィードバックと比べて比較的容易に実行することができる。意味ベースの関連性フィードバックの１つの例示的な実施態様についてまず説明し、次いで、このフィードバックをどのようにフィーチャベースの関連フィードバックと統合するかについて説明する。

意味ベースの関連性フィードバックの場合、意味ネットワーク３００（図３）内の各リンクに関連付けされた重みｗ_ｉｊを更新するために投票方式が使用される。この重み更新プロセスについて以下に説明する。

ステップ１：すべての重みｗ_ｉｊを１に初期設定する。すなわち、最初はあらゆるキーワードに同じ重要性が与えられる。

ステップ２：ユーザの問合せと、肯定的および否定的なフィードバック例を収集する。

ステップ３：入力された問合せ中の各キーワードについて、キーワードデータベースにないものがあるか否かを検査する。そうである場合、リンクを作成せずにデータベースにそのキーワードを追加する。

ステップ４：それぞれの肯定的な各例について、それにリンクされていない問合せキーワードがあるか否かを検査する。そうである場合、欠落している各キーワードからこのイメージへの重み「１」を有するリンクを作成する。すでにこのイメージにリンクされている他のすべてのキーワードについて、重みを「１」だけ増分する。

ステップ５：それぞれの肯定的な例について、それに問合せキーワードがリンクされているか否かを検査する。そうである場合、新しい重みｗ_ｉｊ＝ｗ_ｉｊ／４を設定する。あるリンクに対する重みｗ_ｉｊが１よりも小さい場合、そのリンクを削除する。

当然のことながら、入力される問合せの数が増えるにつれて、システムはその語彙を拡張することができる。また、この投票プロセスにより、各イメージの実際の意味コンテントを表すキーワードにより大きな重みが割り当てられる。しかし、上記の重み更新方式が多数の合理的な方式のうちの１つに過ぎないことに留意されたい。

前述のように、各キーワード−イメージリンク上に関連付けされた重みｗ_ｉｊは、このキーワードが、リンクされたイメージの意味コンテントを表す関連度を表す。検索に関する他の問題は、データベース内の多数のイメージに関連付けされたあるキーワードを有することを避けるにはどうすればよいかということである。多数のイメージへの多数のリンクを有するキーワードにペナルティを課すべきである。したがって、ｋ番目のキーワード関連付けの関連性係数ｒ_ｋは以下のように算出される。

上式で、Ｍはデータベース内のイメージの総数であり、ｗ_ｋは、ｍ＝ｉの場合はｗ_ｍｎで、その他の場合は０であり、ｄ_ｉはｉ番目のキーワードが有するリンクの数である。

次に、上記の意味ベースの関連性フィードバックをフィーチャベースの関連性フィードバックと統合する必要がある。フィーチャｉの理想的な問合せベクトルｑ_ｉ ^＊が、次式によって与えられるフィーチャｉの訓練サンプルの重み付き平均であることが以前の研究（Ｒｕｉ，Ｙ．、Ｈｕａｎｇ，Ｔ．Ｓ．著「Ａ Ｎｏｖｅｌ Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ Ｔｅｃｈｎｉｑｕｅ ｉｎ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ」（ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ、１９９９年参照）で知られている。

上式で、Ｘ_ｉは、Ｎ個の訓練ベクトルｘ_ｎｉを積み重ねて行列を得ることによって得られるフィーチャｉのＮ×Ｋ_ｉ訓練サンプル行列であり、Ｎは、Ｎ個の入力訓練サンプルのそれぞれの関連度を表わす要素ベクトルπ＝［π_１，．．．π_Ｎ］である。最適な重み行列Ｗ_１ ^＊は次式によって与えられる。

上式で、Ｃ_ｉは、Ｘ_ｉの重み付き共分散行列である。すなわち、次式が成立する。

システムへの重要な入力はｘ_ｎｉおよびπである。最初、ユーザはこれらのデータをシステムに入力する。しかし、システムにこの最初のデータを自動的に供給することによって、この第１のステップをなくすことができる。これは、入力された問合せに現われたキーワードを意味ネットワークで検索することによって行われる。システムは、これらのキーワードから、リンクにしたがって１組の訓練イメージ（ｔｒａｉｎ ｉｍａｇｅ）を得る（重複するイメージは除去される）。ベクトルｘ_ｎｉは訓練セットから容易に算出することができる。関連度ベクトルπは以下のように算出される。

上式で、Ｍは訓練イメージｉにリンクされた問合せキーワードの数であり、ｒ_ｊｋは、イメージｉに関連付けされたｊ番目のキーワードの関連性係数であり、α＞１は適切な定数である。ｉ番目のイメージの関連度は、そのイメージにリンクされた問合せキーワードの数と共に指数関数的に増加する。一実施態様では、実験的に求められた設定値α＝２．５で最良の結果が得られた。

低レベルフィーチャベースのフィードバックおよびランキング結果を高レベル意味フィードバックおよびランキングに組み込むために、意味と低レベルフィーチャコンテントとの両方に関してイメージデータベース内の任意のイメージｊの関連性を測定する統一距離関数（ｕｎｉｆｉｅｄ ｄｉｓｔａｎｃｅ ｍｅｔｒｉｃ ｆｕｎｃｔｉｏｎ）Ｇ_ｊが定義される。関数Ｇ_ｊは、以下のようにＲｏｃｃｈｉｏの公式（数式（１）参照）の修正形を使用して定義される。

上式で、Ｄ_ｊは低レベルフィードバックによって算出された距離スコアであり、Ｎ_ＲおよびＮ_Ｎはそれぞれ、肯定的および否定的なフィードバックであり、Ｉ_１は、イメージｊとすべての肯定的なフィードバックイメージとに共通するそれぞれの異なるキーワードの数であり、Ｉ_２は、イメージｊとすべての否定的なフィードバックイメージとに共通するそれぞれの異なるキーワードの数であり、Ａ_１およびＡ_２はそれぞれ、すべての肯定的および否定的なフィードバックイメージに関連付けされたそれぞれの異なるキーワードの総数であり、最後にＳ_ｉｊはイメージｉとイメージｊとの間の低レベルフィーチャのユークリッド距離である。

Ｒｉｃｃｈｉｏの公式中の第１のパラメータαは、ｊ番目のイメージの関連度の対数で置き換えられる。話を簡単にするために、他の２つのパラメータβおよびγに値１．０を割り当てることができる。しかし、最後の２つの項の間の重み付け差を強調するために他の値を与えることができる。

上述の方法を使用した場合、組み合わされた関連性フィードバックは以下のように与えられる。

ステップ１：ユーザの問合せキーワードを収集する。

ステップ２：上記の方法を使用してｘ_ｎｉおよびπを算出し、低レベルフィーチャ関連性フィードバック構成要素に入力して最初の問合せ結果を得る。

ステップ３：肯定的および否定的なフィードバックをユーザから収集する。

ステップ４：本節の最初に説明した５ステッププロセスにしたがって意味ネットワーク内の重み付けを更新する。

ステップ５：低レベルフィーチャベースの構成要素の重みを更新する。

ステップ６：新しいｘ_ｎｉおよびπを算出し、低レベルフィードバック構成要素に入力する。ｘ_ｎｉの値は事前に前処理ステップで算出することができる。

ステップ７：数式７を使用して各イメージについてのランキングスコアを算出し、結果をソートする。

ステップ８：新しい結果を示しステップ３に進む。

イメージ検索システムは、ユーザのフィードバックから意味的に学習すると共に、フィーチャに基づいて学習するという点で従来技術のシステムと比べて有利である。また、意味情報が得られない場合、プロセスは、上記で引用した「Ａ Ｎｏｖｅｌ Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ Ｔｅｃｈｎｉｑｕｅ ｉｎ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ」でＲｕｉおよびＨｕａｎｇが説明したような従来型のフィーチャベースの関連性フィードバックに変化する。

新しいイメージ登録
データベースに新しいイメージを追加することは、多数の状況で非常に一般的な操作である。完全に低レベルイメージフィーチャに依存する検索システムの場合、新しいイメージを追加する場合、単に１組の新しいイメージに関する種々のフィーチャベクトルが抽出される。しかし、検索システムはキーワードを使用してイメージの意味コンテントを表すので、新しいイメージの意味コンテントに手動であるいは自動的にラベル付けする必要がある。本節では、自動ラベル付け技法について説明する。

自動ラベル付け技法では、低レベルフィーチャを使用して新しいイメージの意味コンテントが推測される。以下にプロセスの例を示す。

ステップ１：データベース内の各カテゴリについて、このカテゴリ内のすべてのイメージの重心を判定することによって代表的なフィーチャベクトルを算出する。

ステップ２：データベース内の各カテゴリについて、このカテゴリの各イメージのキーワード関連付けを調べることによって１組の代表的なキーワードを見つける。組み合わされた重みが、すでに求められているしきい値τを超えない、最大の重みを有する上からＮ個のキーワードが選択され、代表的なキーワードのリストに追加される。しきい値τの値は総重みの４０％に設定される。

ステップ３：新しい各イメージについて、その低レベルフィーチャベクトルを各カテゴリの代表的なフィーチャベクトルと比較する。各キーワードに対する最初の重みが１．０である、最も厳密に一致するカテゴリにおける１組の代表的なキーワードで、イメージがラベル付けされる。

低レベルフィーチャはイメージの意味を表すのに十分なものではないので、自動的にラベル付けされたキーワードのいくつか、場合によってはそのすべてが必然的に不正確である。しかし、ユーザの問合せおよびフィードバックによって、意味的に正確なキーワードラベルが現われ、それに対して、意味的に不正確なキーワードは徐々になくなっていく。

新しいイメージの自動ラベル付けに関する他の問題は、これらのイメージを定義済みのカテゴリに自動的に分類するにはどうすればよいかということである。この問題は以下のプロセスによって対処される。

ステップ１：自動的にラベル付けされた新しいイメージを特殊な「未知の」カテゴリに入れる。

ステップ２：定期的な間隔でこのカテゴリ内のあらゆるイメージを検査し、しきい値ζよりも大きな重みを受け取ったキーワード関連付けがあるか否かを調べる。そうである場合、組み合わされた重みがしきい値τを超えない上からＮ個のキーワードを抽出する。

ステップ３：抽出されたキーワードを有する各イメージについて、抽出されたキーワードを各カテゴリから得た代表的なキーワードのリストと比較する。最も厳密に一致するカテゴリに各イメージを割り当てる。利用可能なカテゴリのうちで、意味のある一致が得られるカテゴリがない場合は、このイメージを「未知」カテゴリに残す。

上記のアルゴリズムのステップ３で使用されるキーワードリスト比較関数は、いくつかの形をとることができる。理想的な関数では、あるリスト内のキーワードと他のリストのキーワードとの意味関係が考慮される。しかし、作業を簡単にするために、クイック関数では、抽出されたキーワードリストから得たキーワードが代表的なキーワードのリストに存在するか否かが検査されるに過ぎない。

結論
上記の説明では、構造上の特徴および／または方法行為に特有の言葉が使用されたが、特許請求の範囲で定義された発明が前述の特定の特徴または行為に限らないことを理解されたい。むしろ、特定の特徴および行為は、本発明を実施する例示的な形態として開示されている。

１つまたは複数のクライアントコンピュータによってネットワークを介してアクセスできるイメージ検索システムをサーバコンピュータが実現する例示的なコンピュータネットワークのブロック図である。 イメージ検索システムアーキテクチャのブロック図である。 キーワードとイメージの間の関係を表す意味ネットワークを示す図である。 ユーザが最初にイメージのキーワード問合せを提出する初期問合せ処理プロセスの流れ図である。 イメージが最初の問合せにどのように関連しているかについてのユーザのフィードバックからイメージ検索システムが学習する改善および学習の流れ図である。 イメージ検索システム用のユーザインターフェースの第１の画面ビューを示す図である。 イメージ検索システム用のユーザインターフェースの第２の画面ビューを示す図である。

符号の説明

１００ コンピュータネットワークシステム
１０２ クライアント
１０４ サーバ
１０６ ネットワーク
１１０ プロセッサ
１１２ 揮発性メモリ
１１４ 不揮発性メモリ
１１６ 入力装置
１１８ ディスプレイ
１２０ ブラウザ
１３０ プロセッサ
１３２ 揮発性メモリ
１３４ 不揮発性メモリ
１３６ オペレーティングシステム
１３９ プロセッサ
１４０ イメージ検索システム
１４２ イメージデータベース
１５０ 問合せハンドラ
１５２ フィーチャ意味マッチャ
１５４ フィードバックアナライザ

Claims (4)

1. 少なくとも１つのキーワードを有する問合せのイメージ探索から返されたイメージの結果セットを含むイメージの第１セットと、前記少なくとも１つのキーワードにマッチするものとして識別されたイメージの第１セットの低レベルフィーチャに類似する低レベルフィーチャを含むイメージの第２セットとを含むイメージの結果セットを表示するステップであって、前記低レベルフィーチャは色、形状およびテクスチャを含み、前記探索の問合せに一致しない、イメージの結果セットを表示するステップと、
   前記イメージの結果セット内のイメージが前記問合せに関連するか否かに関するユーザからのフィードバックを監視するステップと、
   前記ユーザが、前記イメージの結果セットから少なくとも１つのイメージを前記問合せに関連するイメージとして選択した場合に、前記問合せ中のキーワードを前記選択されたイメージに関連付けて第１のキーワード−イメージ関連付けを形成し、前記第１のキーワード−イメージ関連付けに比較的大きな重みを割り当てるステップと、
   前記ユーザが、前記探索を改善するために前記イメージの結果セットからイメージ例を識別した場合に、前記問合せ中のキーワードを前記イメージ例に関連付けて第２のキーワード−イメージ関連付けを形成し、前記第２のキーワード−イメージ関連付けに比較的小さな重みを割り当てるステップとを備えることを特徴とする方法。
2. コンテントベースのイメージ検索と意味ベースのイメージ検索の両方を実行するステップをさらに備えることを特徴とする請求項１に記載の方法。
3. どのイメージがより関連性が高くどのイメージがより関連性が低いかをユーザが示せるようにすることによって、前記ユーザへのフィードバックを容易にするユーザインターフェースに、前記イメージの結果セットを表示するステップをさらに備えることを特徴とする請求項１に記載の方法。
4. プロセッサにおいて実行されたときに、請求項１に記載された方法を実行するコンピュータ実行可能命令を有することを特徴とするコンピュータ可読媒体。

Images