JP2002197117A - イメージ検索システムおよびその方法 - Google Patents
イメージ検索システムおよびその方法Info
- Publication number
- JP2002197117A JP2002197117A JP2001333273A JP2001333273A JP2002197117A JP 2002197117 A JP2002197117 A JP 2002197117A JP 2001333273 A JP2001333273 A JP 2001333273A JP 2001333273 A JP2001333273 A JP 2001333273A JP 2002197117 A JP2002197117 A JP 2002197117A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- images
- query
- keyword
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99934—Query formulation, input preparation, or translation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99935—Query augmenting and refining, e.g. inexact access
Abstract
(57)【要約】
【課題】 意味およびフィーチャベースの関連性フィー
ドバックを用いたイメージ検索システムおよび方法を提
供すること。 【解決手段】 イメージ検索システムはキーワードベー
スのイメージ検索とコンテントベースのイメージ検索の
両方を実行する。ユーザインターフェースによって、ユ
ーザは、キーワードとイメージ例の組合せを使用して問
合せを指定することができる。このイメージ検索システ
ムは、入力された問合せに応じて、問合せ中のキーワー
ドと一致するキーワードを有するイメージ、および／ま
たは色、テクスチャ、形状など類似する低レベルフィー
チャを有するイメージを見つける。システムは、イメー
ジをランク付けしてユーザに返す。このユーザインター
フェースによって、ユーザは、問合せとの関連性がより
高いイメージと、関連性がより低いかあるいは関連性が
まったくないイメージとを識別することができる。
ドバックを用いたイメージ検索システムおよび方法を提
供すること。 【解決手段】 イメージ検索システムはキーワードベー
スのイメージ検索とコンテントベースのイメージ検索の
両方を実行する。ユーザインターフェースによって、ユ
ーザは、キーワードとイメージ例の組合せを使用して問
合せを指定することができる。このイメージ検索システ
ムは、入力された問合せに応じて、問合せ中のキーワー
ドと一致するキーワードを有するイメージ、および／ま
たは色、テクスチャ、形状など類似する低レベルフィー
チャを有するイメージを見つける。システムは、イメー
ジをランク付けしてユーザに返す。このユーザインター
フェースによって、ユーザは、問合せとの関連性がより
高いイメージと、関連性がより低いかあるいは関連性が
まったくないイメージとを識別することができる。
Description
【０００１】
【発明の属する技術分野】本発明は、意味およびフィー
チャベースの関連性フィードバックを用いたイメージ検
索システムおよびその方法に関する。
チャベースの関連性フィードバックを用いたイメージ検
索システムおよびその方法に関する。
【０００２】
【従来の技術】データ撮像技法が向上し、かつインター
ネットによって可用性が高くなったため、デジタルイメ
ージが急速に普及している。ますます多くのイメージが
日々利用可能になっている。
ネットによって可用性が高くなったため、デジタルイメ
ージが急速に普及している。ますます多くのイメージが
日々利用可能になっている。
【０００３】自動イメージ検索システムは、ユーザが増
大する利用可能なイメージを検索するための効率的な方
法をナビゲートする。従来のイメージ検索システムで
は、ユーザはイメージを２つの方法のうちの１つ、すな
わち、（１）キーワードベースのイメージ検索または
（２）コンテントベースのイメージ検索でイメージを検
索することができる。キーワードベースのイメージ検索
では、ユーザの問合せ（ｑｕｅｒｙ）によるキーワード
を、イメージに手動で付加されたキーワードと突き合わ
せることによってイメージが見つけられる。注釈付きイ
メージのより一般的な集合には、「Ｃｏｒｅｌ Ｇａｌ
ｌｅｒｙ」、すなわち、約１００万枚の注釈付きイメー
ジを含むＣｏｒｅｌ Ｃｏｒｐｏｒａｔｉｏｎのイメー
ジデータベースがある。
大する利用可能なイメージを検索するための効率的な方
法をナビゲートする。従来のイメージ検索システムで
は、ユーザはイメージを２つの方法のうちの１つ、すな
わち、（１）キーワードベースのイメージ検索または
（２）コンテントベースのイメージ検索でイメージを検
索することができる。キーワードベースのイメージ検索
では、ユーザの問合せ（ｑｕｅｒｙ）によるキーワード
を、イメージに手動で付加されたキーワードと突き合わ
せることによってイメージが見つけられる。注釈付きイ
メージのより一般的な集合には、「Ｃｏｒｅｌ Ｇａｌ
ｌｅｒｙ」、すなわち、約１００万枚の注釈付きイメー
ジを含むＣｏｒｅｌ Ｃｏｒｐｏｒａｔｉｏｎのイメー
ジデータベースがある。
【０００４】キーワードベースのイメージ検索システム
の１つの問題は、ユーザがあるイメージの固有の複雑さ
を厳密に表すことが困難または不可能であることであ
る。その結果、説明することのできないイメージ、また
は曖昧にしか表せないイメージが首尾よく検索されない
ので、検索の精度が大幅に制限される恐れがある。ま
た、手動注釈付けの負担が大きいので、状況は変化しつ
つあるが、注釈付きイメージを含むデータベースはほと
んどない。
の１つの問題は、ユーザがあるイメージの固有の複雑さ
を厳密に表すことが困難または不可能であることであ
る。その結果、説明することのできないイメージ、また
は曖昧にしか表せないイメージが首尾よく検索されない
ので、検索の精度が大幅に制限される恐れがある。ま
た、手動注釈付けの負担が大きいので、状況は変化しつ
つあるが、注釈付きイメージを含むデータベースはほと
んどない。
【０００５】コンテントベースのイメージ検索（ＣＢＩ
Ｒ）では、カラーヒストグラム、テクスチャ、形状な
ど、イメージ例の低レベルイメージフィーチャに類似し
たイメージが見つけられる。ＣＢＩＲはキーワードベー
スのイメージ検索の問題を解決するが、深刻な欠点も有
する。ＣＢＩＲの１つの欠点は、探索によって、たまた
ま類似するフィーチャを有するに過ぎないまったく関連
のないイメージが返される可能性があることである。ま
た、イメージ中の個々のオブジェクトは種々の低レベル
フィーチャを含む。したがって、低レベルフィーチャの
みを使用しても、検索すべきものは十分に表されない。
Ｒ）では、カラーヒストグラム、テクスチャ、形状な
ど、イメージ例の低レベルイメージフィーチャに類似し
たイメージが見つけられる。ＣＢＩＲはキーワードベー
スのイメージ検索の問題を解決するが、深刻な欠点も有
する。ＣＢＩＲの１つの欠点は、探索によって、たまた
ま類似するフィーチャを有するに過ぎないまったく関連
のないイメージが返される可能性があることである。ま
た、イメージ中の個々のオブジェクトは種々の低レベル
フィーチャを含む。したがって、低レベルフィーチャの
みを使用しても、検索すべきものは十分に表されない。
【０００６】ＣＢＩＲで返される関連のないイメージを
除去するために、ＣＢＩＲベースのいくつかのイメージ
検索システムはユーザフィードバックを使用して、ある
イメージの関連性に関する理解を得ている。最初の問合
せの後、このようなシステムは、問合せから返されるイ
メージに対してユーザによって入力される肯定的な応答
および否定的な応答を監視することによってユーザの理
想的な問合せを推定する。この手法は、ユーザが正確な
最初の問合せを行う必要性を低減させる。
除去するために、ＣＢＩＲベースのいくつかのイメージ
検索システムはユーザフィードバックを使用して、ある
イメージの関連性に関する理解を得ている。最初の問合
せの後、このようなシステムは、問合せから返されるイ
メージに対してユーザによって入力される肯定的な応答
および否定的な応答を監視することによってユーザの理
想的な問合せを推定する。この手法は、ユーザが正確な
最初の問合せを行う必要性を低減させる。
【０００７】関連性フィードバック手法の１つの種類と
して、低レベルイメージフィーチャのみを使用する理想
的な問合せパラメータを推定する手法がある。この手法
は、フィーチャベクトルが問合せの本質を取り込むこと
ができる場合にうまく働く。たとえば、ユーザが、色の
特定の組合せを有する複雑なテクスチャを含むイメージ
を探索している場合、この問合せを表すことは極めて困
難であるが、色フィーチャとテクスチャフィーチャの組
合せによって合理的に表現することができる。したがっ
て、いくつかの肯定的および否定的な例によって、関連
性フィードバックプロセスはかなり正確な結果を返すこ
とができる。一方、ユーザが、利用可能なフィーチャベ
クトルの組合せによって十分に表現することのできない
特定のオブジェクトを探索している場合、このような関
連性フィードバックシステムは、多数のユーザフィード
バックにもかかわらず関連のある多くの結果を返さな
い。
して、低レベルイメージフィーチャのみを使用する理想
的な問合せパラメータを推定する手法がある。この手法
は、フィーチャベクトルが問合せの本質を取り込むこと
ができる場合にうまく働く。たとえば、ユーザが、色の
特定の組合せを有する複雑なテクスチャを含むイメージ
を探索している場合、この問合せを表すことは極めて困
難であるが、色フィーチャとテクスチャフィーチャの組
合せによって合理的に表現することができる。したがっ
て、いくつかの肯定的および否定的な例によって、関連
性フィードバックプロセスはかなり正確な結果を返すこ
とができる。一方、ユーザが、利用可能なフィーチャベ
クトルの組合せによって十分に表現することのできない
特定のオブジェクトを探索している場合、このような関
連性フィードバックシステムは、多数のユーザフィード
バックにもかかわらず関連のある多くの結果を返さな
い。
【０００８】数人の研究者は、テキスト情報検索で使用
されるモデルをイメージ検索に適用することを試みてい
る。テキスト情報検索で使用される最も一般的なモデル
の１つはベクトルモデルである。ベクトルモデルは、Ｐ
ｒｏｃ ｏｆ ＳＩＧＩＲ‘９５のＢｕｃｋｌｅｙおよ
びＳａｌｔｏｎ著「Ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆＲ
ｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ Ｗｅｉｇｈｔ
ｓ」、ＳａｌｔｏｎおよびＭｃＧｉｌｌ著「Ｉｎｔｒｏ
ｄｕｃｔｉｏｎ ｔｏ Ｍｏｄｅｒｎ Ｉｎｆｏｒｍａ
ｔｉｏｎ Ｒｅｔｒｉｅｖａｌ」（ＭｃＧｒａｗ−Ｈｉ
ｌｌ ＢｏｏｋＣｏｍｐａｎｙ、１９８３年）、Ｗ．
Ｍ．Ｓｈａｗ著「Ｔｅｒｍ−Ｒｅｌｅｖａｎｃｅ Ｃｏ
ｍｐｕｔａｔｉｏｎ ａｎｄ Ｐｅｒｆｅｃｔ Ｒｅｔ
ｒｉｅｖａｌ Ｐｅｒｆｏｒｍａｎｃｅ」（Ｉｎｆｏｒ
ｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｍａｎ
ａｇｅｍｅｎｔ）などの文献に記載されている。種々の
効果的な検索技法がこのモデル用に開発されており、そ
の多くが関連性フィードバックを使用している。
されるモデルをイメージ検索に適用することを試みてい
る。テキスト情報検索で使用される最も一般的なモデル
の１つはベクトルモデルである。ベクトルモデルは、Ｐ
ｒｏｃ ｏｆ ＳＩＧＩＲ‘９５のＢｕｃｋｌｅｙおよ
びＳａｌｔｏｎ著「Ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆＲ
ｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ Ｗｅｉｇｈｔ
ｓ」、ＳａｌｔｏｎおよびＭｃＧｉｌｌ著「Ｉｎｔｒｏ
ｄｕｃｔｉｏｎ ｔｏ Ｍｏｄｅｒｎ Ｉｎｆｏｒｍａ
ｔｉｏｎ Ｒｅｔｒｉｅｖａｌ」（ＭｃＧｒａｗ−Ｈｉ
ｌｌ ＢｏｏｋＣｏｍｐａｎｙ、１９８３年）、Ｗ．
Ｍ．Ｓｈａｗ著「Ｔｅｒｍ−Ｒｅｌｅｖａｎｃｅ Ｃｏ
ｍｐｕｔａｔｉｏｎ ａｎｄ Ｐｅｒｆｅｃｔ Ｒｅｔ
ｒｉｅｖａｌ Ｐｅｒｆｏｒｍａｎｃｅ」（Ｉｎｆｏｒ
ｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｍａｎ
ａｇｅｍｅｎｔ）などの文献に記載されている。種々の
効果的な検索技法がこのモデル用に開発されており、そ
の多くが関連性フィードバックを使用している。
【０００９】従来の関連性フィードバックの研究の大部
分は２つの手法、すなわち問合せ点移動および再加重に
分類することができる。問合せ点移動法は基本的に、
「理想的な問合せ点」を良好な点の例に向かい、かつ不
良な点の例から離れるように移動させることによって
「理想的な問合せ点」の推定を向上させることを試みる
方法である。この推定を反復的に改善するために頻繁に
使用される技法は、ユーザによって指摘された関連性を
有する文書Ｄ′Ｒと関連性を有さない文書Ｄ′Ｎの組に
関して以下に与えるＲｏｃｃｈｉｏの公式である。
分は２つの手法、すなわち問合せ点移動および再加重に
分類することができる。問合せ点移動法は基本的に、
「理想的な問合せ点」を良好な点の例に向かい、かつ不
良な点の例から離れるように移動させることによって
「理想的な問合せ点」の推定を向上させることを試みる
方法である。この推定を反復的に改善するために頻繁に
使用される技法は、ユーザによって指摘された関連性を
有する文書Ｄ′Ｒと関連性を有さない文書Ｄ′Ｎの組に
関して以下に与えるＲｏｃｃｈｉｏの公式である。
【００１０】
【数１】
【００１１】上式で、α、β、およびγは適切な定数で
あり、ＮＲ′およびＮＮ′はそれぞれ、Ｄ′Ｒおよび
Ｄ′Ｎ中の文書の数である。この技法は、たとえば、Ｐ
ｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．ｏｎ Ｉｍａｇ
ｅ ｐｒｏｃ．（１９９７年）のＲｕｉ，Ｙ．、Ｈｕａ
ｎｇ，Ｔ．Ｓ．、およびＭｅｈｒｏｔｒａ，Ｓ．著「Ｃ
ｏｎｔｒｏｌ−Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｔｒｉｅ
ｖａｌ ｗｉｔｈ Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａ
ｃｋ ｉｎ ＭＡＲＳ」に記載されたＭＡＲＳシステム
で実現されている。
あり、ＮＲ′およびＮＮ′はそれぞれ、Ｄ′Ｒおよび
Ｄ′Ｎ中の文書の数である。この技法は、たとえば、Ｐ
ｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．ｏｎ Ｉｍａｇ
ｅ ｐｒｏｃ．（１９９７年）のＲｕｉ，Ｙ．、Ｈｕａ
ｎｇ，Ｔ．Ｓ．、およびＭｅｈｒｏｔｒａ，Ｓ．著「Ｃ
ｏｎｔｒｏｌ−Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｔｒｉｅ
ｖａｌ ｗｉｔｈ Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａ
ｃｋ ｉｎ ＭＡＲＳ」に記載されたＭＡＲＳシステム
で実現されている。
【００１２】再加重を支持する中心的な考えは非常に単
純で直感的なものである。各イメージはＮ次元フィーチ
ャベクトルによって表されるので、イメージはＮ次元空
間中の点とみなすことができる。したがって、良好な例
の分散が主軸（ｐｒｉｎｃｉｐｌｅ ａｘｉｓ）ｊに沿
って高い場合、軸上の値は、入力された問合せとの関連
はそれほどない可能性が最も高く、この軸に低い重みｗ
ｊを割り当てることができる。したがって、重みｗｊを
更新するための基本的な考えとしてフィーチャマトリッ
クス内のｊ番目のフィーチャ値の標準偏差の逆数が使用
される。上述のＭＡＲＳシステムは、標準偏差法と呼ば
れる再加重法をわずかに改善したものである。
純で直感的なものである。各イメージはＮ次元フィーチ
ャベクトルによって表されるので、イメージはＮ次元空
間中の点とみなすことができる。したがって、良好な例
の分散が主軸（ｐｒｉｎｃｉｐｌｅ ａｘｉｓ）ｊに沿
って高い場合、軸上の値は、入力された問合せとの関連
はそれほどない可能性が最も高く、この軸に低い重みｗ
ｊを割り当てることができる。したがって、重みｗｊを
更新するための基本的な考えとしてフィーチャマトリッ
クス内のｊ番目のフィーチャ値の標準偏差の逆数が使用
される。上述のＭＡＲＳシステムは、標準偏差法と呼ば
れる再加重法をわずかに改善したものである。
【００１３】最近、グローバル最適化を実行する計算面
でより確固とした方法が提案されている。このような提
案には、Ｉｓｈｉｋａｗａ，Ｙ．、Ｓｕｂｒａｍａｎｙ
ａＲ．、およびＦａｌｏｕｔｓｏｓ，Ｃ．，Ｐｒｏｃ．
ｏｆ ｔｈｅ ２４ｔｈＶＬＤＢ Ｃｏｎｆｅｒｅｎ
ｃｅ（ニューヨーク、１９９８年）の著「Ｍｉｎｄｒｅ
ａｄｅｒ：Ｑｕｅｒｙ Ｄａｔａｂａｓｅｓ Ｔｈｒｏ
ｕｇｈ Ｍｕｌｔｉｐｌｅ Ｅｘａｍｐｌｅｓ」に記載
されたＭｉｎｄＲｅａｄｅｒ検索システムがある。この
システムでは、パラメータ推定プロセスに関する最小化
問題が公式化されている。座標軸に位置合わせされた楕
円によって表すことのできる距離関数を用いた従来型の
検索システムとは異なり、ＭｉｎｄＲｅａｄｅｒシステ
ムでは、必ずしも座標軸に位置合わせされない距離関数
が提案された。したがって、このシステムでは、各構成
要素に対するそれぞれの異なる重みだけでなく属性間の
相関関係を与えることができる。
でより確固とした方法が提案されている。このような提
案には、Ｉｓｈｉｋａｗａ，Ｙ．、Ｓｕｂｒａｍａｎｙ
ａＲ．、およびＦａｌｏｕｔｓｏｓ，Ｃ．，Ｐｒｏｃ．
ｏｆ ｔｈｅ ２４ｔｈＶＬＤＢ Ｃｏｎｆｅｒｅｎ
ｃｅ（ニューヨーク、１９９８年）の著「Ｍｉｎｄｒｅ
ａｄｅｒ：Ｑｕｅｒｙ Ｄａｔａｂａｓｅｓ Ｔｈｒｏ
ｕｇｈ Ｍｕｌｔｉｐｌｅ Ｅｘａｍｐｌｅｓ」に記載
されたＭｉｎｄＲｅａｄｅｒ検索システムがある。この
システムでは、パラメータ推定プロセスに関する最小化
問題が公式化されている。座標軸に位置合わせされた楕
円によって表すことのできる距離関数を用いた従来型の
検索システムとは異なり、ＭｉｎｄＲｅａｄｅｒシステ
ムでは、必ずしも座標軸に位置合わせされない距離関数
が提案された。したがって、このシステムでは、各構成
要素に対するそれぞれの異なる重みだけでなく属性間の
相関関係を与えることができる。
【００１４】この手法に対するさらなる改良は、Ｒｕ
ｉ，Ｙ．、Ｈｕａｎｇ，Ｔ．Ｓ．著「Ａ Ｎｏｖｅｌ
Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ Ｔｅｃｈｎｉ
ｑｕｅｉｎ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ」（ＡＣ
Ｍ Ｍｕｌｔｉｍｅｄｉａ、１９９９年）に記載されて
いる。このＣＢＩＲシステムは、最適化問題を公式化す
るだけでなく、マルチレベルイメージモデルも考慮に入
れている。
ｉ，Ｙ．、Ｈｕａｎｇ，Ｔ．Ｓ．著「Ａ Ｎｏｖｅｌ
Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ Ｔｅｃｈｎｉ
ｑｕｅｉｎ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ」（ＡＣ
Ｍ Ｍｕｌｔｉｍｅｄｉａ、１９９９年）に記載されて
いる。このＣＢＩＲシステムは、最適化問題を公式化す
るだけでなく、マルチレベルイメージモデルも考慮に入
れている。
【００１５】上述の手法はすべて、イメージ検索におけ
る低レベルフィーチャベクトルレベルでの関連性フィー
ドバックを実行するが、イメージ自体の意味を考慮に入
れていない。これらの手法に関する固有の問題は、テキ
スト情報検索で使用されている関連性フィードバックを
イメージ検索に採用しても期待されたほどの成功が得ら
れなかったことである。これは主として、低レベルフィ
ーチャがイメージの完全な意味コンテントを表現する上
で有効ではないことが多いからである。
る低レベルフィーチャベクトルレベルでの関連性フィー
ドバックを実行するが、イメージ自体の意味を考慮に入
れていない。これらの手法に関する固有の問題は、テキ
スト情報検索で使用されている関連性フィードバックを
イメージ検索に採用しても期待されたほどの成功が得ら
れなかったことである。これは主として、低レベルフィ
ーチャがイメージの完全な意味コンテントを表現する上
で有効ではないことが多いからである。
【００１６】その結果、イメージ検索の関連性フィード
バックに意味を組み込む試みがなされている。Ｌｅｅ、
Ｍａ、およびＺｈａｎｇ著「Ｉｎｆｏｒｍａｔｉｏｎ
Ｅｍｂｅｄｄｉｎｇ Ｂａｓｅｄ ｏｎ Ｕｓｅｒ′ｓ
Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ ｆｏｒ Ｉ
ｍａｇｅ Ｒｅｔｒｉｅｖａｌ」（Ｔｅｃｈｎｉｃａｌ
Ｒｅｐｏｒｔ ＨＰ Ｌａｂｓ、１９９８年）におい
て、著者は、相関マトリックスを使用してフィーチャベ
ースの低レベルイメージ検索プロセスに意味情報を埋め
込むことを試みるフレームワークを提案している。この
フレームワークでは、イメージクラスタ間の意味上の関
連性がユーザのフィードバックから得られ、この関連性
を使用して検索性能が改善される。
バックに意味を組み込む試みがなされている。Ｌｅｅ、
Ｍａ、およびＺｈａｎｇ著「Ｉｎｆｏｒｍａｔｉｏｎ
Ｅｍｂｅｄｄｉｎｇ Ｂａｓｅｄ ｏｎ Ｕｓｅｒ′ｓ
Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ ｆｏｒ Ｉ
ｍａｇｅ Ｒｅｔｒｉｅｖａｌ」（Ｔｅｃｈｎｉｃａｌ
Ｒｅｐｏｒｔ ＨＰ Ｌａｂｓ、１９９８年）におい
て、著者は、相関マトリックスを使用してフィーチャベ
ースの低レベルイメージ検索プロセスに意味情報を埋め
込むことを試みるフレームワークを提案している。この
フレームワークでは、イメージクラスタ間の意味上の関
連性がユーザのフィードバックから得られ、この関連性
を使用して検索性能が改善される。
【００１７】
【発明が解決しようとする課題】しかし、依然として、
関連性フィードバックを使用するイメージ検索システム
および方法を改良する必要がある。本発明者は、意味と
低レベルフィーチャの両方を新しい方法でフィードバッ
クプロセスに組み込むシステムを提案する。意味情報が
得られないときにのみ、この技法は、特殊なケースとし
て前述の低レベルフィードバック手法のうちの１つに変
更される。
関連性フィードバックを使用するイメージ検索システム
および方法を改良する必要がある。本発明者は、意味と
低レベルフィーチャの両方を新しい方法でフィードバッ
クプロセスに組み込むシステムを提案する。意味情報が
得られないときにのみ、この技法は、特殊なケースとし
て前述の低レベルフィードバック手法のうちの１つに変
更される。
【００１８】
【課題を解決するための手段】イメージ検索システムは
キーワードベースのイメージ検索とコンテントベースの
イメージ検索の両方を実行する。ユーザインターフェー
スによって、ユーザは、キーワードとイメージ例の組合
せを使用して問合せを指定することができる。このイメ
ージ検索システムは、入力された問合せに応じて、問合
せ中のキーワードと一致するキーワードを有するイメー
ジ、および／または色、テクスチャ、形状など類似する
低レベルフィーチャを有するイメージを見つける。シス
テムは、イメージをランク付けしてユーザに返す。
キーワードベースのイメージ検索とコンテントベースの
イメージ検索の両方を実行する。ユーザインターフェー
スによって、ユーザは、キーワードとイメージ例の組合
せを使用して問合せを指定することができる。このイメ
ージ検索システムは、入力された問合せに応じて、問合
せ中のキーワードと一致するキーワードを有するイメー
ジ、および／または色、テクスチャ、形状など類似する
低レベルフィーチャを有するイメージを見つける。シス
テムは、イメージをランク付けしてユーザに返す。
【００１９】このユーザインターフェースによって、ユ
ーザは、問合せとの関連性がより高いイメージと、関連
性がより低いかまたは関連性がまったくないイメージと
を識別することができる。このイメージ検索システム
は、ユーザフィードバックを監視し、このフィードバッ
クを使用して探索を改善し、システム自体を将来の探索
問合せに関して訓練する。
ーザは、問合せとの関連性がより高いイメージと、関連
性がより低いかまたは関連性がまったくないイメージと
を識別することができる。このイメージ検索システム
は、ユーザフィードバックを監視し、このフィードバッ
クを使用して探索を改善し、システム自体を将来の探索
問合せに関して訓練する。
【００２０】上述の実施態様では、イメージ検索システ
ムはフィーチャベースの関連性フィードバックと意味ベ
ースの関連性フィードバックをシームレスに統合する。
フィーチャベースの関連性フィードバックを用いた場
合、システムは、どの低レベルフィーチャによって関連
するイメージが得られたかを学習し、このようなフィー
チャをグループ化して将来の探索の助けとする。
ムはフィーチャベースの関連性フィードバックと意味ベ
ースの関連性フィードバックをシームレスに統合する。
フィーチャベースの関連性フィードバックを用いた場
合、システムは、どの低レベルフィーチャによって関連
するイメージが得られたかを学習し、このようなフィー
チャをグループ化して将来の探索の助けとする。
【００２１】意味ベースの関連性フィードバックを用い
た場合、イメージ検索システムは、どのキーワードが関
連するイメージと共に識別されたかを知り、キーワード
とイメージの間の関連付けを強める。より具体的には、
イメージおよびキーワードがデータベース内に維持さ
れ、キーワードとイメージの間の関連性を定義するよう
にイメージデータベース上に意味ネットワークが構築さ
れ、ユーザフィードバックが与えられたときにこの意味
ネットワークが更新される。キーワードがイメージにど
のように関連しているかを示すためにキーワードとイメ
ージの関連性に重みが割り当てられる。重みは、ユーザ
フィードバックにしたがって調整され、それにより、よ
り関連性の高いものとして識別されたキーワードとイメ
ージの間の関連付けが強められ、より関連性が低いもの
として識別されたキーワードとイメージの間の関連付け
が弱められる。
た場合、イメージ検索システムは、どのキーワードが関
連するイメージと共に識別されたかを知り、キーワード
とイメージの間の関連付けを強める。より具体的には、
イメージおよびキーワードがデータベース内に維持さ
れ、キーワードとイメージの間の関連性を定義するよう
にイメージデータベース上に意味ネットワークが構築さ
れ、ユーザフィードバックが与えられたときにこの意味
ネットワークが更新される。キーワードがイメージにど
のように関連しているかを示すためにキーワードとイメ
ージの関連性に重みが割り当てられる。重みは、ユーザ
フィードバックにしたがって調整され、それにより、よ
り関連性の高いものとして識別されたキーワードとイメ
ージの間の関連付けが強められ、より関連性が低いもの
として識別されたキーワードとイメージの間の関連付け
が弱められる。
【００２２】
【発明の実施の形態】この開示では、キーワードベース
のイメージ検索とコンテントベースのイメージ検索を共
に実行するイメージ検索システムについて説明する。こ
のシステムは、フィーチャベースの関連性フィードバッ
クと意味ベースの関連性フィードバックをシームレスに
統合する。このイメージ検索システムはまた、キーワー
ドとイメージを関連付けるようにイメージデータベース
上に構築された意味ネットワークもサポートし、機械学
習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を使用しユー
ザフィードバックに基づいて意味ネットワークを適合さ
せる。
のイメージ検索とコンテントベースのイメージ検索を共
に実行するイメージ検索システムについて説明する。こ
のシステムは、フィーチャベースの関連性フィードバッ
クと意味ベースの関連性フィードバックをシームレスに
統合する。このイメージ検索システムはまた、キーワー
ドとイメージを関連付けるようにイメージデータベース
上に構築された意味ネットワークもサポートし、機械学
習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を使用しユー
ザフィードバックに基づいて意味ネットワークを適合さ
せる。
【００２３】サーバがイメージ検索システムのホストと
して働き、クライアントがユーザ問合せをサーバに提出
するインターネットベースのシステムに関して、このイ
メージ検索アーキテクチャを説明する。しかし、このア
ーキテクチャは他の環境で実現することができる。たと
えば、このイメージ検索アーキテクチャは非インターネ
ットベースのクライアントサーバシステムで実現するこ
とも、あるいは非ネットワーク化コンピュータシステム
上で実現することもできる。
して働き、クライアントがユーザ問合せをサーバに提出
するインターネットベースのシステムに関して、このイ
メージ検索アーキテクチャを説明する。しかし、このア
ーキテクチャは他の環境で実現することができる。たと
えば、このイメージ検索アーキテクチャは非インターネ
ットベースのクライアントサーバシステムで実現するこ
とも、あるいは非ネットワーク化コンピュータシステム
上で実現することもできる。
【００２４】例示的なコンピューティング環境 図１は、イメージ検索システムを実現することのできる
例示的なコンピュータネットワークシステム１００を示
している。コンピュータネットワークシステム１００
は、インターネットなどのネットワーク１０６を介して
サーバ１０４に問合せを提出するクライアント１０２を
含む。イメージ検索システムは他のネットワーク（たと
えば、ワイドエリアネットワークやローカルエリアネッ
トワーク）を使用して実現することができ、インターネ
ットに制限すべきではないが、１つの適切な実施態様と
してインターネットに関してこのシステムを説明する。
このＷｅｂベース検索システムによって、複数のユーザ
が任意の所与の時間にタスクを同時に実行することがで
きる。
例示的なコンピュータネットワークシステム１００を示
している。コンピュータネットワークシステム１００
は、インターネットなどのネットワーク１０６を介して
サーバ１０４に問合せを提出するクライアント１０２を
含む。イメージ検索システムは他のネットワーク（たと
えば、ワイドエリアネットワークやローカルエリアネッ
トワーク）を使用して実現することができ、インターネ
ットに制限すべきではないが、１つの適切な実施態様と
してインターネットに関してこのシステムを説明する。
このＷｅｂベース検索システムによって、複数のユーザ
が任意の所与の時間にタスクを同時に実行することがで
きる。
【００２５】クライアント１０２は、汎用コンピュータ
（たとえば、デスクトップコンピュータ、ラップトップ
コンピュータなど）、ネットワーク機器（たとえば、セ
ットトップボックス（ＳＴＢ）、ゲームコンソールな
ど）などを含め、多数の種々のコンピュータシステムを
表す。クライアント１０２は、プロセッサ１１０、揮発
性メモリ１１２（たとえば、ＲＡＭ）、および不揮発性
メモリ１１４（たとえば、ＲＯＭ、フラッシュ、ハード
ディスク、光ディスクなど）を含む。クライアント１０
２は、１つまたは複数の入力装置１１６（たとえば、キ
ーボード、キーパッド、マウス、リモートコントロー
ル、スタイラス、マイクロフォンなど）と、イメージ検
索システムから返されたイメージを表示するディスプレ
イ１１８も有する。
（たとえば、デスクトップコンピュータ、ラップトップ
コンピュータなど）、ネットワーク機器（たとえば、セ
ットトップボックス（ＳＴＢ）、ゲームコンソールな
ど）などを含め、多数の種々のコンピュータシステムを
表す。クライアント１０２は、プロセッサ１１０、揮発
性メモリ１１２（たとえば、ＲＡＭ）、および不揮発性
メモリ１１４（たとえば、ＲＯＭ、フラッシュ、ハード
ディスク、光ディスクなど）を含む。クライアント１０
２は、１つまたは複数の入力装置１１６（たとえば、キ
ーボード、キーパッド、マウス、リモートコントロー
ル、スタイラス、マイクロフォンなど）と、イメージ検
索システムから返されたイメージを表示するディスプレ
イ１１８も有する。
【００２６】クライアント１０２は、不揮発性メモリ１
１４に記憶されており、プロセッサ１１０上で実行され
るブラウザ１２０を備えている。ブラウザ１２０は、ネ
ットワーク１０６を介してサーバ１０４に要求を提出
し、サーバ１０４から応答を受信する。議論の都合上、
ブラウザ１２０はＨＴＭＬ（ハイパーテキストマークア
ップ言語）などのマークアップ言語で書かれた文書を受
信しレンダリングすることができる従来型のインターネ
ットブラウザとして構成することができる。ブラウザを
使用してさらにディスプレイ１１８上にイメージを表示
することができる。
１４に記憶されており、プロセッサ１１０上で実行され
るブラウザ１２０を備えている。ブラウザ１２０は、ネ
ットワーク１０６を介してサーバ１０４に要求を提出
し、サーバ１０４から応答を受信する。議論の都合上、
ブラウザ１２０はＨＴＭＬ（ハイパーテキストマークア
ップ言語）などのマークアップ言語で書かれた文書を受
信しレンダリングすることができる従来型のインターネ
ットブラウザとして構成することができる。ブラウザを
使用してさらにディスプレイ１１８上にイメージを表示
することができる。
【００２７】サーバ１０４は、ローカルエリアネットワ
ークまたはワイドエリアネットワーク用のサーバ、この
ようなサーバ用のバックエンド、またはＷｅｂサーバを
含め、多数の異なるサーバ環境を表す。このＷｅｂサー
バの環境では、探索用のＷｅｂサイトなど、インターネ
ット（ネットワーク）１０６上のサイトのホストとして
働くようにサーバソフトウェアを有する１つまたは複数
のコンピュータとして実現することができる。
ークまたはワイドエリアネットワーク用のサーバ、この
ようなサーバ用のバックエンド、またはＷｅｂサーバを
含め、多数の異なるサーバ環境を表す。このＷｅｂサー
バの環境では、探索用のＷｅｂサイトなど、インターネ
ット（ネットワーク）１０６上のサイトのホストとして
働くようにサーバソフトウェアを有する１つまたは複数
のコンピュータとして実現することができる。
【００２８】サーバ１０４は、プロセッサ１３０、揮発
性メモリ１３２（たとえば、ＲＡＭ）、および不揮発性
メモリ１３４（たとえば、ＲＯＭ、フラッシュ、ハード
ディスク、光ディスク、ＲＡＩＤメモリなど）を有す
る。サーバ１０４は、オペレーティングシステム１３６
およびイメージ検索システム１４０を動作させる。例示
の都合上、オペレーティングシステム１３６およびイメ
ージ検索システム１４０は、不揮発性メモリ１３４に記
憶された離散的ブロックとして示されている。ただし、
このようなプログラムおよび構成要素が、サーバ１０４
のそれぞれの異なる時間にそれぞれの異なる記憶構成要
素に存在し、プロセッサ１３０によって実行されること
を認識されたい。一般に、これらのソフトウェア構成要
素は、不揮発性メモリ１３４に記憶されており、そこか
ら少なくとも部分的に揮発性メインメモリ１３２にロー
ドされ、プロセッサ１３０上で実行される。
性メモリ１３２（たとえば、ＲＡＭ）、および不揮発性
メモリ１３４（たとえば、ＲＯＭ、フラッシュ、ハード
ディスク、光ディスク、ＲＡＩＤメモリなど）を有す
る。サーバ１０４は、オペレーティングシステム１３６
およびイメージ検索システム１４０を動作させる。例示
の都合上、オペレーティングシステム１３６およびイメ
ージ検索システム１４０は、不揮発性メモリ１３４に記
憶された離散的ブロックとして示されている。ただし、
このようなプログラムおよび構成要素が、サーバ１０４
のそれぞれの異なる時間にそれぞれの異なる記憶構成要
素に存在し、プロセッサ１３０によって実行されること
を認識されたい。一般に、これらのソフトウェア構成要
素は、不揮発性メモリ１３４に記憶されており、そこか
ら少なくとも部分的に揮発性メインメモリ１３２にロー
ドされ、プロセッサ１３０上で実行される。
【００２９】イメージ検索システム１４０は、イメージ
データベース１４２に記憶されているイメージを検索す
る。イメージ検索システム１４０は、問合せハンドラ１
５０、フィーチャ意味マッチャ（ｆｅａｔｕｒｅ ａｎ
ｄ ｓｅｍａｎｔｉｃ ｍａｔｃｈｅｒ）１５２および
フィードバックアナライザ１５４を含む。
データベース１４２に記憶されているイメージを検索す
る。イメージ検索システム１４０は、問合せハンドラ１
５０、フィーチャ意味マッチャ（ｆｅａｔｕｒｅ ａｎ
ｄ ｓｅｍａｎｔｉｃ ｍａｔｃｈｅｒ）１５２および
フィードバックアナライザ１５４を含む。
【００３０】問合せハンドラ１５０は、クライアント１
０２から受信された問合せを処理する。問合せは、自然
言語の問合せ、個々の語の問合せ、または探索の基礎を
形成するイメージ例の低レベルフィーチャを含むイメー
ジ問合せの形態でよい。問合せハンドラ１５０は、問合
せタイプに応じて、イメージデータベース１４２のキー
ワードベースの探索またはフィーチャベースの探索を開
始する。
０２から受信された問合せを処理する。問合せは、自然
言語の問合せ、個々の語の問合せ、または探索の基礎を
形成するイメージ例の低レベルフィーチャを含むイメー
ジ問合せの形態でよい。問合せハンドラ１５０は、問合
せタイプに応じて、イメージデータベース１４２のキー
ワードベースの探索またはフィーチャベースの探索を開
始する。
【００３１】フィーチャ意味マッチャ１５２は、イメー
ジ例に類似した低レベルフィーチャを含み、かつ／また
はユーザ問合せ中のキーワードに一致する関連付けされ
たキーワードを有するイメージデータベース１４２の中
のイメージの探索を試みる。フィーチャ意味マッチャ１
５２は、意味ネットワークを使用して類似するキーワー
ドを有するイメージを見つける。意味ネットワークはキ
ーワードとイメージの間の関連付けを定義する。あるキ
ーワードがこのイメージにどのように関連しているかを
示すように関連付けに重みが割り当てられる。以下にあ
る例示的な意味ネットワークについて図３を参照して説
明する。
ジ例に類似した低レベルフィーチャを含み、かつ／また
はユーザ問合せ中のキーワードに一致する関連付けされ
たキーワードを有するイメージデータベース１４２の中
のイメージの探索を試みる。フィーチャ意味マッチャ１
５２は、意味ネットワークを使用して類似するキーワー
ドを有するイメージを見つける。意味ネットワークはキ
ーワードとイメージの間の関連付けを定義する。あるキ
ーワードがこのイメージにどのように関連しているかを
示すように関連付けに重みが割り当てられる。以下にあ
る例示的な意味ネットワークについて図３を参照して説
明する。
【００３２】フィーチャ意味マッチャ１５２は、イメー
ジを問合せに対するイメージの関連性にしたがってラン
ク付けし、ユーザによって検討できるようにイメージを
ランク順に返す。ユーザは、ユーザインターフェースを
介して、個々のイメージを問合せとの関連性がより高い
かあるいはより低いか、あるいはまったく関連を有さな
いイメージとしてマーク付けするか、あるいはその他の
方法で識別することができる。
ジを問合せに対するイメージの関連性にしたがってラン
ク付けし、ユーザによって検討できるようにイメージを
ランク順に返す。ユーザは、ユーザインターフェースを
介して、個々のイメージを問合せとの関連性がより高い
かあるいはより低いか、あるいはまったく関連を有さな
いイメージとしてマーク付けするか、あるいはその他の
方法で識別することができる。
【００３３】フィーチャアナライザ１５４は、ユーザフ
ィードバックを監視し、どのイメージが探索に関連する
ものとみなされ、どのイメージが関連しないものとみな
されるかを分析する。フィードバックアナライザ１５４
は、関連性フィードバックを使用して、イメージデータ
ベース中の意味ネットワークを訓練する。たとえば、フ
ィードバックアナライザ１５４は、関連するイメージ上
の注釈を探索問合せ中のキーワードにより厳密に整合す
るように修正することができる。アナライザ１５４は、
探索問合せのキーワードと関連するイメージとの間の関
連付けを強め、キーワードと関連のないイメージとの間
の関連付けを弱めることによって、意味ネットワークの
重みを調整することもできる。
ィードバックを監視し、どのイメージが探索に関連する
ものとみなされ、どのイメージが関連しないものとみな
されるかを分析する。フィードバックアナライザ１５４
は、関連性フィードバックを使用して、イメージデータ
ベース中の意味ネットワークを訓練する。たとえば、フ
ィードバックアナライザ１５４は、関連するイメージ上
の注釈を探索問合せ中のキーワードにより厳密に整合す
るように修正することができる。アナライザ１５４は、
探索問合せのキーワードと関連するイメージとの間の関
連付けを強め、キーワードと関連のないイメージとの間
の関連付けを弱めることによって、意味ネットワークの
重みを調整することもできる。
【００３４】したがって、イメージ検索システムは、コ
ンテントベースのイメージ検索（ＣＢＩＲ）と意味ベー
スのイメージ検索を統合する。このシステムは、意味ベ
ースの関連性フィードバックとフィーチャベースの関連
性フィードバックも統合する。このシステムは、検索精
度と使いやすさの両方において顕著な利益をもたらす。
ンテントベースのイメージ検索（ＣＢＩＲ）と意味ベー
スのイメージ検索を統合する。このシステムは、意味ベ
ースの関連性フィードバックとフィーチャベースの関連
性フィードバックも統合する。このシステムは、検索精
度と使いやすさの両方において顕著な利益をもたらす。
【００３５】イメージ検索システムアーキテクチャ 図２は、イメージ検索システムアーキテクチャ１４０を
より詳しく示している。このアーキテクチャは、テキス
トベースのキーワードまたは自然言語の問合せと、選択
されたイメージ例との両方を受け入れるユーザインター
フェース（ＵＩ）２００を有する。したがって、ユーザ
は、語の入力を選択するか、あるいは最初の探索問合せ
として使用すべきイメージ例を選択することができる。
ＵＩ２００は、ユーザが複数のイメージをブラウジング
できるようにするナビゲーションツールも形成する。図
１のネットワークシステムでは、ＵＩ２００は、ＨＴＭ
Ｌ文書として働かせることができ、クライアントのディ
スプレイ上でレンダリングされる。ユーザインターフェ
ース２００の１つの例示的な実施態様については、以下
に「ユーザインターフェース」の見出しの下で詳しく説
明する。
より詳しく示している。このアーキテクチャは、テキス
トベースのキーワードまたは自然言語の問合せと、選択
されたイメージ例との両方を受け入れるユーザインター
フェース（ＵＩ）２００を有する。したがって、ユーザ
は、語の入力を選択するか、あるいは最初の探索問合せ
として使用すべきイメージ例を選択することができる。
ＵＩ２００は、ユーザが複数のイメージをブラウジング
できるようにするナビゲーションツールも形成する。図
１のネットワークシステムでは、ＵＩ２００は、ＨＴＭ
Ｌ文書として働かせることができ、クライアントのディ
スプレイ上でレンダリングされる。ユーザインターフェ
ース２００の１つの例示的な実施態様については、以下
に「ユーザインターフェース」の見出しの下で詳しく説
明する。
【００３６】問合せは問合せハンドラ１５０に渡され
る。図の実施態様では、問合せハンドラ１５０は、キー
ワード、句、文などテキストベースの問合せを解析する
自然言語パーサ２０２を含む。パーサ２０２は、問合せ
からキーワードを抽出するように構成されており、自然
言語問合せの構文情報および意味情報を使用してキーワ
ードをより適切に理解し識別することができる。解析結
果は意味ネットワークへの入力として使用され、意味ネ
ットワークはキーワードをデータベース１４２内のイメ
ージに関連付ける。
る。図の実施態様では、問合せハンドラ１５０は、キー
ワード、句、文などテキストベースの問合せを解析する
自然言語パーサ２０２を含む。パーサ２０２は、問合せ
からキーワードを抽出するように構成されており、自然
言語問合せの構文情報および意味情報を使用してキーワ
ードをより適切に理解し識別することができる。解析結
果は意味ネットワークへの入力として使用され、意味ネ
ットワークはキーワードをデータベース１４２内のイメ
ージに関連付ける。
【００３７】図３は、意味ネットワーク３００を示して
いる。このネットワークは、キーワード３０２（１）、
３０２（２）、．．．３０２（Ｎ）をデータベース１４
２内のイメージ３０４（１）、３０４（２）、３０４
（３）、．．．３０４（Ｍ）に関連付けるキーワード−
イメージリンクを定義する。キーワード−イメージリン
クは矢印として図示されている。個々の各リンクに、関
連度を表わすように重みｗが割り当てられ、キーワード
は、リンクされたイメージの意味コンテント（ｓｅｍａ
ｎｔｉｃ ｃｏｎｔｅｎｔ）を表す。たとえば、第１の
キーワード３０２（１）は３つのイメージ３０４（１）
〜３０４（３）に関連付けされており、第１のイメージ
３０４（１）との関連付けに重みｗ１１が割り当てら
れ、第２のイメージ３０４（２）との関連付けに重みｗ
１２が割り当てられ、第３のイメージ３０４（３）との
関連付けに重みｗ１３が割り当てられている。
いる。このネットワークは、キーワード３０２（１）、
３０２（２）、．．．３０２（Ｎ）をデータベース１４
２内のイメージ３０４（１）、３０４（２）、３０４
（３）、．．．３０４（Ｍ）に関連付けるキーワード−
イメージリンクを定義する。キーワード−イメージリン
クは矢印として図示されている。個々の各リンクに、関
連度を表わすように重みｗが割り当てられ、キーワード
は、リンクされたイメージの意味コンテント（ｓｅｍａ
ｎｔｉｃ ｃｏｎｔｅｎｔ）を表す。たとえば、第１の
キーワード３０２（１）は３つのイメージ３０４（１）
〜３０４（３）に関連付けされており、第１のイメージ
３０４（１）との関連付けに重みｗ１１が割り当てら
れ、第２のイメージ３０４（２）との関連付けに重みｗ
１２が割り当てられ、第３のイメージ３０４（３）との
関連付けに重みｗ１３が割り当てられている。
【００３８】キーワードとイメージの関連付けを最初か
ら得ることはできない。しかし、このような関連付けを
得るいくつかの方法がある。第１の方法は、単に手動で
イメージにラベル付けし、キーワード−イメージリンク
に強い重みを割り当てる方法である。この方法は、コス
トおよび時間がかかる。
ら得ることはできない。しかし、このような関連付けを
得るいくつかの方法がある。第１の方法は、単に手動で
イメージにラベル付けし、キーワード−イメージリンク
に強い重みを割り当てる方法である。この方法は、コス
トおよび時間がかかる。
【００３９】手動ラベル付けのコストを削減するには、
自動手法を使用することができる。１つの可能な手法と
して、種々のＷｅｂサイトを訪れイメージをダウンロー
ドするクローラを実現することによって、インターネッ
トおよびその無数のユーザが活用される。ファイル名や
ＨＴＭＬファイルのＩＭＡＧＥタグ内のＡＬＴタグ文字
列など、イメージに関するデータは、キーワードとして
保存され、ダウンロードされたイメージに関連付けされ
る。また、リンク文字列およびページのタイトルをいく
らかイメージに関係付け、したがって、可能なキーワー
ドとして使用することができる。次いで、これらのキー
ワード−イメージリンクに、その関連性にしたがって重
みが割り当てられる。発見的手法によって、この情報は
関連性の降順、すなわち、（１）リンク文字列、（２）
ＡＬＴタグ文字列、（３）ファイル名、および（４）ペ
ージのタイトルの順にリストされる。
自動手法を使用することができる。１つの可能な手法と
して、種々のＷｅｂサイトを訪れイメージをダウンロー
ドするクローラを実現することによって、インターネッ
トおよびその無数のユーザが活用される。ファイル名や
ＨＴＭＬファイルのＩＭＡＧＥタグ内のＡＬＴタグ文字
列など、イメージに関するデータは、キーワードとして
保存され、ダウンロードされたイメージに関連付けされ
る。また、リンク文字列およびページのタイトルをいく
らかイメージに関係付け、したがって、可能なキーワー
ドとして使用することができる。次いで、これらのキー
ワード−イメージリンクに、その関連性にしたがって重
みが割り当てられる。発見的手法によって、この情報は
関連性の降順、すなわち、（１）リンク文字列、（２）
ＡＬＴタグ文字列、（３）ファイル名、および（４）ペ
ージのタイトルの順にリストされる。
【００４０】他のキーワードをシステムに取り込むため
の他の手法として、ユーザの入力された問合せが使用さ
れる。ユーザが、問合せに関連するイメージとしてマー
ク付けされた１組のイメージをフィードバックすると必
ず、入力されたキーワードがシステムに追加され、この
組のイメージとリンクされる。また、これらのイメージ
が関連性を有していることをユーザが示しているので、
新たに作成された各リンクに大きな重みを割り当てるこ
とができる。この手法について以下に、図５を参照して
詳しく説明する。
の他の手法として、ユーザの入力された問合せが使用さ
れる。ユーザが、問合せに関連するイメージとしてマー
ク付けされた１組のイメージをフィードバックすると必
ず、入力されたキーワードがシステムに追加され、この
組のイメージとリンクされる。また、これらのイメージ
が関連性を有していることをユーザが示しているので、
新たに作成された各リンクに大きな重みを割り当てるこ
とができる。この手法について以下に、図５を参照して
詳しく説明する。
【００４１】再び図２を参照するとわかるように、ユー
ザがテキスト問合せの入力を望まない状況がある。その
代わり、ユーザはイメージ例を選択し、類似するイメー
ジを選択することを望む。このような状況に対処するた
めに、ユーザインターフェース２００は、ユーザが選択
を行うことのできる１組のイメージカテゴリを表示する
（ｐｒｅｓｅｎｔ）。あるカテゴリが選択されると、イ
メージ検索システムは、そのカテゴリに関する１組のイ
メージサンプルを返す。
ザがテキスト問合せの入力を望まない状況がある。その
代わり、ユーザはイメージ例を選択し、類似するイメー
ジを選択することを望む。このような状況に対処するた
めに、ユーザインターフェース２００は、ユーザが選択
を行うことのできる１組のイメージカテゴリを表示する
（ｐｒｅｓｅｎｔ）。あるカテゴリが選択されると、イ
メージ検索システムは、そのカテゴリに関する１組のイ
メージサンプルを返す。
【００４２】イメージ検索システムは、問合せハンドラ
１５０における定義済みの概念階層２０４を用いてこの
状況に対処する。選択されたカテゴリは概念階層２０４
に渡され、概念階層２０４は、イメージデータベース１
４２のカテゴリに対応する第１レベルのイメージを識別
する。ユーザは、サンプルイメージから、イメージ例と
してのイメージを識別することができる。次いで、この
イメージ例の低レベルフィーチャを使用して、コンテン
トベースのイメージ検索動作が開始される。
１５０における定義済みの概念階層２０４を用いてこの
状況に対処する。選択されたカテゴリは概念階層２０４
に渡され、概念階層２０４は、イメージデータベース１
４２のカテゴリに対応する第１レベルのイメージを識別
する。ユーザは、サンプルイメージから、イメージ例と
してのイメージを識別することができる。次いで、この
イメージ例の低レベルフィーチャを使用して、コンテン
トベースのイメージ検索動作が開始される。
【００４３】フィーチャ意味マッチャ１５２は、ユーザ
の問合せに関連付けされたキーワードを有し、かつ／ま
たはイメージ例に類似した低レベルフィーチャを含む、
イメージデータベース１４２内のイメージを識別する。
フィーチャ意味マッチャ１５２は、イメージデータベー
ス１４２内の候補イメージから低レベルフィーチャを抽
出するイメージフィーチャエキストラクタ２１０を含
む。このような低レベルフィーチャはカラーヒストグラ
ム、テクスチャ、形状などを含む。フィーチャエキスト
ラクタ２１０はフィーチャをイメージフィーチャマッチ
ャ２１２に渡し、候補イメージの低レベルフィーチャ
を、ユーザによって提出されたイメージ例の低レベルフ
ィーチャと突き合わせる。より類似したフィーチャを有
する候補により高いランクが割り当てられる。
の問合せに関連付けされたキーワードを有し、かつ／ま
たはイメージ例に類似した低レベルフィーチャを含む、
イメージデータベース１４２内のイメージを識別する。
フィーチャ意味マッチャ１５２は、イメージデータベー
ス１４２内の候補イメージから低レベルフィーチャを抽
出するイメージフィーチャエキストラクタ２１０を含
む。このような低レベルフィーチャはカラーヒストグラ
ム、テクスチャ、形状などを含む。フィーチャエキスト
ラクタ２１０はフィーチャをイメージフィーチャマッチ
ャ２１２に渡し、候補イメージの低レベルフィーチャ
を、ユーザによって提出されたイメージ例の低レベルフ
ィーチャと突き合わせる。より類似したフィーチャを有
する候補により高いランクが割り当てられる。
【００４４】テキスト問合せの場合、フィーチャ意味マ
ッチャ１５２は、問合せのキーワードに一致する関連付
けされたキーワードを含むイメージを識別する意味マッ
チャ２１２を有する。意味マッチャ２１４は、意味ネッ
トワークを使用して、探索キーワードへのリンクを有す
るイメージを見つける。より強い重みが割り当てられた
リンクを有する候補イメージにより高いランクが割り当
てられる。
ッチャ１５２は、問合せのキーワードに一致する関連付
けされたキーワードを含むイメージを識別する意味マッ
チャ２１２を有する。意味マッチャ２１４は、意味ネッ
トワークを使用して、探索キーワードへのリンクを有す
るイメージを見つける。より強い重みが割り当てられた
リンクを有する候補イメージにより高いランクが割り当
てられる。
【００４５】ランク付けモジュール２１６は、最も高い
ランクのイメージが好ましい結果セットとしてユーザに
返されるようにイメージをランク付けする。このランク
付けでは、キーワード−イメージリンクに割り当てられ
た重み付けと、２つのイメージ間のフィーチャの類似性
とが考慮に入れられる。最も高いランクを有する１組の
イメージがユーザインターフェース２００に返され、検
討できるようにユーザに表示される。
ランクのイメージが好ましい結果セットとしてユーザに
返されるようにイメージをランク付けする。このランク
付けでは、キーワード−イメージリンクに割り当てられ
た重み付けと、２つのイメージ間のフィーチャの類似性
とが考慮に入れられる。最も高いランクを有する１組の
イメージがユーザインターフェース２００に返され、検
討できるようにユーザに表示される。
【００４６】ユーザインターフェース２００によって、
ユーザは、関連性がより高いかあるいはより低いか、あ
るいは無関係であるかについてイメージにマーク付けす
る。フィードバックアナライザ１５４はこのユーザフィ
ードバックを監視する。関連性フィードバックモニタ２
２０は、このフィードバックを追跡し、意味ベースの関
連性フィードバックと低レベルフィーチャ関連性フィー
ドバックの両方を統合された方法で実行する。一般に、
関連性フィードバックモニタ２２０は、キーワード−イ
メージリンクに割り当てられた重みを意味ベースの検索
モデルを訓練するように調整し、問合せ点移動技法また
は再加重技法を使用してフィーチャベースの検索モデル
を改善する。フィードバックアナライザ１５４は、機械
学習アルゴリズム２２２を実現し、関連性フィードバッ
クにしたがってデータベース内の意味ネットワークおよ
び／またはイメージを調整する。意味ベースの関連性フ
ィードバックおよびフィーチャベースの関連性フィード
バックに関する統合されたフレームワークの１つの特定
の実施態様については、以下に「統合された関連性フィ
ードバックフレームワークの見出しの下で詳しく説明す
る。
ユーザは、関連性がより高いかあるいはより低いか、あ
るいは無関係であるかについてイメージにマーク付けす
る。フィードバックアナライザ１５４はこのユーザフィ
ードバックを監視する。関連性フィードバックモニタ２
２０は、このフィードバックを追跡し、意味ベースの関
連性フィードバックと低レベルフィーチャ関連性フィー
ドバックの両方を統合された方法で実行する。一般に、
関連性フィードバックモニタ２２０は、キーワード−イ
メージリンクに割り当てられた重みを意味ベースの検索
モデルを訓練するように調整し、問合せ点移動技法また
は再加重技法を使用してフィーチャベースの検索モデル
を改善する。フィードバックアナライザ１５４は、機械
学習アルゴリズム２２２を実現し、関連性フィードバッ
クにしたがってデータベース内の意味ネットワークおよ
び／またはイメージを調整する。意味ベースの関連性フ
ィードバックおよびフィーチャベースの関連性フィード
バックに関する統合されたフレームワークの１つの特定
の実施態様については、以下に「統合された関連性フィ
ードバックフレームワークの見出しの下で詳しく説明す
る。
【００４７】イメージ検索システム１４０は、従来型の
システムに勝る多数の利点をもたらす。第１に、イメー
ジ検索システムはキーワードと低レベルフィーチャの両
方を使用してイメージを見つけ、それによってキーワー
ドベースのイメージ検索とコンテントベースのイメージ
検索を統合する。また、イメージ検索システムは、意味
ベースの関連性フィードバックとフィーチャベースの関
連性フィードバックの両方を統合する。
システムに勝る多数の利点をもたらす。第１に、イメー
ジ検索システムはキーワードと低レベルフィーチャの両
方を使用してイメージを見つけ、それによってキーワー
ドベースのイメージ検索とコンテントベースのイメージ
検索を統合する。また、イメージ検索システムは、意味
ベースの関連性フィードバックとフィーチャベースの関
連性フィードバックの両方を統合する。
【００４８】イメージ検索プロセス 図４および図５は、図２のイメージ検索システム１４０
によって実現されるイメージ検索プロセスを示してい
る。このプロセスは、最初の問合せからイメージ結果セ
ットを作成する第１のフェーズ（図４）と、結果セット
を修正し結果およびユーザフィードバックから学習する
第２のフェーズ（図５）とを含む。一実施態様では、イ
メージ検索プロセスは、実行されたときに、図４および
図５にブロックとして示されている動作を実行するコン
ピュータ実行可能な命令である。
によって実現されるイメージ検索プロセスを示してい
る。このプロセスは、最初の問合せからイメージ結果セ
ットを作成する第１のフェーズ（図４）と、結果セット
を修正し結果およびユーザフィードバックから学習する
第２のフェーズ（図５）とを含む。一実施態様では、イ
メージ検索プロセスは、実行されたときに、図４および
図５にブロックとして示されている動作を実行するコン
ピュータ実行可能な命令である。
【００４９】一実施態様では、このプロセスは、利用可
能なイメージの粗な概念階層が存在するものと仮定す
る。ただし、この仮定は必ずしも必要ではない。たとえ
ば、人間のイメージは、全般的に「人間」として粗に注
釈付けし、より具体的に「男性」および「女性」として
注釈付けすることができる。また、イメージデータベー
ス１４２内のイメージの低レベルフィーチャは、オフラ
インで算出し、データ構造を通してイメージと相関させ
ることができる。これにより、イメージ検索プロセス中
に低レベルフィーチャを算出することによって速度が低
下することはなくなる。
能なイメージの粗な概念階層が存在するものと仮定す
る。ただし、この仮定は必ずしも必要ではない。たとえ
ば、人間のイメージは、全般的に「人間」として粗に注
釈付けし、より具体的に「男性」および「女性」として
注釈付けすることができる。また、イメージデータベー
ス１４２内のイメージの低レベルフィーチャは、オフラ
インで算出し、データ構造を通してイメージと相関させ
ることができる。これにより、イメージ検索プロセス中
に低レベルフィーチャを算出することによって速度が低
下することはなくなる。
【００５０】論理ブロック４０２で、イメージ検索シス
テム１４０は、ユーザインターフェース２００を介して
ユーザによって提出された最初の問合せを受信する。ユ
ーザが、「トラ（ｔｉｇｅｒｓ）」のイメージを見つけ
るための探索問合せを入力するものと仮定する。ユーザ
は以下の問合せのいずれかを入力することができる。 「トラ（ｔｉｇｅｒｓ）」 「トラの写真（ｔｉｇｅｒ ｐｉｃｔｕｒｅｓ）」 「トラの写真を見つける（Ｆｉｎｄ ｐｉｃｔｕｒｅｓ
ｏｆ ｔｉｇｅｒｓ）」 「トラのイメージを探しています（Ｉ’ｍ ｌｏｏｋｉ
ｎｇ ｆｏｒ ｉｍａｇｅｓ ｏｆ ｔｉｇｅｒ
ｓ．）」
テム１４０は、ユーザインターフェース２００を介して
ユーザによって提出された最初の問合せを受信する。ユ
ーザが、「トラ（ｔｉｇｅｒｓ）」のイメージを見つけ
るための探索問合せを入力するものと仮定する。ユーザ
は以下の問合せのいずれかを入力することができる。 「トラ（ｔｉｇｅｒｓ）」 「トラの写真（ｔｉｇｅｒ ｐｉｃｔｕｒｅｓ）」 「トラの写真を見つける（Ｆｉｎｄ ｐｉｃｔｕｒｅｓ
ｏｆ ｔｉｇｅｒｓ）」 「トラのイメージを探しています（Ｉ’ｍ ｌｏｏｋｉ
ｎｇ ｆｏｒ ｉｍａｇｅｓ ｏｆ ｔｉｇｅｒ
ｓ．）」
【００５１】論理ブロック４０４で、問合せハンドラ１
５０は、ユーザの問合せを解析して１つまたは複数のキ
ーワードを抽出する。この例では、どの問合せからでも
キーワード「トラ」を抽出することができる。「写真」
や「イメージ」など他の語を抽出することもできるが、
例示の都合上、キーワード「トラ」に焦点を当てる。
５０は、ユーザの問合せを解析して１つまたは複数のキ
ーワードを抽出する。この例では、どの問合せからでも
キーワード「トラ」を抽出することができる。「写真」
や「イメージ」など他の語を抽出することもできるが、
例示の都合上、キーワード「トラ」に焦点を当てる。
【００５２】論理ブロック４０６で、イメージ検索シス
テム１４０は、イメージデータベース１４２を探索し、
キーワード「トラ」が注釈として付加されたイメージを
識別する。システムは類似する語（たとえば、猫、動物
など）を同時に探索することもできる。このキーワード
とのリンク関連付けを有するイメージがデータベース内
にある場合（すなわち、論理ブロック４０８の「ｙｅ
ｓ」分岐）、これらのイメージが結果セットに入れられ
る（論理ブロック４１０）。次いで、結果セット内のイ
メージが、意味ネットワーク内のキーワード−イメージ
リンクに割り当てられた重みにしたがってランク付けさ
れる（論理ブロック４１２）。フィーチャ意味マッチャ
１５２は、キーワードに一致する１組のイメージを識別
した後、結果セット内の低レベルフィーチャに類似した
低レベルフィーチャを有する他のイメージを見つけるこ
とを試みることもできる（論理ブロック４１４）。次い
で、あらゆるこのようなイメージが結果セットに追加さ
れる。次いで、拡張された結果セットがユーザインター
フェース２００を介してユーザに表示される（論理ブロ
ック４１６）。
テム１４０は、イメージデータベース１４２を探索し、
キーワード「トラ」が注釈として付加されたイメージを
識別する。システムは類似する語（たとえば、猫、動物
など）を同時に探索することもできる。このキーワード
とのリンク関連付けを有するイメージがデータベース内
にある場合（すなわち、論理ブロック４０８の「ｙｅ
ｓ」分岐）、これらのイメージが結果セットに入れられ
る（論理ブロック４１０）。次いで、結果セット内のイ
メージが、意味ネットワーク内のキーワード−イメージ
リンクに割り当てられた重みにしたがってランク付けさ
れる（論理ブロック４１２）。フィーチャ意味マッチャ
１５２は、キーワードに一致する１組のイメージを識別
した後、結果セット内の低レベルフィーチャに類似した
低レベルフィーチャを有する他のイメージを見つけるこ
とを試みることもできる（論理ブロック４１４）。次い
で、あらゆるこのようなイメージが結果セットに追加さ
れる。次いで、拡張された結果セットがユーザインター
フェース２００を介してユーザに表示される（論理ブロ
ック４１６）。
【００５３】このような追加のイメージが最初の結果セ
ット内の他のイメージに類似している可能性があり、そ
れに対して、低レベルフィーチャの比較を介して発見さ
れるあるイメージが探索キーワードとの関係を有さない
可能性があることに留意されたい。すなわち、演算４１
４は、トラを含む他のイメージの色またはテクスチャに
類似しているが、イメージ中のどこにもトラが示されて
いないイメージを返す可能性がある。
ット内の他のイメージに類似している可能性があり、そ
れに対して、低レベルフィーチャの比較を介して発見さ
れるあるイメージが探索キーワードとの関係を有さない
可能性があることに留意されたい。すなわち、演算４１
４は、トラを含む他のイメージの色またはテクスチャに
類似しているが、イメージ中のどこにもトラが示されて
いないイメージを返す可能性がある。
【００５４】論理ブロック４０８に戻るとわかるよう
に、最初のキーワード探索でイメージが見つからなかっ
た場合（すなわち、論理ブロック４０８からの「ｎｏ」
分岐）、イメージ検索システム１４０は概念階層の第１
レベルでイメージを検索する（論理ブロック４２０）。
これらのイメージは、階層内の１つまたは複数のカテゴ
リから無作為に選択することができる。イメージは、可
能なイメージ例を示すようにユーザに対して表示される
（論理ブロック４２２）。
に、最初のキーワード探索でイメージが見つからなかっ
た場合（すなわち、論理ブロック４０８からの「ｎｏ」
分岐）、イメージ検索システム１４０は概念階層の第１
レベルでイメージを検索する（論理ブロック４２０）。
これらのイメージは、階層内の１つまたは複数のカテゴ
リから無作為に選択することができる。イメージは、可
能なイメージ例を示すようにユーザに対して表示される
（論理ブロック４２２）。
【００５５】最初の問合せの後、イメージ検索システム
１４０は、結果およびユーザフィードバックを使用して
探索を修正し検索モデルを訓練することができる。修正
学習プロセスは図５に示されている。
１４０は、結果およびユーザフィードバックを使用して
探索を修正し検索モデルを訓練することができる。修正
学習プロセスは図５に示されている。
【００５６】論理ブロック５０２で、フィードバックア
ナライザ１５４は結果セット内のイメージに対するユー
ザフィードバックを監視する。ユーザは、１つまたは複
数のイメージを探索問合せに関連するイメージとしてマ
ーク付けするか、あるいはその他の方法で示すことがで
きる。これは、たとえば、ユーザが各イメージを評価
し、イメージに関連付けされた肯定マークまたは否定マ
ークを（たとえば、ポイントアンドクリック操作によっ
て）活動化するユーザインターフェース機構を通して行
うことができる。肯定マークは、イメージと探索の関連
性がより高いことを示し、それに対して、否定マーク
は、イメージと探索の関連性がより低いか、あるいはま
ったくないことを示す。
ナライザ１５４は結果セット内のイメージに対するユー
ザフィードバックを監視する。ユーザは、１つまたは複
数のイメージを探索問合せに関連するイメージとしてマ
ーク付けするか、あるいはその他の方法で示すことがで
きる。これは、たとえば、ユーザが各イメージを評価
し、イメージに関連付けされた肯定マークまたは否定マ
ークを（たとえば、ポイントアンドクリック操作によっ
て）活動化するユーザインターフェース機構を通して行
うことができる。肯定マークは、イメージと探索の関連
性がより高いことを示し、それに対して、否定マーク
は、イメージと探索の関連性がより低いか、あるいはま
ったくないことを示す。
【００５７】これらの結果から、ユーザは、問合せに関
連するものとみなされるあるイメージを見つけ、それら
のイメージを選択して所望のセットを生成する（すなわ
ち、論理ブロック５０４からの「ｙｅｓ」分岐）。この
状況では、最初の問合せ中のキーワードは、ユーザが選
択したイメージに関連付けされ、この関連付けリンクに
大きな重みが割り当てられる（論理ブロック５０６）。
このリンクに大きな重みが割り当てられるのは、高レベ
ルキーワードを使用してイメージが識別されるときに探
索が正確になることがより強く確信されるからである。
一実施態様では、このような重みは付加的なものであ
る。したがって、初期のリンクには関連性を示す値
「１」が割り当てられる。その後、キーワードが探索を
介してイメージに関連付けされた場合は、重みを「１」
だけ増分することができ、それによって時間の経過と共
に重みの強度が増していく。
連するものとみなされるあるイメージを見つけ、それら
のイメージを選択して所望のセットを生成する（すなわ
ち、論理ブロック５０４からの「ｙｅｓ」分岐）。この
状況では、最初の問合せ中のキーワードは、ユーザが選
択したイメージに関連付けされ、この関連付けリンクに
大きな重みが割り当てられる（論理ブロック５０６）。
このリンクに大きな重みが割り当てられるのは、高レベ
ルキーワードを使用してイメージが識別されるときに探
索が正確になることがより強く確信されるからである。
一実施態様では、このような重みは付加的なものであ
る。したがって、初期のリンクには関連性を示す値
「１」が割り当てられる。その後、キーワードが探索を
介してイメージに関連付けされた場合は、重みを「１」
だけ増分することができ、それによって時間の経過と共
に重みの強度が増していく。
【００５８】論理ブロック５０８で、これらのイメージ
と相関された互いに類似した低レベルフィーチャは、フ
ィーチャ空間内でより近くにあるものと認識される。次
いで、後続の探索に関して、システムは、同じキーワー
ドが与えられた場合、あるイメージに対するユーザの意
図をより適切に理解する。
と相関された互いに類似した低レベルフィーチャは、フ
ィーチャ空間内でより近くにあるものと認識される。次
いで、後続の探索に関して、システムは、同じキーワー
ドが与えられた場合、あるイメージに対するユーザの意
図をより適切に理解する。
【００５９】ユーザは、探索問合せに関連する１組のイ
メージを見つけられない場合（すなわち、論理ブロック
５０４からの「ｎｏ」分岐）、イメージ例を選択し、探
索を修正し、選択されたイメージのフィーチャに類似し
たフィーチャを有する他のイメージを見つける（論理ブ
ロック５１０）。イメージ例が選択されると（すなわ
ち、論理ブロック５１０からの「ｙｅｓ」分岐）、最初
の問合せ中のキーワードが、ユーザが選択したイメージ
に関連付けされ、この関連付けリンクに小さな重みが割
り当てられる（論理ブロック５１２）。このリンクに小
さな重みが割り当てられるのは、キーワードの一致から
得られる結果と同程度に正確な結果が低レベルのイメー
ジ類似性によって得られることがそれほど確信できない
からである。
メージを見つけられない場合（すなわち、論理ブロック
５０４からの「ｎｏ」分岐）、イメージ例を選択し、探
索を修正し、選択されたイメージのフィーチャに類似し
たフィーチャを有する他のイメージを見つける（論理ブ
ロック５１０）。イメージ例が選択されると（すなわ
ち、論理ブロック５１０からの「ｙｅｓ」分岐）、最初
の問合せ中のキーワードが、ユーザが選択したイメージ
に関連付けされ、この関連付けリンクに小さな重みが割
り当てられる（論理ブロック５１２）。このリンクに小
さな重みが割り当てられるのは、キーワードの一致から
得られる結果と同程度に正確な結果が低レベルのイメー
ジ類似性によって得られることがそれほど確信できない
からである。
【００６０】ユーザが修正のためにイメージ例を選択し
たことに応答して、問合せハンドラ１５０は次のレベル
の概念階層で他の代表的なイメージを見つけることを試
みる（論理ブロック５１４）。フィーチャ意味マッチャ
１５２も、ユーザによって選択されたイメージ例に類似
した低レベルフィーチャを有するイメージを見つけるこ
とを試みる（論理ブロック５１６）。次いで、結果とし
て得られたイメージの組がユーザに表示される（論理ブ
ロック５１８）。
たことに応答して、問合せハンドラ１５０は次のレベル
の概念階層で他の代表的なイメージを見つけることを試
みる（論理ブロック５１４）。フィーチャ意味マッチャ
１５２も、ユーザによって選択されたイメージ例に類似
した低レベルフィーチャを有するイメージを見つけるこ
とを試みる（論理ブロック５１６）。次いで、結果とし
て得られたイメージの組がユーザに表示される（論理ブ
ロック５１８）。
【００６１】論理ブロック５２０は、最初の問合せが関
連するイメージを返さず、しかも、ユーザが探索を修正
するためのイメージを見つけられなかった状況に関する
論理ブロックである。この状況では、イメージ検索シス
テムは、単にデータベース内のイメージを一度に１ペー
ジずつ出力し、ユーザに、関連するイメージをブラウジ
ングさせ、システムにフィードバックすべきイメージを
選択させる。
連するイメージを返さず、しかも、ユーザが探索を修正
するためのイメージを見つけられなかった状況に関する
論理ブロックである。この状況では、イメージ検索シス
テムは、単にデータベース内のイメージを一度に１ペー
ジずつ出力し、ユーザに、関連するイメージをブラウジ
ングさせ、システムにフィードバックすべきイメージを
選択させる。
【００６２】ユーザインターフェース イメージ検索システム１４０は、３つのユーザ対話モー
ド、すなわち、キーワードベースの探索、イメージ例に
よる探索、および定義済みの概念階層を使用したイメー
ジデータベースのブラウジングをサポートする。ユーザ
インターフェース２００はこの３つのモードに対処す
る。
ド、すなわち、キーワードベースの探索、イメージ例に
よる探索、および定義済みの概念階層を使用したイメー
ジデータベースのブラウジングをサポートする。ユーザ
インターフェース２００はこの３つのモードに対処す
る。
【００６３】図６は、最初の問合せを入力するためにユ
ーザインターフェース２００によって表示される問合せ
画面６００の例を示している。画面ディスプレイ６００
は、ユーザがキーワードまたは句を入力することを可能
にする自然言語テキスト入力領域６０２を表示する。ユ
ーザは、１つまたは複数のキーワードを入力した後、関
連するイメージの探索を開始するボタン６０４を作動さ
せる。あるいは、ユーザは、問合せ画面６００のセクシ
ョン６０６にリストされたカテゴリのうちの１つを選択
することによって定義済みの概念階層をブラウジングす
ることができる。ユーザは、カテゴリリンクを作動さ
せ、カテゴリ内でのイメージの探索を開始する。
ーザインターフェース２００によって表示される問合せ
画面６００の例を示している。画面ディスプレイ６００
は、ユーザがキーワードまたは句を入力することを可能
にする自然言語テキスト入力領域６０２を表示する。ユ
ーザは、１つまたは複数のキーワードを入力した後、関
連するイメージの探索を開始するボタン６０４を作動さ
せる。あるいは、ユーザは、問合せ画面６００のセクシ
ョン６０６にリストされたカテゴリのうちの１つを選択
することによって定義済みの概念階層をブラウジングす
ることができる。ユーザは、カテゴリリンクを作動さ
せ、カテゴリ内でのイメージの探索を開始する。
【００６４】キーワードまたはコンテントベースのイメ
ージ検索の結果は次の画面に表示される。議論の都合
上、ユーザが問合せ画面６００のテキスト入力領域６０
２にキーワード「トラ（ｔｉｇｅｒ）」を入力するもの
と仮定する。
ージ検索の結果は次の画面に表示される。議論の都合
上、ユーザが問合せ画面６００のテキスト入力領域６０
２にキーワード「トラ（ｔｉｇｅｒ）」を入力するもの
と仮定する。
【００６５】図７は、キーワード「トラ（ｔｉｇｅ
ｒ）」が入力されたことに応答して表示される結果画面
例７００を示している。ディスプレイサイズに応じて、
１つまたは複数のイメージが結果画面７００に表示され
る。ここでは、一度に６つのイメージ７０２（１）〜７
０２（６）が一度に表示される。同時に表示できる数よ
りも多くのイメージがあある場合、ナビゲーション「次
（Ｎｅｘｔ）」および「前（Ｐｒｅｖ）」ボタン７０４
が表示され、結果セット内の他のイメージをブラウジン
グすることが可能になる。
ｒ）」が入力されたことに応答して表示される結果画面
例７００を示している。ディスプレイサイズに応じて、
１つまたは複数のイメージが結果画面７００に表示され
る。ここでは、一度に６つのイメージ７０２（１）〜７
０２（６）が一度に表示される。同時に表示できる数よ
りも多くのイメージがあある場合、ナビゲーション「次
（Ｎｅｘｔ）」および「前（Ｐｒｅｖ）」ボタン７０４
が表示され、結果セット内の他のイメージをブラウジン
グすることが可能になる。
【００６６】ユーザインターフェースによって、ユーザ
は、イメージをブラウジングする際に関連性情報をフィ
ードバックすることができる。各イメージはいくつかの
フィードバックオプションを有する。たとえば、各イメ
ージは、イメージが見やすくなるようにユーザがイメー
ジを拡大できるようにする「ビュー（Ｖｉｅｗ）」リン
ク７０６を有する。「類似（Ｓｉｍｉｌａｒ）」リンク
７０８を活動化すると、対応するイメージに類似した意
味コンテントと類似した低レベルフィーチャの両方を含
むイメージに対する後続の問合せが開始される。この修
正された探索は次の画面に表示される。
は、イメージをブラウジングする際に関連性情報をフィ
ードバックすることができる。各イメージはいくつかの
フィードバックオプションを有する。たとえば、各イメ
ージは、イメージが見やすくなるようにユーザがイメー
ジを拡大できるようにする「ビュー（Ｖｉｅｗ）」リン
ク７０６を有する。「類似（Ｓｉｍｉｌａｒ）」リンク
７０８を活動化すると、対応するイメージに類似した意
味コンテントと類似した低レベルフィーチャの両方を含
むイメージに対する後続の問合せが開始される。この修
正された探索は次の画面に表示される。
【００６７】さらに、各イメージは、ユーザによって個
別に選択できる肯定的な関連性マークと否定的な関連性
マークの両方を有する。これらの関連性マークによっ
て、ユーザは、探索問合せとの関連性がより高いのはど
のイメージで、関連性がより低いのはどのイメージかを
イメージごとに示すことができる。このようなマークの
例には「＋」と「−」の組合せ、または「承認（ｔｈｕ
ｍｂｓ ｕｐ）」と「拒絶（ｔｈｕｍｂｓ ｄｏｗ
ｎ）」、または背景色の変更（たとえば、赤色は関連性
がより低いことを意味し、青色は関連性がより高いこと
を意味する）。
別に選択できる肯定的な関連性マークと否定的な関連性
マークの両方を有する。これらの関連性マークによっ
て、ユーザは、探索問合せとの関連性がより高いのはど
のイメージで、関連性がより低いのはどのイメージかを
イメージごとに示すことができる。このようなマークの
例には「＋」と「−」の組合せ、または「承認（ｔｈｕ
ｍｂｓ ｕｐ）」と「拒絶（ｔｈｕｍｂｓ ｄｏｗ
ｎ）」、または背景色の変更（たとえば、赤色は関連性
がより低いことを意味し、青色は関連性がより高いこと
を意味する）。
【００６８】図７で、イメージ７０２（１）、７０２
（２）、および７０２（５）は青色の背景でマーク付け
されており、これらのイメージが実際にトラを表してい
るという肯定的な一致を示している。イメージ７０２
（４）および７０２（６）は赤色の背景を有し、これら
のイメージが問合せの「トラ」に一致しないことを示し
ている。これらのイメージがヒョウを含み、トラを含ま
ないことに留意されたい。最後に、イメージ７０２
（３）は勾配背景（ｇｒａｄｉｅｎｔ ｂａｃｋｇｒｏ
ｕｎｄ）を有し（肯定的でも否定的でもない）、関連性
フィードバックでは検討されない。このイメージは、基
本的にトラとの関連性を有さないオオカミを表示してい
る。
（２）、および７０２（５）は青色の背景でマーク付け
されており、これらのイメージが実際にトラを表してい
るという肯定的な一致を示している。イメージ７０２
（４）および７０２（６）は赤色の背景を有し、これら
のイメージが問合せの「トラ」に一致しないことを示し
ている。これらのイメージがヒョウを含み、トラを含ま
ないことに留意されたい。最後に、イメージ７０２
（３）は勾配背景（ｇｒａｄｉｅｎｔ ｂａｃｋｇｒｏ
ｕｎｄ）を有し（肯定的でも否定的でもない）、関連性
フィードバックでは検討されない。このイメージは、基
本的にトラとの関連性を有さないオオカミを表示してい
る。
【００６９】ユーザは、関連するフィードバックを与え
た後、「フィードバック」ボタン７１０を作動させ、フ
ィードバックをフィードバックアナライザ１５４に提出
する。この点で学習が開始し、将来の問合せのためにイ
メージ検索プロセスが改善される。
た後、「フィードバック」ボタン７１０を作動させ、フ
ィードバックをフィードバックアナライザ１５４に提出
する。この点で学習が開始し、将来の問合せのためにイ
メージ検索プロセスが改善される。
【００７０】統合された関連性フィードバックフレーム
ワーク この節では、意味ベースの関連性フィードバックを低レ
ベルフィーチャベースの関連性フィードバックと統合す
る例示的な実施態様について説明する。意味ベースの関
連性フィードバックは、低レベルフィーチャベースの関
連性フィードバックと比べて比較的容易に実行すること
ができる。意味ベースの関連性フィードバックの１つの
例示的な実施態様についてまず説明し、次いで、このフ
ィードバックをどのようにフィーチャベースの関連フィ
ードバックと統合するかについて説明する。
ワーク この節では、意味ベースの関連性フィードバックを低レ
ベルフィーチャベースの関連性フィードバックと統合す
る例示的な実施態様について説明する。意味ベースの関
連性フィードバックは、低レベルフィーチャベースの関
連性フィードバックと比べて比較的容易に実行すること
ができる。意味ベースの関連性フィードバックの１つの
例示的な実施態様についてまず説明し、次いで、このフ
ィードバックをどのようにフィーチャベースの関連フィ
ードバックと統合するかについて説明する。
【００７１】意味ベースの関連性フィードバックの場
合、意味ネットワーク３００（図３）内の各リンクに関
連付けされた重みｗｉｊを更新するために投票方式が使
用される。この重み更新プロセスについて以下に説明す
る。
合、意味ネットワーク３００（図３）内の各リンクに関
連付けされた重みｗｉｊを更新するために投票方式が使
用される。この重み更新プロセスについて以下に説明す
る。
【００７２】ステップ１：すべての重みｗｉｊを１に初
期設定する。すなわち、最初はあらゆるキーワードに同
じ重要性が与えられる。
期設定する。すなわち、最初はあらゆるキーワードに同
じ重要性が与えられる。
【００７３】ステップ２：ユーザの問合せと、肯定的お
よび否定的なフィードバック例を収集する。
よび否定的なフィードバック例を収集する。
【００７４】ステップ３：入力された問合せ中の各キー
ワードについて、キーワードデータベースにないものが
あるか否かを検査する。そうである場合、リンクを作成
せずにデータベースにそのキーワードを追加する。
ワードについて、キーワードデータベースにないものが
あるか否かを検査する。そうである場合、リンクを作成
せずにデータベースにそのキーワードを追加する。
【００７５】ステップ４：それぞれの肯定的な各例につ
いて、それにリンクされていない問合せキーワードがあ
るか否かを検査する。そうである場合、欠落している各
キーワードからこのイメージへの重み「１」を有するリ
ンクを作成する。すでにこのイメージにリンクされてい
る他のすべてのキーワードについて、重みを「１」だけ
増分する。
いて、それにリンクされていない問合せキーワードがあ
るか否かを検査する。そうである場合、欠落している各
キーワードからこのイメージへの重み「１」を有するリ
ンクを作成する。すでにこのイメージにリンクされてい
る他のすべてのキーワードについて、重みを「１」だけ
増分する。
【００７６】ステップ５：それぞれの肯定的な例につい
て、それに問合せキーワードがリンクされているか否か
を検査する。そうである場合、新しい重みｗｉｊ＝ｗ
ｉｊ／４を設定する。あるリンクに対する重みｗｉｊが
１よりも小さい場合、そのリンクを削除する。
て、それに問合せキーワードがリンクされているか否か
を検査する。そうである場合、新しい重みｗｉｊ＝ｗ
ｉｊ／４を設定する。あるリンクに対する重みｗｉｊが
１よりも小さい場合、そのリンクを削除する。
【００７７】当然のことながら、入力される問合せの数
が増えるにつれて、システムはその語彙を拡張すること
ができる。また、この投票プロセスにより、各イメージ
の実際の意味コンテントを表すキーワードにより大きな
重みが割り当てられる。しかし、上記の重み更新方式が
多数の合理的な方式のうちの１つに過ぎないことに留意
されたい。
が増えるにつれて、システムはその語彙を拡張すること
ができる。また、この投票プロセスにより、各イメージ
の実際の意味コンテントを表すキーワードにより大きな
重みが割り当てられる。しかし、上記の重み更新方式が
多数の合理的な方式のうちの１つに過ぎないことに留意
されたい。
【００７８】前述のように、各キーワード−イメージリ
ンク上に関連付けされた重みｗｉｊは、このキーワード
が、リンクされたイメージの意味コンテントを表す関連
度を表す。検索に関する他の問題は、データベース内の
多数のイメージに関連付けされたあるキーワードを有す
ることを避けるにはどうすればよいかということであ
る。多数のイメージへの多数のリンクを有するキーワー
ドにペナルティを課すべきである。したがって、ｋ番目
のキーワード関連付けの関連性係数ｒｋは以下のように
算出される。
ンク上に関連付けされた重みｗｉｊは、このキーワード
が、リンクされたイメージの意味コンテントを表す関連
度を表す。検索に関する他の問題は、データベース内の
多数のイメージに関連付けされたあるキーワードを有す
ることを避けるにはどうすればよいかということであ
る。多数のイメージへの多数のリンクを有するキーワー
ドにペナルティを課すべきである。したがって、ｋ番目
のキーワード関連付けの関連性係数ｒｋは以下のように
算出される。
【００７９】
【数２】
【００８０】上式で、Ｍはデータベース内のイメージの
総数であり、ｗｋは、ｍ＝ｉの場合はｗｍｎで、その他
の場合は０であり、ｄｉはｉ番目のキーワードが有する
リンクの数である。
総数であり、ｗｋは、ｍ＝ｉの場合はｗｍｎで、その他
の場合は０であり、ｄｉはｉ番目のキーワードが有する
リンクの数である。
【００８１】次に、上記の意味ベースの関連性フィード
バックをフィーチャベースの関連性フィードバックと統
合する必要がある。フィーチャｉの理想的な問合せベク
トルｑｉ ＊が、次式によって与えられるフィーチャｉの
訓練サンプルの重み付き平均であることが以前の研究
（Ｒｕｉ，Ｙ．、Ｈｕａｎｇ，Ｔ．Ｓ．著「Ａ Ｎｏｖ
ｅｌ Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ Ｔｅｃ
ｈｎｉｑｕｅ ｉｎ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａ
ｌ」（ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ、１９９９年参
照）で知られている。
バックをフィーチャベースの関連性フィードバックと統
合する必要がある。フィーチャｉの理想的な問合せベク
トルｑｉ ＊が、次式によって与えられるフィーチャｉの
訓練サンプルの重み付き平均であることが以前の研究
（Ｒｕｉ，Ｙ．、Ｈｕａｎｇ，Ｔ．Ｓ．著「Ａ Ｎｏｖ
ｅｌ Ｒｅｌｅｖａｎｃｅ Ｆｅｅｄｂａｃｋ Ｔｅｃ
ｈｎｉｑｕｅ ｉｎ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａ
ｌ」（ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ、１９９９年参
照）で知られている。
【００８２】
【数３】
【００８３】上式で、Ｘｉは、Ｎ個の訓練ベクトルｘ
ｎｉを積み重ねて行列を得ることによって得られるフィ
ーチャｉのＮ×Ｋｉ訓練サンプル行列であり、Ｎは、Ｎ
個の入力訓練サンプルのそれぞれの関連度を表わす要素
ベクトルπ＝［π１，．．．π Ｎ］である。最適な重み
行列Ｗ１ ＊は次式によって与えられる。
ｎｉを積み重ねて行列を得ることによって得られるフィ
ーチャｉのＮ×Ｋｉ訓練サンプル行列であり、Ｎは、Ｎ
個の入力訓練サンプルのそれぞれの関連度を表わす要素
ベクトルπ＝［π１，．．．π Ｎ］である。最適な重み
行列Ｗ１ ＊は次式によって与えられる。
【００８４】
【数４】
【００８５】上式で、Ｃｉは、Ｘｉの重み付き共分散行
列である。すなわち、次式が成立する。
列である。すなわち、次式が成立する。
【００８６】
【数５】
【００８７】システムへの重要な入力はｘｎｉおよびπ
である。最初、ユーザはこれらのデータをシステムに入
力する。しかし、システムにこの最初のデータを自動的
に供給することによって、この第１のステップをなくす
ことができる。これは、入力された問合せに現われたキ
ーワードを意味ネットワークで検索することによって行
われる。システムは、これらのキーワードから、リンク
にしたがって１組の訓練イメージ（ｔｒａｉｎ ｉｍａ
ｇｅ）を得る（重複するイメージは除去される）。ベク
トルｘｎｉは訓練セットから容易に算出することができ
る。関連度ベクトルπは以下のように算出される。
である。最初、ユーザはこれらのデータをシステムに入
力する。しかし、システムにこの最初のデータを自動的
に供給することによって、この第１のステップをなくす
ことができる。これは、入力された問合せに現われたキ
ーワードを意味ネットワークで検索することによって行
われる。システムは、これらのキーワードから、リンク
にしたがって１組の訓練イメージ（ｔｒａｉｎ ｉｍａ
ｇｅ）を得る（重複するイメージは除去される）。ベク
トルｘｎｉは訓練セットから容易に算出することができ
る。関連度ベクトルπは以下のように算出される。
【００８８】
【数６】
【００８９】上式で、Ｍは訓練イメージｉにリンクされ
た問合せキーワードの数であり、ｒ ｊｋは、イメージｉ
に関連付けされたｊ番目のキーワードの関連性係数であ
り、α＞１は適切な定数である。ｉ番目のイメージの関
連度は、そのイメージにリンクされた問合せキーワード
の数と共に指数関数的に増加する。一実施態様では、実
験的に求められた設定値α＝２．５で最良の結果が得ら
れた。
た問合せキーワードの数であり、ｒ ｊｋは、イメージｉ
に関連付けされたｊ番目のキーワードの関連性係数であ
り、α＞１は適切な定数である。ｉ番目のイメージの関
連度は、そのイメージにリンクされた問合せキーワード
の数と共に指数関数的に増加する。一実施態様では、実
験的に求められた設定値α＝２．５で最良の結果が得ら
れた。
【００９０】低レベルフィーチャベースのフィードバッ
クおよびランキング結果を高レベル意味フィードバック
およびランキングに組み込むために、意味と低レベルフ
ィーチャコンテントとの両方に関してイメージデータベ
ース内の任意のイメージｊの関連性を測定する統一距離
関数（ｕｎｉｆｉｅｄ ｄｉｓｔａｎｃｅ ｍｅｔｒｉ
ｃ ｆｕｎｃｔｉｏｎ）Ｇｊが定義される。関数Ｇ
ｊは、以下のようにＲｏｃｃｈｉｏの公式（数式（１）
参照）の修正形を使用して定義される。
クおよびランキング結果を高レベル意味フィードバック
およびランキングに組み込むために、意味と低レベルフ
ィーチャコンテントとの両方に関してイメージデータベ
ース内の任意のイメージｊの関連性を測定する統一距離
関数（ｕｎｉｆｉｅｄ ｄｉｓｔａｎｃｅ ｍｅｔｒｉ
ｃ ｆｕｎｃｔｉｏｎ）Ｇｊが定義される。関数Ｇ
ｊは、以下のようにＲｏｃｃｈｉｏの公式（数式（１）
参照）の修正形を使用して定義される。
【００９１】
【数７】
【００９２】上式で、Ｄｊは低レベルフィードバックに
よって算出された距離スコアであり、ＮＲおよびＮＮは
それぞれ、肯定的および否定的なフィードバックであ
り、Ｉ １は、イメージｊとすべての肯定的なフィードバ
ックイメージとに共通するそれぞれの異なるキーワード
の数であり、Ｉ２は、イメージｊとすべての否定的なフ
ィードバックイメージとに共通するそれぞれの異なるキ
ーワードの数であり、Ａ １およびＡ２はそれぞれ、すべ
ての肯定的および否定的なフィードバックイメージに関
連付けされたそれぞれの異なるキーワードの総数であ
り、最後にＳｉｊはイメージｉとイメージｊとの間の低
レベルフィーチャのユークリッド距離である。
よって算出された距離スコアであり、ＮＲおよびＮＮは
それぞれ、肯定的および否定的なフィードバックであ
り、Ｉ １は、イメージｊとすべての肯定的なフィードバ
ックイメージとに共通するそれぞれの異なるキーワード
の数であり、Ｉ２は、イメージｊとすべての否定的なフ
ィードバックイメージとに共通するそれぞれの異なるキ
ーワードの数であり、Ａ １およびＡ２はそれぞれ、すべ
ての肯定的および否定的なフィードバックイメージに関
連付けされたそれぞれの異なるキーワードの総数であ
り、最後にＳｉｊはイメージｉとイメージｊとの間の低
レベルフィーチャのユークリッド距離である。
【００９３】Ｒｉｃｃｈｉｏの公式中の第１のパラメー
タαは、ｊ番目のイメージの関連度の対数で置き換えら
れる。話を簡単にするために、他の２つのパラメータβ
およびγに値１．０を割り当てることができる。しか
し、最後の２つの項の間の重み付け差を強調するために
他の値を与えることができる。
タαは、ｊ番目のイメージの関連度の対数で置き換えら
れる。話を簡単にするために、他の２つのパラメータβ
およびγに値１．０を割り当てることができる。しか
し、最後の２つの項の間の重み付け差を強調するために
他の値を与えることができる。
【００９４】上述の方法を使用した場合、組み合わされ
た関連性フィードバックは以下のように与えられる。
た関連性フィードバックは以下のように与えられる。
【００９５】ステップ１：ユーザの問合せキーワードを
収集する。
収集する。
【００９６】ステップ２：上記の方法を使用してｘｎｉ
およびπを算出し、低レベルフィーチャ関連性フィード
バック構成要素に入力して最初の問合せ結果を得る。
およびπを算出し、低レベルフィーチャ関連性フィード
バック構成要素に入力して最初の問合せ結果を得る。
【００９７】ステップ３：肯定的および否定的なフィー
ドバックをユーザから収集する。
ドバックをユーザから収集する。
【００９８】ステップ４：本節の最初に説明した５ステ
ッププロセスにしたがって意味ネットワーク内の重み付
けを更新する。
ッププロセスにしたがって意味ネットワーク内の重み付
けを更新する。
【００９９】ステップ５：低レベルフィーチャベースの
構成要素の重みを更新する。
構成要素の重みを更新する。
【０１００】ステップ６：新しいｘｎｉおよびπを算出
し、低レベルフィードバック構成要素に入力する。ｘ
ｎｉの値は事前に前処理ステップで算出することができ
る。
し、低レベルフィードバック構成要素に入力する。ｘ
ｎｉの値は事前に前処理ステップで算出することができ
る。
【０１０１】ステップ７：数式７を使用して各イメージ
についてのランキングスコアを算出し、結果をソートす
る。
についてのランキングスコアを算出し、結果をソートす
る。
【０１０２】ステップ８：新しい結果を示しステップ３
に進む。
に進む。
【０１０３】イメージ検索システムは、ユーザのフィー
ドバックから意味的に学習すると共に、フィーチャに基
づいて学習するという点で従来技術のシステムと比べて
有利である。また、意味情報が得られない場合、プロセ
スは、上記で引用した「ＡＮｏｖｅｌ Ｒｅｌｅｖａｎ
ｃｅ Ｆｅｅｄｂａｃｋ Ｔｅｃｈｎｉｑｕｅ ｉｎ
Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ」でＲｕｉおよびＨｕ
ａｎｇが説明したような従来型のフィーチャベースの関
連性フィードバックに変化する。
ドバックから意味的に学習すると共に、フィーチャに基
づいて学習するという点で従来技術のシステムと比べて
有利である。また、意味情報が得られない場合、プロセ
スは、上記で引用した「ＡＮｏｖｅｌ Ｒｅｌｅｖａｎ
ｃｅ Ｆｅｅｄｂａｃｋ Ｔｅｃｈｎｉｑｕｅ ｉｎ
Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ」でＲｕｉおよびＨｕ
ａｎｇが説明したような従来型のフィーチャベースの関
連性フィードバックに変化する。
【０１０４】新しいイメージ登録 データベースに新しいイメージを追加することは、多数
の状況で非常に一般的な操作である。完全に低レベルイ
メージフィーチャに依存する検索システムの場合、新し
いイメージを追加する場合、単に１組の新しいイメージ
に関する種々のフィーチャベクトルが抽出される。しか
し、検索システムはキーワードを使用してイメージの意
味コンテントを表すので、新しいイメージの意味コンテ
ントに手動であるいは自動的にラベル付けする必要があ
る。本節では、自動ラベル付け技法について説明する。
の状況で非常に一般的な操作である。完全に低レベルイ
メージフィーチャに依存する検索システムの場合、新し
いイメージを追加する場合、単に１組の新しいイメージ
に関する種々のフィーチャベクトルが抽出される。しか
し、検索システムはキーワードを使用してイメージの意
味コンテントを表すので、新しいイメージの意味コンテ
ントに手動であるいは自動的にラベル付けする必要があ
る。本節では、自動ラベル付け技法について説明する。
【０１０５】自動ラベル付け技法では、低レベルフィー
チャを使用して新しいイメージの意味コンテントが推測
される。以下にプロセスの例を示す。
チャを使用して新しいイメージの意味コンテントが推測
される。以下にプロセスの例を示す。
【０１０６】ステップ１：データベース内の各カテゴリ
について、このカテゴリ内のすべてのイメージの重心を
判定することによって代表的なフィーチャベクトルを算
出する。
について、このカテゴリ内のすべてのイメージの重心を
判定することによって代表的なフィーチャベクトルを算
出する。
【０１０７】ステップ２：データベース内の各カテゴリ
について、このカテゴリの各イメージのキーワード関連
付けを調べることによって１組の代表的なキーワードを
見つける。組み合わされた重みが、すでに求められてい
るしきい値τを超えない、最大の重みを有する上からＮ
個のキーワードが選択され、代表的なキーワードのリス
トに追加される。しきい値τの値は総重みの４０％に設
定される。
について、このカテゴリの各イメージのキーワード関連
付けを調べることによって１組の代表的なキーワードを
見つける。組み合わされた重みが、すでに求められてい
るしきい値τを超えない、最大の重みを有する上からＮ
個のキーワードが選択され、代表的なキーワードのリス
トに追加される。しきい値τの値は総重みの４０％に設
定される。
【０１０８】ステップ３：新しい各イメージについて、
その低レベルフィーチャベクトルを各カテゴリの代表的
なフィーチャベクトルと比較する。各キーワードに対す
る最初の重みが１．０である、最も厳密に一致するカテ
ゴリにおける１組の代表的なキーワードで、イメージが
ラベル付けされる。
その低レベルフィーチャベクトルを各カテゴリの代表的
なフィーチャベクトルと比較する。各キーワードに対す
る最初の重みが１．０である、最も厳密に一致するカテ
ゴリにおける１組の代表的なキーワードで、イメージが
ラベル付けされる。
【０１０９】低レベルフィーチャはイメージの意味を表
すのに十分なものではないので、自動的にラベル付けさ
れたキーワードのいくつか、場合によってはそのすべて
が必然的に不正確である。しかし、ユーザの問合せおよ
びフィードバックによって、意味的に正確なキーワード
ラベルが現われ、それに対して、意味的に不正確なキー
ワードは徐々になくなっていく。
すのに十分なものではないので、自動的にラベル付けさ
れたキーワードのいくつか、場合によってはそのすべて
が必然的に不正確である。しかし、ユーザの問合せおよ
びフィードバックによって、意味的に正確なキーワード
ラベルが現われ、それに対して、意味的に不正確なキー
ワードは徐々になくなっていく。
【０１１０】新しいイメージの自動ラベル付けに関する
他の問題は、これらのイメージを定義済みのカテゴリに
自動的に分類するにはどうすればよいかということであ
る。この問題は以下のプロセスによって対処される。
他の問題は、これらのイメージを定義済みのカテゴリに
自動的に分類するにはどうすればよいかということであ
る。この問題は以下のプロセスによって対処される。
【０１１１】ステップ１：自動的にラベル付けされた新
しいイメージを特殊な「未知の」カテゴリに入れる。
しいイメージを特殊な「未知の」カテゴリに入れる。
【０１１２】ステップ２：定期的な間隔でこのカテゴリ
内のあらゆるイメージを検査し、しきい値ζよりも大き
な重みを受け取ったキーワード関連付けがあるか否かを
調べる。そうである場合、組み合わされた重みがしきい
値τを超えない上からＮ個のキーワードを抽出する。
内のあらゆるイメージを検査し、しきい値ζよりも大き
な重みを受け取ったキーワード関連付けがあるか否かを
調べる。そうである場合、組み合わされた重みがしきい
値τを超えない上からＮ個のキーワードを抽出する。
【０１１３】ステップ３：抽出されたキーワードを有す
る各イメージについて、抽出されたキーワードを各カテ
ゴリから得た代表的なキーワードのリストと比較する。
最も厳密に一致するカテゴリに各イメージを割り当て
る。利用可能なカテゴリのうちで、意味のある一致が得
られるカテゴリがない場合は、このイメージを「未知」
カテゴリに残す。
る各イメージについて、抽出されたキーワードを各カテ
ゴリから得た代表的なキーワードのリストと比較する。
最も厳密に一致するカテゴリに各イメージを割り当て
る。利用可能なカテゴリのうちで、意味のある一致が得
られるカテゴリがない場合は、このイメージを「未知」
カテゴリに残す。
【０１１４】上記のアルゴリズムのステップ３で使用さ
れるキーワードリスト比較関数は、いくつかの形をとる
ことができる。理想的な関数では、あるリスト内のキー
ワードと他のリストのキーワードとの意味関係が考慮さ
れる。しかし、作業を簡単にするために、クイック関数
では、抽出されたキーワードリストから得たキーワード
が代表的なキーワードのリストに存在するか否かが検査
されるに過ぎない。
れるキーワードリスト比較関数は、いくつかの形をとる
ことができる。理想的な関数では、あるリスト内のキー
ワードと他のリストのキーワードとの意味関係が考慮さ
れる。しかし、作業を簡単にするために、クイック関数
では、抽出されたキーワードリストから得たキーワード
が代表的なキーワードのリストに存在するか否かが検査
されるに過ぎない。
【０１１５】結論上記の説明では、構造上の特徴および
／または方法行為に特有の言葉が使用されたが、特許請
求の範囲で定義された発明が前述の特定の特徴または行
為に限らないことを理解されたい。むしろ、特定の特徴
および行為は、本発明を実施する例示的な形態として開
示されている。
／または方法行為に特有の言葉が使用されたが、特許請
求の範囲で定義された発明が前述の特定の特徴または行
為に限らないことを理解されたい。むしろ、特定の特徴
および行為は、本発明を実施する例示的な形態として開
示されている。
【０１１６】
【発明の効果】以上説明したように、本発明によれば、
関連性フィードバックを使用して、より改善されたイメ
ージ検索を行なうことができる。
関連性フィードバックを使用して、より改善されたイメ
ージ検索を行なうことができる。
【図１】１つまたは複数のクライアントコンピュータに
よってネットワークを介してアクセスできるイメージ検
索システムをサーバコンピュータが実現する例示的なコ
ンピュータネットワークのブロック図である。
よってネットワークを介してアクセスできるイメージ検
索システムをサーバコンピュータが実現する例示的なコ
ンピュータネットワークのブロック図である。
【図２】イメージ検索システムアーキテクチャのブロッ
ク図である。
ク図である。
【図３】キーワードとイメージの間の関係を表す意味ネ
ットワークを示す図である。
ットワークを示す図である。
【図４】ユーザが最初にイメージのキーワード問合せを
提出する初期問合せ処理プロセスの流れ図である。
提出する初期問合せ処理プロセスの流れ図である。
【図５】イメージが最初の問合せにどのように関連して
いるかについてのユーザのフィードバックからイメージ
検索システムが学習する改善および学習の流れ図であ
る。
いるかについてのユーザのフィードバックからイメージ
検索システムが学習する改善および学習の流れ図であ
る。
【図６】イメージ検索システム用のユーザインターフェ
ースの第１の画面ビューを示す図である。
ースの第１の画面ビューを示す図である。
【図７】イメージ検索システム用のユーザインターフェ
ースの第２の画面ビューを示す図である。
ースの第２の画面ビューを示す図である。
【符号の説明】 １００ コンピュータネットワークシステム １０２ クライアント １０４ サーバ １０６ ネットワーク １１０ プロセッサ １１２ 揮発性メモリ １１４ 不揮発性メモリ １１６ 入力装置 １１８ ディスプレイ １２０ ブラウザ １３０ プロセッサ １３２ 揮発性メモリ １３４ 不揮発性メモリ １３６ オペレーティングシステム １３９ プロセッサ １４０ イメージ検索システム １４２ イメージデータベース １５０ 問合せハンドラ １５２ フィーチャ意味マッチャ １５４ フィードバックアナライザ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ウェン−イン リュー 中華人民共和国 100089 ペキン 010 バ ゴウ ナン ルー ナンバー35 ワン チュアン シンシンジアヤン エー２−２ −202 (72)発明者 ホン−ジャン ザン 中華人民共和国 101300 ペキン キャピ タル パラダイス 2741 (72)発明者 イェ ルー カナダ ブイ５シー ３シー１ ブリティ ッシュコロンビア州 バーナビー パーカ ー ストリート 4168 Ｆターム(参考） 5B050 AA09 FA02 FA05 GA08 5B075 KK07 ND06 ND36 NK44 PP02 PP22 PP28 PQ36 PR06 UU06
Claims (41)
- 【請求項１】 問合せ中の少なくとも１つの問合せキー
ワードに基づいてイメージの探索を開始し、 前記問合せキーワードと一致する関連するキーワードを
有する第１のイメージと、該第１のイメージの低レベル
フィーチャと類似する低レベルフィーチャを含む第２の
イメージとを前記探索中に識別することを特徴とする方
法。 - 【請求項２】 さらに、前記第１のイメージおよび前記
第２のイメージをランク付けすることを特徴とする請求
項１に記載の方法。 - 【請求項３】 さらに、前記第１のイメージおよび前記
第２のイメージを表 示することを特徴とする請求項１に記載の方法。 - 【請求項４】 さらに、前記第１のイメージおよび前記
第２のイメージをユーザに表示し、 前記第１のイメージおよび前記第２のイメージのうちの
どちらが前記問合せに関連しているかに関する前記ユー
ザからのフィードバックを監視することを特徴とする請
求項１に記載の方法。 - 【請求項５】 さらに、前記第１のイメージおよび前記
第２のイメージをユーザに表示し、 前記第１のイメージおよび前記第２のイメージのうちの
どちらが前記問合せに関連しているかに関する前記ユー
ザからのフィードバックを受信し、 前記ユーザからのフィードバックに基づいて前記第１の
イメージおよび前記第２のイメージがどのように識別さ
れたかを学習することを特徴とする請求項１に記載の方
法。 - 【請求項６】 さらに、前記第１のイメージおよび前記
第２のイメージをユーザに表示し、 前記第１のイメージおよび前記第２のイメージのうちの
どちらが問合せに関連しているかに関する前記ユーザか
らのフィードバックを受信し、 前記ユーザによって前記問合せに関連するイメージとし
て示された前記イメージの低レベルフィーチャと類似す
る低レベルフィーチャを含む追加のイメージを識別する
ように前記探索を修正することを特徴とする請求項１に
記載の方法。 - 【請求項７】 さらに、前記第１のイメージおよび前記
第２のイメージをユーザに表示し、 前記第１のイメージおよび前記第２のイメージのうちの
どちらが問合せに関連しているかに関する前記ユーザか
らのフィードバックを受信し、 前記問合せキーワードと、前記ユーザによって関連する
イメージとみなされた前記イメージとの間の関連付けに
大きな重みを割り当てることを特徴とする請求項１に記
載の方法。 - 【請求項８】 さらに、前記ユーザによって関連するイ
メージとみなされた前記イメージの低レベルフィーチャ
をグループ化することを特徴とする請求項７に記載の方
法。 - 【請求項９】 さらに、前記第１のイメージおよび前記
第２のイメージをユーザに表示し、 前記探索を修正できるように、前記問合せとの関連性が
低いか、または前記問合せに関連していないイメージ例
を識別する前記ユーザからのフィードバックを受信し、 前記問合せキーワードと前記イメージ例との間の関連付
けに小さな重みを割り当てることを特徴とする請求項１
に記載の方法。 - 【請求項１０】 さらに、前記イメージ例の低レベルフ
ィーチャと類似する低レベルフィーチャを含む追加のイ
メージを識別することを特徴とする請求項９に記載の方
法。 - 【請求項１１】 プロセッサ上で実行されたときに、請
求項１に記載された方法を実行するコンピュータ実行可
能な命令を有することを特徴とするコンピュータ可読媒
体。 - 【請求項１２】 キーワードベースの問合せおよびコン
テントベースの問合せの両方の入力を可能にし、 意味ベースのイメージ検索と低レベルフィーチャベース
のイメージ検索とを共に使用して複数のイメージを見つ
け、 前記複数のイメージが互いに関連しているか否かをユー
ザが示すことができるように前記ユーザに前記イメージ
を表示し、 意味ベースの関連性フィードバックと低レベルフィーチ
ャベースの関連性フィードバックとを統合的に行うこと
を特徴とする方法。 - 【請求項１３】 さらに、前記イメージをランク付けす
ることを特徴とする請求項１２に記載の方法。 - 【請求項１４】 さらに、互いに関連するイメージとし
て示された複数のイメージを使用して追加のイメージを
見つけることを特徴とする請求項１２に記載の方法。 - 【請求項１５】 プロセッサ上で実行されたときに、請
求項１２に記載された方法を実行するコンピュータ実行
可能な命令を有することを特徴とするコンピュータ可読
媒体。 - 【請求項１６】 キーワードとイメージを関連付けてキ
ーワード−イメージリンクを形成し、 前記キーワード−イメージリンクに重みを割り当て、 問合せに基づいてイメージ検索から得られたイメージの
結果セットを表示し、 前記結果セット中のイメージが前記問合せに関連するか
否かを示すユーザからのフィードバックを受信し、 前記ユーザからのフィードバックにしたがって前記重み
を修正することを特徴とする方法。 - 【請求項１７】 前記修正する際に、前記ユーザによっ
て前記問合せとの関連がより強いとみなされたイメージ
に関する前記キーワード−イメージリンクの重みを増大
させることを特徴とする請求項１６に記載の方法。 - 【請求項１８】 前記修正する際に、前記ユーザによっ
て前記問合せとの関連がより弱いとみなされたイメージ
に関する前記キーワード−イメージリンクの重みを低減
させることを特徴とする請求項１６に記載の方法。 - 【請求項１９】 プロセッサ上で実行されたときに、請
求項１６に記載された方法を実行するコンピュータ実行
可能な命令を有することを特徴とするコンピュータ可読
媒体。 - 【請求項２０】 少なくとも１つのキーワードを有する
問合せのイメージ検索探査から返されたイメージの結果
セットを表示し、 前記結果セット内のイメージが前記問合せに関連するイ
メージであるか否かに関するユーザからのフィードバッ
クを監視し、 前記ユーザが、少なくとも１つのイメージを前記問合せ
に関連するイメージとして選択した場合に、前記問合せ
中のキーワードを前記選択されたイメージに関連付けて
第１のキーワード−イメージ関連付けを形成し、前記第
１のキーワード−イメージ関連付けに比較的大きな重み
を割り当て、 前記ユーザが、前記探索を改善するためにイメージ例を
識別した場合に、前記問合せ中のキーワードを前記イメ
ージ例に関連付けて第２のキーワード−イメージ関連付
けを形成し、前記第２のキーワード−イメージ関連付け
に比較的小さな重みを割り当てることを特徴とする方
法。 - 【請求項２１】 さらに、コンテントベースのイメージ
検索と意味ベースのイメージ検索の両方を実行すること
を特徴とする請求項２０に記載の方法。 - 【請求項２２】 さらに、どのイメージがより関連性が
高くどのイメージがより関連性が低いかをユーザが示せ
るようにすることによって、前記ユーザへのフィードバ
ックを容易にするユーザインターフェースに、前記イメ
ージの結果セットを表示することを特徴とする請求項２
０に記載の方法。 - 【請求項２３】 プロセッサ上で実行されたときに、請
求項２０に記載された方法を実行するコンピュータ実行
可能な命令を有することを特徴とするコンピュータ可読
媒体。 - 【請求項２４】 各カテゴリについて、該各カテゴリ内
の１組の既存のイメージの代表的なフィーチャベクトル
を算出し、 前記各カテゴリ内の既存のイメージに関連付けされた１
組の代表的なキーワードを判定し、 新しい各イメージについて、該新しいイメージの低レベ
ルフィーチャベクトルを前記各カテゴリ内の既存のイメ
ージの代表的なフィーチャベクトルと比較し、最も厳密
に一致するカテゴリを識別し、 最も厳密に一致する前記カテゴリに関連付けされた前記
１組の代表的なキーワードで前記新しいイメージにラベ
ル付けすることを特徴とする方法。 - 【請求項２５】 さらに、フィードバックを使用してキ
ーワードを前記新しいイメージに選択的に追加し、かつ
／または前記新しいイメージから削除することを特徴と
する請求項２４に記載の方法。 - 【請求項２６】 さらに、前記ラベル付けされた新しい
イメージを保持カテゴリに入れ、 前記保持カテゴリ内の前記ラベル付けされた新しいイメ
ージを評価し、前記ラベル付けされた新しいイメージに
関連付けされたキーワードのうちで、前記各カテゴリの
代表的なキーワードと一致するものがあるか否かを判定
し、 前記ラベル付けされた新しいイメージに関連付けされた
キーワードと最もよく一致するカテゴリに、前記ラベル
付けされた新しいイメージを割り当てることを特徴とす
る請求項２４に記載の方法。 - 【請求項２７】 １つまたは複数の探索キーワードを有
するキーワードベースの問合せ、および、イメージの１
つまたは複数の低レベルフィーチャを有するコンテント
ベースの問合せの両方を処理する問合せハンドラと、 （１）キーワードベースの問合せによる前記探索キーワ
ードと一致するキーワードを有する第１のイメージ、お
よび（２）コンテントベースの問合せの前記低レベルフ
ィーチャと類似する低レベルフィーチャを有する第２の
イメージを識別するフィーチャ意味マッチャとを備える
ことを特徴とするイメージ検索システム。 - 【請求項２８】 前記フィーチャ意味マッチャは前記イ
メージをランク付けすることを特徴とする請求項２７に
記載のイメージ検索システム。 - 【請求項２９】 前記問合せハンドラは自然言語パーサ
を備えることを特徴とする請求項２７に記載のイメージ
検索システム。 - 【請求項３０】 前記問合せハンドラは、 テキストベースの問合せを解析するパーサと、 前記イメージの種々のカテゴリを定義する概念階層と を備えることを特徴とする請求項２７に記載のイメージ
検索システム。 - 【請求項３１】 前記フィーチャ意味マッチャによって
識別されたイメージを表示するユーザインターフェース
をさらに備えることを特徴とする請求項２７に記載のイ
メージ検索システム。 - 【請求項３２】 前記フィーチャ意味マッチャによって
識別されたイメージを前記ユーザに表示し、前記イメー
ジが前記問合せに関連するイメージであるか否かを前記
ユーザが示せるようにするユーザインターフェースと、 関連性に関するユーザフィードバックに基づいて前記イ
メージ検索システムを訓練するフィードバックアナライ
ザとをさらに備えることを特徴とする請求項２７に記載
のイメージ検索システム。 - 【請求項３３】 前記フィーチャ意味マッチャによって
識別された前記イメージをユーザに表示し、イメージ例
を前記ユーザが識別できるようにするユーザインターフ
ェースをさらに備え、 前記フィーチャ意味マッチャは、前記イメージ例の低レ
ベルフィーチャと類似する低レベルフィーチャを含む追
加のイメージを識別するように構成されていることを特
徴とする請求項２７に記載のイメージ検索システム。 - 【請求項３４】 前記フィーチャ意味マッチャによって
識別されたイメージをユーザに表示し、特定の探索問合
せに関連するイメージを前記ユーザが識別できるように
するユーザインターフェースと、 前記探索キーワードと、前記ユーザによって関連するイ
メージとして識別されたイメージとの間の関連付けに大
きな重みを割り当てるフィードバックアナライザとをさ
らに備えることを特徴とする請求項２７に記載のイメー
ジ検索システム。 - 【請求項３５】 前記フィードバックアナライザは、前
記ユーザによって関連するイメージとして識別された前
記イメージの前記低レベルフィーチャをグループ分けす
ることを特徴とする請求項３４に記載のイメージ検索シ
ステム。 - 【請求項３６】 前記フィーチャ意味マッチャによって
識別されたイメージをユーザに表示し、前記イメージ例
が前記問合せにあまり関連しないかまたは無関連かを前
記ユーザが識別できるようにするユーザインターフェー
スと、前記探索キーワードと前記イメージ例との間の関
連付けに小さな重みを割り当てるフィードバックアナラ
イザとをさらに備えることを特徴とする請求項２７に記
載のイメージ検索システム。 - 【請求項３７】 前記フィーチャ意味マッチャは、前記
イメージ例の低レベルフィーチャと類似する低レベルフ
ィーチャを有する追加のイメージを識別することを特徴
とする請求項３６に記載のイメージ検索システム。 - 【請求項３８】 １つまたは複数のコンピュータ可読媒
体上に記憶されたデータベース構造であって、 複数のイメージファイルと、 複数のキーワードと、 前記キーワードを前記イメージファイルに関連付ける意
味ネットワークであって、特定のキーワードを特定のイ
メージファイルに関連付け、前記特定のキーワードが前
記特定のイメージファイルにどのように関連しているか
を示す重みをそれぞれが有する個々のキーワード−イメ
ージリンクを定義する意味ネットワークとを備えること
を特徴とするデータベース構造。 - 【請求項３９】 実行されたときに、コンピュータに対
し、 意味ベースのイメージ検索と低レベルフィーチャベース
のイメージ検索を共に使用して複数のイメージを見つ
け、 前記複数のイメージが互いに関連しているか否かをユー
ザが示せるように前記 ユーザに前記イメージを表示し、意味ベースの関連性フ
ィードバックおよび低レベルのフィーチャベースの関連
性フィードバックを同時に実行することを命令するコン
ピュータ実行可能な命令を有することを特徴とするコン
ピュータ可読媒体。 - 【請求項４０】 実行されたときに、コンピュータに前
記複数のイメージをランク付けするように命令するコン
ピュータ実行可能な命令をさらに備えることを特徴とす
る請求項３９に記載のコンピュータ可読媒体。 - 【請求項４１】 請求項３９のコンピュータ実行可能な
命令を備えることを特徴とするコンピュータ可読媒体上
で実現される情報検索プログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/702,292 US7099860B1 (en) | 2000-10-30 | 2000-10-30 | Image retrieval systems and methods with semantic and feature based relevance feedback |
| US09/702,292 | 2000-10-30 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007169625A Division JP4210311B2 (ja) | 2000-10-30 | 2007-06-27 | イメージ検索システムおよびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002197117A true JP2002197117A (ja) | 2002-07-12 |
| JP4108961B2 JP4108961B2 (ja) | 2008-06-25 |
Family
ID=24820616
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001333273A Expired - Lifetime JP4108961B2 (ja) | 2000-10-30 | 2001-10-30 | イメージ検索システムおよびその方法 |
| JP2007169625A Expired - Lifetime JP4210311B2 (ja) | 2000-10-30 | 2007-06-27 | イメージ検索システムおよびその方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007169625A Expired - Lifetime JP4210311B2 (ja) | 2000-10-30 | 2007-06-27 | イメージ検索システムおよびその方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (3) | US7099860B1 (ja) |
| EP (1) | EP1202187B1 (ja) |
| JP (2) | JP4108961B2 (ja) |
| AT (1) | ATE368897T1 (ja) |
| DE (1) | DE60129652T2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005251182A (ja) * | 2004-02-03 | 2005-09-15 | Sap Ag | データベース管理システムおよびデータベース管理方法 |
| JP2005354134A (ja) * | 2004-06-08 | 2005-12-22 | Sony Corp | 画像管理方法および装置、記録媒体、並びにプログラム |
| KR20070042064A (ko) * | 2005-10-17 | 2007-04-20 | 후지쯔 가부시끼가이샤 | 화상 표시 제어 장치 |
| US7274834B2 (en) * | 2003-05-21 | 2007-09-25 | Konica Minolta Holdings, Inc. | Searching device, searching method and program |
| KR100933269B1 (ko) * | 2007-11-13 | 2009-12-22 | 엔에이치엔(주) | 색상 키워드를 이용한 검색 방법 및 시스템 |
| JP2011507099A (ja) * | 2007-12-12 | 2011-03-03 | マイクロソフト コーポレーション | イメージ検索における対話型概念学習 |
| JP2011081819A (ja) * | 2010-11-08 | 2011-04-21 | Sony Corp | 画像管理方法および装置、記録媒体、並びにプログラム |
| JP2012532375A (ja) * | 2009-06-30 | 2012-12-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 内容に基づく画像検索についての関連性フィードバック |
| KR20140027173A (ko) * | 2011-03-23 | 2014-03-06 | 실로픽스 | 데이터베이스 내의 검색의 결과를 정제하는 방법 |
| JP2014059868A (ja) * | 2012-09-10 | 2014-04-03 | Boeing Co | 構造による文書のパノラマ的な視覚化 |
| KR101806169B1 (ko) * | 2016-07-25 | 2017-12-07 | 오드컨셉 주식회사 | 쇼핑 정보를 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램 |
| US11934452B1 (en) | 2022-10-31 | 2024-03-19 | Adobe Inc. | Text-based color palette searches utilizing text-to-color models |
Families Citing this family (263)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0857633A (ja) * | 1994-08-23 | 1996-03-05 | Atsushi Yagihashi | 半田ゴテのコテ先 |
| JPH0957436A (ja) * | 1995-08-21 | 1997-03-04 | Saitama Nippon Denki Kk | 自動機用半田ごてユニット |
| SE520533C2 (sv) | 2001-03-13 | 2003-07-22 | Picsearch Ab | Metod, datorprogram och system för indexering av digitaliserade enheter |
| KR100451649B1 (ko) * | 2001-03-26 | 2004-10-08 | 엘지전자 주식회사 | 이미지 검색방법과 장치 |
| US20030016250A1 (en) * | 2001-04-02 | 2003-01-23 | Chang Edward Y. | Computer user interface for perception-based information retrieval |
| US7769895B1 (en) * | 2001-08-17 | 2010-08-03 | Corda Technologies, Inc. | System and method for ensuring that a web browser displays the highest ranked image format possible for an image |
| WO2003034283A1 (en) * | 2001-10-16 | 2003-04-24 | Kimbrough Steven O | Process and system for matching products and markets |
| US20040075743A1 (en) * | 2002-05-22 | 2004-04-22 | Sony Computer Entertainment America Inc. | System and method for digital image selection |
| US20040064306A1 (en) * | 2002-09-30 | 2004-04-01 | Wolf Peter P. | Voice activated music playback system |
| GB2395805A (en) * | 2002-11-27 | 2004-06-02 | Sony Uk Ltd | Information retrieval |
| US8429174B2 (en) | 2003-01-25 | 2013-04-23 | Purdue Research Foundation | Methods, systems, and data structures for performing searches on three dimensional objects |
| JP2004326491A (ja) * | 2003-04-25 | 2004-11-18 | Canon Inc | 画像処理方法 |
| CN100568231C (zh) * | 2003-06-23 | 2009-12-09 | 爱尔兰都柏林国立大学-都柏林大学 | 会话式推荐系统及其检索方法 |
| US20050044076A1 (en) * | 2003-08-18 | 2005-02-24 | Yuh-Cherng Wu | Information retrieval from multiple sources |
| KR100452085B1 (ko) * | 2004-01-14 | 2004-10-12 | 엔에이치엔(주) | 카테고리 별 키워드의 입력 순위를 제공하기 위한 검색서비스 시스템 및 그 방법 |
| US7872669B2 (en) * | 2004-01-22 | 2011-01-18 | Massachusetts Institute Of Technology | Photo-based mobile deixis system and related techniques |
| US7460737B2 (en) * | 2004-02-12 | 2008-12-02 | Hoshiko Llc | Method and apparatus for photograph finding |
| US8775436B1 (en) * | 2004-03-19 | 2014-07-08 | Google Inc. | Image selection for news search |
| US8631001B2 (en) * | 2004-03-31 | 2014-01-14 | Google Inc. | Systems and methods for weighting a search query result |
| US7664734B2 (en) * | 2004-03-31 | 2010-02-16 | Google Inc. | Systems and methods for generating multiple implicit search queries |
| US7272601B1 (en) * | 2004-03-31 | 2007-09-18 | Google Inc. | Systems and methods for associating a keyword with a user interface area |
| US7693825B2 (en) * | 2004-03-31 | 2010-04-06 | Google Inc. | Systems and methods for ranking implicit search results |
| US9009153B2 (en) | 2004-03-31 | 2015-04-14 | Google Inc. | Systems and methods for identifying a named entity |
| US7707142B1 (en) | 2004-03-31 | 2010-04-27 | Google Inc. | Methods and systems for performing an offline search |
| US20080040315A1 (en) * | 2004-03-31 | 2008-02-14 | Auerbach David B | Systems and methods for generating a user interface |
| US8041713B2 (en) * | 2004-03-31 | 2011-10-18 | Google Inc. | Systems and methods for analyzing boilerplate |
| US8065611B1 (en) | 2004-06-30 | 2011-11-22 | Google Inc. | Method and system for mining image searches to associate images with concepts |
| US11409812B1 (en) | 2004-05-10 | 2022-08-09 | Google Llc | Method and system for mining image searches to associate images with concepts |
| US7996753B1 (en) | 2004-05-10 | 2011-08-09 | Google Inc. | Method and system for automatically creating an image advertisement |
| US7697791B1 (en) | 2004-05-10 | 2010-04-13 | Google Inc. | Method and system for providing targeted documents based on concepts automatically identified therein |
| JP4093241B2 (ja) * | 2004-05-17 | 2008-06-04 | セイコーエプソン株式会社 | 書類作成支援装置、書類作成支援プログラムおよび記憶媒体、並びに書類作成支援方法 |
| JP4478513B2 (ja) * | 2004-06-10 | 2010-06-09 | キヤノン株式会社 | デジタルカメラ、デジタルカメラの制御方法、プログラムおよびそれを格納した記録媒体 |
| EP1766538A1 (fr) * | 2004-06-23 | 2007-03-28 | France Télécom | Recherche automatique de similarite entre images incluant une intervention humaine |
| US7788274B1 (en) | 2004-06-30 | 2010-08-31 | Google Inc. | Systems and methods for category-based search |
| US8131754B1 (en) | 2004-06-30 | 2012-03-06 | Google Inc. | Systems and methods for determining an article association measure |
| US7533074B2 (en) | 2004-07-23 | 2009-05-12 | Sap Ag | Modifiable knowledge base in a mobile device |
| US7383260B2 (en) * | 2004-08-03 | 2008-06-03 | International Business Machines Corporation | Method and apparatus for ontology-based classification of media content |
| EP1837105A4 (en) * | 2004-12-22 | 2011-03-16 | Ngk Spark Plug Co | SIALON INSERT AND CUTTING TOOL EQUIPPED WITH SIALON |
| US7877382B1 (en) * | 2004-12-31 | 2011-01-25 | Google, Inc. | System and methods for detecting images distracting to a user |
| GB0502844D0 (en) | 2005-02-11 | 2005-03-16 | Univ Edinburgh | Storing digital content for access using a captured image |
| JP4367355B2 (ja) * | 2005-02-24 | 2009-11-18 | セイコーエプソン株式会社 | 写真画像検索装置、写真画像検索方法、記録媒体、およびプログラム |
| US8554939B1 (en) * | 2005-02-25 | 2013-10-08 | Google Inc. | Systems and methods for downloading and viewing images |
| US8788593B1 (en) | 2005-02-25 | 2014-07-22 | Google Inc. | Systems and methods for downloading attachments |
| US7689617B2 (en) * | 2005-02-25 | 2010-03-30 | Prashant Parikh | Dynamic learning for navigation systems |
| US9092458B1 (en) * | 2005-03-08 | 2015-07-28 | Irobot Corporation | System and method for managing search results including graphics |
| US8694494B2 (en) * | 2005-03-25 | 2014-04-08 | Vistaprint Schweiz Gmbh | Selecting images using associated keywords |
| US20060251975A1 (en) * | 2005-05-03 | 2006-11-09 | General Electric Company | System and method for retrieving radiographic images |
| US7783135B2 (en) * | 2005-05-09 | 2010-08-24 | Like.Com | System and method for providing objectified image renderings using recognition information from images |
| WO2006126141A1 (en) * | 2005-05-27 | 2006-11-30 | Koninklijke Philips Electronics N.V. | Images identification method and apparatus |
| US7702681B2 (en) * | 2005-06-29 | 2010-04-20 | Microsoft Corporation | Query-by-image search and retrieval system |
| WO2007012118A1 (en) * | 2005-07-27 | 2007-02-01 | Amethon Solutions (Asia Pacific) Pty Ltd | Tracking content in communication networks |
| US7831918B2 (en) * | 2005-09-12 | 2010-11-09 | Microsoft Corporation | Content based user interface design |
| US8275399B2 (en) | 2005-09-21 | 2012-09-25 | Buckyball Mobile Inc. | Dynamic context-data tag cloud |
| US8185591B1 (en) | 2005-09-30 | 2012-05-22 | Google Inc. | Systems and methods for viewing email attachments as thumbnails |
| JP5009577B2 (ja) | 2005-09-30 | 2012-08-22 | 富士フイルム株式会社 | 画像検索装置および方法並びにプログラム |
| US8775520B1 (en) | 2005-09-30 | 2014-07-08 | Google Inc. | Systems and methods for viewing non-HTML email attachments |
| GB2432927A (en) * | 2005-10-25 | 2007-06-06 | Thomas Donnelly | Image search engine |
| US8046673B2 (en) * | 2005-11-07 | 2011-10-25 | Business Objects Software Ltd. | Apparatus and method for facilitating trusted business intelligence through data context |
| US8099383B2 (en) * | 2005-11-07 | 2012-01-17 | Business Objects Software Limited | Apparatus and method for defining report parts |
| US7584411B1 (en) * | 2005-12-22 | 2009-09-01 | Adobe Systems, Inc. | Methods and apparatus to identify graphical elements |
| US7644373B2 (en) | 2006-01-23 | 2010-01-05 | Microsoft Corporation | User interface for viewing clusters of images |
| US7725451B2 (en) * | 2006-01-23 | 2010-05-25 | Microsoft Corporation | Generating clusters of images for search results |
| US7836050B2 (en) * | 2006-01-25 | 2010-11-16 | Microsoft Corporation | Ranking content based on relevance and quality |
| US7814040B1 (en) | 2006-01-31 | 2010-10-12 | The Research Foundation Of State University Of New York | System and method for image annotation and multi-modal image retrieval using probabilistic semantic models |
| US7664739B2 (en) * | 2006-02-14 | 2010-02-16 | Microsoft Corporation | Object search ui and dragging object results |
| US7970763B2 (en) * | 2006-02-21 | 2011-06-28 | Microsoft Corporation | Searching and indexing of photos based on ink annotations |
| US9767184B2 (en) * | 2006-03-14 | 2017-09-19 | Robert D. Fish | Methods and apparatus for facilitating context searching |
| JP2007257308A (ja) * | 2006-03-23 | 2007-10-04 | Canon Inc | 文書管理装置、文書管理システム、及びその制御方法、プログラム、記憶媒体 |
| US7624130B2 (en) * | 2006-03-30 | 2009-11-24 | Microsoft Corporation | System and method for exploring a semantic file network |
| US7634471B2 (en) * | 2006-03-30 | 2009-12-15 | Microsoft Corporation | Adaptive grouping in a file network |
| JP2007281596A (ja) * | 2006-04-03 | 2007-10-25 | Canon Inc | 情報処理装置、情報処理システム、及びその制御方法、プログラム、記憶媒体 |
| US7503007B2 (en) * | 2006-05-16 | 2009-03-10 | International Business Machines Corporation | Context enhanced messaging and collaboration system |
| US8166418B2 (en) * | 2006-05-26 | 2012-04-24 | Zi Corporation Of Canada, Inc. | Device and method of conveying meaning |
| KR100785928B1 (ko) * | 2006-07-04 | 2007-12-17 | 삼성전자주식회사 | 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색시스템 |
| JP2009545076A (ja) * | 2006-07-24 | 2009-12-17 | チャチャ サーチ，インク． | 情報検索システムにおけるポッドキャスティング及びビデオトレーニングの為の方法、システム及びコンピュータ読込可能ストレージ |
| US8271486B2 (en) * | 2006-07-28 | 2012-09-18 | Yahoo! Inc. | System and method for searching a bookmark and tag database for relevant bookmarks |
| US7693906B1 (en) * | 2006-08-22 | 2010-04-06 | Qurio Holdings, Inc. | Methods, systems, and products for tagging files |
| US20080059447A1 (en) * | 2006-08-24 | 2008-03-06 | Spock Networks, Inc. | System, method and computer program product for ranking profiles |
| US8126887B2 (en) | 2006-09-29 | 2012-02-28 | Business Objects Software Ltd. | Apparatus and method for searching reports |
| US7899837B2 (en) * | 2006-09-29 | 2011-03-01 | Business Objects Software Ltd. | Apparatus and method for generating queries and reports |
| US8204895B2 (en) * | 2006-09-29 | 2012-06-19 | Business Objects Software Ltd. | Apparatus and method for receiving a report |
| US7707208B2 (en) * | 2006-10-10 | 2010-04-27 | Microsoft Corporation | Identifying sight for a location |
| US7657504B2 (en) | 2006-10-10 | 2010-02-02 | Microsoft Corporation | User interface for displaying images of sights |
| US7885482B2 (en) | 2006-10-26 | 2011-02-08 | Microsoft Corporation | Coverage-based image relevance ranking |
| US7840076B2 (en) | 2006-11-22 | 2010-11-23 | Intel Corporation | Methods and apparatus for retrieving images from a large collection of images |
| US20080118160A1 (en) * | 2006-11-22 | 2008-05-22 | Nokia Corporation | System and method for browsing an image database |
| JP5390393B2 (ja) * | 2006-11-29 | 2014-01-15 | コーニンクレッカ フィリップス エヌ ヴェ | 標本に基づくフィルタ |
| WO2008069791A1 (en) * | 2006-12-04 | 2008-06-12 | General Instrument Corporation | Method and apparatus for improving image retrieval and search using latent semantic indexing |
| GB2444535A (en) * | 2006-12-06 | 2008-06-11 | Sony Uk Ltd | Generating textual metadata for an information item in a database from metadata associated with similar information items |
| US7933452B2 (en) * | 2006-12-11 | 2011-04-26 | Florida Atlantic University | System and methods of image retrieval |
| US20080208791A1 (en) * | 2007-02-27 | 2008-08-28 | Madirakshi Das | Retrieving images based on an example image |
| JP2008217428A (ja) * | 2007-03-05 | 2008-09-18 | Fujitsu Ltd | 画像検索プログラム、方法及び装置 |
| US20080222018A1 (en) * | 2007-03-08 | 2008-09-11 | Alejandro Backer | Financial instruments and methods for the housing market |
| WO2008114209A1 (en) * | 2007-03-21 | 2008-09-25 | Koninklijke Philips Electronics N.V. | Method and apparatus for enabling simultaneous reproduction of a first media item and a second media item |
| US8117137B2 (en) * | 2007-04-19 | 2012-02-14 | Microsoft Corporation | Field-programmable gate array based accelerator system |
| WO2008129505A1 (en) | 2007-04-24 | 2008-10-30 | Koninklijke Philips Electronics N.V. | Method, system and user interface for automatically creating an atmosphere, particularly a lighting atmosphere, based on a keyword input |
| CN101295305B (zh) * | 2007-04-25 | 2012-10-31 | 富士通株式会社 | 图像检索装置 |
| GB2449501A (en) * | 2007-05-25 | 2008-11-26 | Univ Sheffield | Searching method and system |
| US7945576B2 (en) * | 2007-05-29 | 2011-05-17 | Microsoft Corporation | Location recognition using informative feature vocabulary trees |
| US9251172B2 (en) * | 2007-06-01 | 2016-02-02 | Getty Images (Us), Inc. | Method and system for searching for digital assets |
| US8713001B2 (en) * | 2007-07-10 | 2014-04-29 | Asim Roy | Systems and related methods of user-guided searching |
| WO2009009631A2 (en) * | 2007-07-10 | 2009-01-15 | Asim Roy | Systems and related methods of user-guided searching |
| US20090063522A1 (en) * | 2007-08-17 | 2009-03-05 | Oracle International Corporation | System and method for managing ontologies as service metadata assets in a metadata repository |
| US20090099922A1 (en) * | 2007-08-23 | 2009-04-16 | Andrew Paradies | Advertising system and method |
| US20090064008A1 (en) * | 2007-08-31 | 2009-03-05 | Matsushita Electric Industrial Co., Ltd. | User interaction for content based storage and retrieval |
| US8457416B2 (en) * | 2007-09-13 | 2013-06-04 | Microsoft Corporation | Estimating word correlations from images |
| DE102007043730B3 (de) * | 2007-09-13 | 2009-02-05 | Siemens Ag | Pre-Fetching von Dünn- und Dickschichtbilddaten |
| US8571850B2 (en) * | 2007-09-13 | 2013-10-29 | Microsoft Corporation | Dual cross-media relevance model for image annotation |
| US8572087B1 (en) | 2007-10-17 | 2013-10-29 | Google Inc. | Content identification |
| US8370353B2 (en) * | 2007-10-23 | 2013-02-05 | Imaginestics Llc | Component part search system with public and private communities |
| US20090144238A1 (en) * | 2007-12-04 | 2009-06-04 | Microsoft Corporation | Hide and seek game to elicit human input |
| US8848897B2 (en) * | 2007-12-20 | 2014-09-30 | Verizon Patent And Licensing Inc. | Automated multimedia call center agent |
| US10438152B1 (en) * | 2008-01-25 | 2019-10-08 | Amazon Technologies, Inc. | Managing performance of human review of media data |
| US20090240681A1 (en) * | 2008-03-20 | 2009-09-24 | Nadeem Saddiqi | Medical records network |
| US8190604B2 (en) * | 2008-04-03 | 2012-05-29 | Microsoft Corporation | User intention modeling for interactive image retrieval |
| KR100955181B1 (ko) * | 2008-04-15 | 2010-04-29 | 엔에이치엔(주) | 이미지 검색방법 및 검색 시스템 |
| US7962468B2 (en) * | 2008-04-17 | 2011-06-14 | Yahoo! Inc. | System and method for providing image labeling game using CBIR |
| US8504547B1 (en) * | 2008-04-23 | 2013-08-06 | Google Inc. | Customizing image search for user attributes |
| US20090276722A1 (en) * | 2008-04-30 | 2009-11-05 | Jonathan Segel | Method and apparatus for dual mode content searching, selection, delivery, and playout |
| US20090287655A1 (en) * | 2008-05-13 | 2009-11-19 | Bennett James D | Image search engine employing user suitability feedback |
| US20090290802A1 (en) * | 2008-05-22 | 2009-11-26 | Microsoft Corporation | Concurrent multiple-instance learning for image categorization |
| US20090297045A1 (en) * | 2008-05-29 | 2009-12-03 | Poetker Robert B | Evaluating subject interests from digital image records |
| US20090313558A1 (en) * | 2008-06-11 | 2009-12-17 | Microsoft Corporation | Semantic Image Collection Visualization |
| US20090313239A1 (en) * | 2008-06-16 | 2009-12-17 | Microsoft Corporation | Adaptive Visual Similarity for Text-Based Image Search Results Re-ranking |
| US8463053B1 (en) | 2008-08-08 | 2013-06-11 | The Research Foundation Of State University Of New York | Enhanced max margin learning on multimodal data mining in a multimedia database |
| JP5237724B2 (ja) * | 2008-08-19 | 2013-07-17 | オリンパスイメージング株式会社 | 画像検索システム |
| US8489627B1 (en) * | 2008-08-28 | 2013-07-16 | Adobe Systems Incorporated | Combined semantic description and visual attribute search |
| US8391618B1 (en) | 2008-09-19 | 2013-03-05 | Adobe Systems Incorporated | Semantic image classification and search |
| US8171043B2 (en) * | 2008-10-24 | 2012-05-01 | Yahoo! Inc. | Methods for improving the diversity of image search results |
| US8799259B2 (en) * | 2008-11-07 | 2014-08-05 | Core Wireless Licensing, S.a.r.l. | Method and apparatus for quality ranking of media |
| US20100169178A1 (en) * | 2008-12-26 | 2010-07-01 | Microsoft Corporation | Advertising Method for Image Search |
| DE102009007715B4 (de) * | 2009-02-05 | 2011-04-07 | Vodafone Holding Gmbh | Verfahren und System zum automatischen Auffinden von elektronischen Bildern in einer Datensammlung |
| US8452794B2 (en) | 2009-02-11 | 2013-05-28 | Microsoft Corporation | Visual and textual query suggestion |
| CN102334154B (zh) | 2009-02-24 | 2016-02-03 | 电子湾有限公司 | 用于提供多方向视觉浏览的系统和方法 |
| JP4706769B2 (ja) * | 2009-03-23 | 2011-06-22 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置 |
| CN101510218A (zh) * | 2009-03-26 | 2009-08-19 | 阿里巴巴集团控股有限公司 | 实现图片搜索的方法及网站服务器 |
| US9489403B2 (en) * | 2009-04-09 | 2016-11-08 | Nokia Technologies Oy | Method and apparatus for providing visual search engine results |
| US8209330B1 (en) * | 2009-05-29 | 2012-06-26 | Google Inc. | Ordering image search results |
| ES2377303B1 (es) * | 2009-06-05 | 2013-02-01 | Vodafone España S.A.U. | Método y sistema para recomendar fotografías. |
| US8467631B2 (en) * | 2009-06-30 | 2013-06-18 | Red Hat Israel, Ltd. | Method and apparatus for identification of image uniqueness |
| US8478052B1 (en) | 2009-07-17 | 2013-07-02 | Google Inc. | Image classification |
| US8515212B1 (en) | 2009-07-17 | 2013-08-20 | Google Inc. | Image relevance model |
| KR101072691B1 (ko) * | 2009-07-23 | 2011-10-11 | 포항공과대학교 산학협력단 | 연관성 피드백을 이용한 데이터베이스 검색 방법 및 이를 수행하는 프로그램을 기록한 기록매체 |
| US8352465B1 (en) | 2009-09-03 | 2013-01-08 | Google Inc. | Grouping of image search results |
| US8171049B2 (en) | 2009-09-18 | 2012-05-01 | Xerox Corporation | System and method for information seeking in a multimedia collection |
| US20110072047A1 (en) * | 2009-09-21 | 2011-03-24 | Microsoft Corporation | Interest Learning from an Image Collection for Advertising |
| US8392430B2 (en) * | 2009-09-23 | 2013-03-05 | Microsoft Corp. | Concept-structured image search |
| US10176245B2 (en) * | 2009-09-25 | 2019-01-08 | International Business Machines Corporation | Semantic query by example |
| US8458010B1 (en) | 2009-10-13 | 2013-06-04 | Amazon Technologies, Inc. | Monitoring and enforcing price parity |
| US8676803B1 (en) * | 2009-11-04 | 2014-03-18 | Google Inc. | Clustering images |
| CA2785746C (en) * | 2009-12-30 | 2016-09-13 | Nokia Corporation | Methods and apparatuses for facilitating content-based image retrieval |
| US8903166B2 (en) * | 2010-01-20 | 2014-12-02 | Microsoft Corporation | Content-aware ranking for visual search |
| US8185526B2 (en) * | 2010-01-21 | 2012-05-22 | Microsoft Corporation | Dynamic keyword suggestion and image-search re-ranking |
| US8775424B2 (en) * | 2010-01-26 | 2014-07-08 | Xerox Corporation | System for creative image navigation and exploration |
| US20110191336A1 (en) * | 2010-01-29 | 2011-08-04 | Microsoft Corporation | Contextual image search |
| CN102193934B (zh) * | 2010-03-11 | 2013-05-29 | 株式会社理光 | 用于寻找图像集合中的代表性图像的系统和方法 |
| US9589032B1 (en) * | 2010-03-25 | 2017-03-07 | A9.Com, Inc. | Updating content pages with suggested search terms and search results |
| US20110246330A1 (en) * | 2010-04-01 | 2011-10-06 | Anup Tikku | System and method for searching content |
| KR101116434B1 (ko) * | 2010-04-14 | 2012-03-07 | 엔에이치엔(주) | 이미지를 이용한 쿼리 제공 방법 및 시스템 |
| US20130036113A1 (en) * | 2010-04-28 | 2013-02-07 | Niranjan Damera-Venkata | System and Method for Automatically Providing a Graphical Layout Based on an Example Graphic Layout |
| US8903798B2 (en) | 2010-05-28 | 2014-12-02 | Microsoft Corporation | Real-time annotation and enrichment of captured video |
| US9703782B2 (en) | 2010-05-28 | 2017-07-11 | Microsoft Technology Licensing, Llc | Associating media with metadata of near-duplicates |
| US8724910B1 (en) | 2010-08-31 | 2014-05-13 | Google Inc. | Selection of representative images |
| US8538896B2 (en) * | 2010-08-31 | 2013-09-17 | Xerox Corporation | Retrieval systems and methods employing probabilistic cross-media relevance feedback |
| US9002773B2 (en) | 2010-09-24 | 2015-04-07 | International Business Machines Corporation | Decision-support application and system for problem solving using a question-answering system |
| US8990199B1 (en) * | 2010-09-30 | 2015-03-24 | Amazon Technologies, Inc. | Content search with category-aware visual similarity |
| SG189840A1 (en) | 2010-10-19 | 2013-06-28 | 3M Innovative Properties Co | Computer-aided assignment of ratings to digital samples of a manufactured web product |
| US9317533B2 (en) | 2010-11-02 | 2016-04-19 | Microsoft Technology Licensing, Inc. | Adaptive image retrieval database |
| US20120117051A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | Multi-modal approach to search query input |
| US8875007B2 (en) * | 2010-11-08 | 2014-10-28 | Microsoft Corporation | Creating and modifying an image wiki page |
| US8559682B2 (en) | 2010-11-09 | 2013-10-15 | Microsoft Corporation | Building a person profile database |
| US8463045B2 (en) | 2010-11-10 | 2013-06-11 | Microsoft Corporation | Hierarchical sparse representation for image retrieval |
| JP5912125B2 (ja) | 2010-11-12 | 2016-04-27 | スリーエム イノベイティブ プロパティズ カンパニー | ウェブベース材料における不均一性の高速処理と検出 |
| US10108500B2 (en) | 2010-11-30 | 2018-10-23 | Red Hat, Inc. | Replicating a group of data objects within a storage network |
| US9311374B2 (en) * | 2010-11-30 | 2016-04-12 | Red Hat, Inc. | Replicating data objects within a storage network based on resource attributes |
| US8447767B2 (en) | 2010-12-15 | 2013-05-21 | Xerox Corporation | System and method for multimedia information retrieval |
| US9158775B1 (en) * | 2010-12-18 | 2015-10-13 | Google Inc. | Scoring stream items in real time |
| US20120173577A1 (en) * | 2010-12-30 | 2012-07-05 | Pelco Inc. | Searching recorded video |
| US9043316B1 (en) * | 2011-03-28 | 2015-05-26 | Google Inc. | Visual content retrieval |
| US20120254790A1 (en) * | 2011-03-31 | 2012-10-04 | Xerox Corporation | Direct, feature-based and multi-touch dynamic search and manipulation of image sets |
| US8671025B2 (en) | 2011-04-21 | 2014-03-11 | Art.Com, Inc. | Method and system for image discovery via navigation of dimensions |
| JP2012226698A (ja) * | 2011-04-22 | 2012-11-15 | Canon Inc | キーワード付与装置およびキーワード付与方法 |
| WO2012154216A1 (en) * | 2011-05-06 | 2012-11-15 | Sti Medical Systems, Llc | Diagnosis support system providing guidance to a user by automated retrieval of similar cancer images with user feedback |
| US8553981B2 (en) | 2011-05-17 | 2013-10-08 | Microsoft Corporation | Gesture-based visual search |
| US9678992B2 (en) * | 2011-05-18 | 2017-06-13 | Microsoft Technology Licensing, Llc | Text to image translation |
| US9082086B2 (en) | 2011-05-20 | 2015-07-14 | Microsoft Corporation | Adaptively learning a similarity model |
| US8977629B2 (en) | 2011-05-24 | 2015-03-10 | Ebay Inc. | Image-based popularity prediction |
| US9031960B1 (en) * | 2011-06-10 | 2015-05-12 | Google Inc. | Query image search |
| KR101279576B1 (ko) * | 2011-06-15 | 2013-06-27 | 삼성테크윈 주식회사 | 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법 |
| US8670609B2 (en) * | 2011-07-22 | 2014-03-11 | Canon Kabushiki Kaisha | Systems and methods for evaluating images |
| FR2980290A1 (fr) * | 2011-09-19 | 2013-03-22 | Alcatel Lucent | Systeme de reformulation de requete de moteur de recherche |
| US9734167B2 (en) | 2011-09-21 | 2017-08-15 | Horsetooth Ventures, LLC | Interactive image display and selection system |
| US11068532B2 (en) | 2011-09-21 | 2021-07-20 | Horsetooth Ventures, LLC | Interactive image display and selection system |
| US9152700B2 (en) * | 2011-09-30 | 2015-10-06 | Google Inc. | Applying query based image relevance models |
| US8589410B2 (en) | 2011-10-18 | 2013-11-19 | Microsoft Corporation | Visual search using multiple visual input modalities |
| WO2013063740A1 (en) * | 2011-10-31 | 2013-05-10 | Google Inc. | Selecting images based on textual description |
| US9201133B2 (en) | 2011-11-11 | 2015-12-01 | The Board Of Trustees Of The Leland Stanford Junior University | Method and system for signal-based localization |
| GB2515398B (en) * | 2011-12-13 | 2018-02-14 | Ibm | Method,apparatus, and computer program for generating representative image and radiographic interpretation information for each case |
| US9201902B2 (en) * | 2011-12-13 | 2015-12-01 | Globalfoundries Inc. | Techniques for medical image retrieval |
| CN102609458B (zh) * | 2012-01-12 | 2015-08-05 | 北京搜狗信息服务有限公司 | 一种图片推荐方法和装置 |
| US9223776B2 (en) * | 2012-03-27 | 2015-12-29 | The Intellectual Group, Inc. | Multimodal natural language query system for processing and analyzing voice and proximity-based queries |
| US9443314B1 (en) * | 2012-03-29 | 2016-09-13 | Google Inc. | Hierarchical conditional random field model for labeling and segmenting images |
| US8855430B1 (en) | 2012-05-30 | 2014-10-07 | Google Inc. | Refining image annotations |
| US9336302B1 (en) | 2012-07-20 | 2016-05-10 | Zuci Realty Llc | Insight and algorithmic clustering for automated synthesis |
| US20140032583A1 (en) * | 2012-07-27 | 2014-01-30 | Sergey Ioffe | Multi-Resolution Exploration of Large Image Datasets |
| US9262442B2 (en) * | 2012-09-20 | 2016-02-16 | International Business Machines Corporation | Techniques for generating a representative image and radiographic interpretation information for a case |
| WO2014065868A1 (en) * | 2012-10-23 | 2014-05-01 | Aperio Technologies, Inc. | Systems and methods for an image repository for pathology |
| TWI480751B (zh) | 2012-12-27 | 2015-04-11 | Ind Tech Res Inst | 互動式關聯物件檢索方法與系統 |
| US9183261B2 (en) | 2012-12-28 | 2015-11-10 | Shutterstock, Inc. | Lexicon based systems and methods for intelligent media search |
| US9183215B2 (en) | 2012-12-29 | 2015-11-10 | Shutterstock, Inc. | Mosaic display systems and methods for intelligent media search |
| WO2014107193A1 (en) * | 2013-01-03 | 2014-07-10 | Board Of Regents, The University Of Texas System | Efficiently identifying images, videos, songs or documents most relevant to the user based on attribute feedback |
| WO2014107194A1 (en) | 2013-01-03 | 2014-07-10 | Board Of Regents, The University Of Texas System | Identifying relevant user content |
| US9582517B2 (en) | 2013-03-14 | 2017-02-28 | Shutterstock, Inc. | Content based systems and methods for conducting spectrum color based image search |
| KR101505673B1 (ko) * | 2013-03-22 | 2015-03-24 | (주)네오넷코리아 | 단어의 의미를 기반으로 하는 다국어 검색 시스템, 다국어 검색 방법 및 이를 이용한 이미지 검색 시스템 |
| JP5552552B2 (ja) * | 2013-03-22 | 2014-07-16 | オリンパスイメージング株式会社 | 画像検索システム |
| KR20140119217A (ko) * | 2013-03-27 | 2014-10-10 | (주)네오넷코리아 | 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템 및 사진 공유 방법 |
| US10282736B2 (en) * | 2013-05-21 | 2019-05-07 | Excalibur Ip, Llc | Dynamic modification of a parameter of an image based on user interest |
| JP2014229282A (ja) * | 2013-05-27 | 2014-12-08 | キヤノン株式会社 | 画像検索装置および画像検索方法、システム、プログラムならびに記憶媒体 |
| US9330110B2 (en) * | 2013-07-17 | 2016-05-03 | Xerox Corporation | Image search system and method for personalized photo applications using semantic networks |
| US10319035B2 (en) | 2013-10-11 | 2019-06-11 | Ccc Information Services | Image capturing and automatic labeling system |
| US10108617B2 (en) * | 2013-10-30 | 2018-10-23 | Texas Instruments Incorporated | Using audio cues to improve object retrieval in video |
| CN104778170A (zh) * | 2014-01-09 | 2015-07-15 | 阿里巴巴集团控股有限公司 | 搜索展示商品图像的方法和装置 |
| US10409822B2 (en) | 2014-05-06 | 2019-09-10 | Shutterstock, Inc. | Systems and methods for presenting ranked search results |
| US9965547B2 (en) * | 2014-05-09 | 2018-05-08 | Camelot Uk Bidco Limited | System and methods for automating trademark and service mark searches |
| US10102277B2 (en) | 2014-05-15 | 2018-10-16 | Sentient Technologies (Barbados) Limited | Bayesian visual interactive search |
| US10606883B2 (en) | 2014-05-15 | 2020-03-31 | Evolv Technology Solutions, Inc. | Selection of initial document collection for visual interactive search |
| US20150331908A1 (en) | 2014-05-15 | 2015-11-19 | Genetic Finance (Barbados) Limited | Visual interactive search |
| US9208173B1 (en) * | 2014-06-13 | 2015-12-08 | Globalfoundries Inc. | Techniques for medical image retreival |
| CN104133917B (zh) * | 2014-08-15 | 2018-08-10 | 百度在线网络技术（北京）有限公司 | 照片的分类存储方法及装置 |
| US10789320B2 (en) | 2014-12-05 | 2020-09-29 | Walmart Apollo, Llc | System and method for generating globally-unique identifiers |
| CN104504110B (zh) * | 2014-12-30 | 2019-05-03 | 百度在线网络技术（北京）有限公司 | 搜索方法和装置 |
| US10471348B2 (en) | 2015-07-24 | 2019-11-12 | Activision Publishing, Inc. | System and method for creating and sharing customized video game weapon configurations in multiplayer video games via one or more social networks |
| CA3001987A1 (en) | 2015-09-28 | 2017-04-06 | Walmart Apollo, Llc | Cloud based session management system |
| US10162865B2 (en) | 2015-10-08 | 2018-12-25 | Microsoft Technology Licensing, Llc | Generating image tags |
| US9818032B2 (en) * | 2015-10-28 | 2017-11-14 | Intel Corporation | Automatic video summarization |
| US10404778B2 (en) | 2015-12-09 | 2019-09-03 | Walmart Apollo, Llc | Session hand-off for mobile applications |
| KR102362868B1 (ko) * | 2015-12-23 | 2022-02-15 | 삼성전자주식회사 | 사용자의 선호도에 따라 사용자에게 컨텐트들을 제공하는 방법 및 이를 위한 전자 장치 |
| US20170262583A1 (en) * | 2016-03-11 | 2017-09-14 | International Business Machines Corporation | Image processing and text analysis to determine medical condition |
| US10353947B2 (en) * | 2016-04-25 | 2019-07-16 | Adobe Inc. | Relevancy evaluation for image search results |
| WO2017212459A1 (en) | 2016-06-09 | 2017-12-14 | Sentient Technologies (Barbados) Limited | Content embedding using deep metric learning algorithms |
| MX2019001576A (es) | 2016-08-09 | 2019-09-18 | Ripcord Inc | Sistemas y metodos para la recuperacion contextual de registros electronicos. |
| KR101911604B1 (ko) * | 2016-10-21 | 2018-10-25 | 한국과학기술원 | 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법 |
| US11205103B2 (en) | 2016-12-09 | 2021-12-21 | The Research Foundation for the State University | Semisupervised autoencoder for sentiment analysis |
| US11176189B1 (en) * | 2016-12-29 | 2021-11-16 | Shutterstock, Inc. | Relevance feedback with faceted search interface |
| JP6811645B2 (ja) * | 2017-02-28 | 2021-01-13 | 株式会社日立製作所 | 画像検索装置及び画像検索方法 |
| TWI753034B (zh) * | 2017-03-31 | 2022-01-21 | 香港商阿里巴巴集團服務有限公司 | 特徵向量的產生、搜索方法、裝置及電子設備 |
| US10956409B2 (en) * | 2017-05-10 | 2021-03-23 | International Business Machines Corporation | Relevance model for session search |
| US10755144B2 (en) | 2017-09-05 | 2020-08-25 | Cognizant Technology Solutions U.S. Corporation | Automated and unsupervised generation of real-world training data |
| US10755142B2 (en) | 2017-09-05 | 2020-08-25 | Cognizant Technology Solutions U.S. Corporation | Automated and unsupervised generation of real-world training data |
| US11468051B1 (en) * | 2018-02-15 | 2022-10-11 | Shutterstock, Inc. | Composition aware image search refinement using relevance feedback |
| US11372914B2 (en) * | 2018-03-26 | 2022-06-28 | Microsoft Technology Licensing, Llc | Image annotation |
| US10523922B2 (en) * | 2018-04-06 | 2019-12-31 | Zspace, Inc. | Identifying replacement 3D images for 2D images via ranking criteria |
| US10523921B2 (en) * | 2018-04-06 | 2019-12-31 | Zspace, Inc. | Replacing 2D images with 3D images |
| US20190377983A1 (en) * | 2018-06-11 | 2019-12-12 | Microsoft Technology Licensing, Llc | System and Method for Determining and Suggesting Contextually-Related Slide(s) in Slide Suggestions |
| US11068493B2 (en) * | 2018-11-07 | 2021-07-20 | Adobe Inc. | Guided content discovery in visual search |
| CN111355543B (zh) * | 2018-12-20 | 2023-01-17 | 中兴通讯股份有限公司 | 一种场强预测方法 |
| US11403327B2 (en) * | 2019-02-20 | 2022-08-02 | International Business Machines Corporation | Mixed initiative feature engineering |
| US11562227B2 (en) * | 2019-03-13 | 2023-01-24 | Accenture Global Solutions Limited | Interactive assistant |
| US20220179899A1 (en) * | 2019-03-20 | 2022-06-09 | Nec Corporation | Information processing apparatus, search method, and non-transitory computer readable medium storing program |
| US11403339B2 (en) * | 2020-05-04 | 2022-08-02 | Adobe Inc. | Techniques for identifying color profiles for textual queries |
| JP2021196761A (ja) * | 2020-06-11 | 2021-12-27 | コニカミノルタ株式会社 | 画像処理装置、画像閲覧システム、画像処理プログラム、画像処理方法 |
| US20230326225A1 (en) * | 2022-04-08 | 2023-10-12 | Thomson Reuters Enterprise Centre Gmbh | System and method for machine learning document partitioning |
| WO2024058834A1 (en) * | 2022-09-16 | 2024-03-21 | Regulatory Education Events, LLC dba Supplement Advisory Group | Systems and methods for compliance, keyword finder, and training tool |
Family Cites Families (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5020019A (en) | 1989-05-29 | 1991-05-28 | Ricoh Company, Ltd. | Document retrieval system |
| JPH03122770A (ja) * | 1989-10-05 | 1991-05-24 | Ricoh Co Ltd | キーワード連想文書検索方法 |
| US5579471A (en) * | 1992-11-09 | 1996-11-26 | International Business Machines Corporation | Image query system and method |
| JPH0721198A (ja) | 1993-06-17 | 1995-01-24 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索方法 |
| JP3185505B2 (ja) | 1993-12-24 | 2001-07-11 | 株式会社日立製作所 | 会議録作成支援装置 |
| US5855015A (en) | 1995-03-20 | 1998-12-29 | Interval Research Corporation | System and method for retrieval of hyperlinked information resources |
| US5594809A (en) * | 1995-04-28 | 1997-01-14 | Xerox Corporation | Automatic training of character templates using a text line image, a text line transcription and a line image source model |
| US5721938A (en) * | 1995-06-07 | 1998-02-24 | Stuckey; Barbara K. | Method and device for parsing and analyzing natural language sentences and text |
| US6076088A (en) | 1996-02-09 | 2000-06-13 | Paik; Woojin | Information extraction system and method using concept relation concept (CRC) triples |
| US5983237A (en) * | 1996-03-29 | 1999-11-09 | Virage, Inc. | Visual dictionary |
| US6314420B1 (en) | 1996-04-04 | 2001-11-06 | Lycos, Inc. | Collaborative/adaptive search engine |
| US5870754A (en) * | 1996-04-25 | 1999-02-09 | Philips Electronics North America Corporation | Video retrieval of MPEG compressed sequences using DC and motion signatures |
| US5832499A (en) * | 1996-07-10 | 1998-11-03 | Survivors Of The Shoah Visual History Foundation | Digital library system |
| US5899999A (en) * | 1996-10-16 | 1999-05-04 | Microsoft Corporation | Iterative convolution filter particularly suited for use in an image classification and retrieval system |
| US6041335A (en) | 1997-02-10 | 2000-03-21 | Merritt; Charles R. | Method of annotating a primary image with an image and for transmitting the annotated primary image |
| JPH1139325A (ja) | 1997-07-22 | 1999-02-12 | Matsushita Electric Ind Co Ltd | 類似検索方法及び類似検索システム |
| US5995978A (en) * | 1997-09-24 | 1999-11-30 | Ricoh Company, Ltd. | Navigation system for document image database |
| US6301586B1 (en) | 1997-10-06 | 2001-10-09 | Canon Kabushiki Kaisha | System for managing multimedia objects |
| US6324545B1 (en) | 1997-10-15 | 2001-11-27 | Colordesk Ltd. | Personalized photo album |
| US6105055A (en) | 1998-03-13 | 2000-08-15 | Siemens Corporate Research, Inc. | Method and apparatus for asynchronous multimedia collaboration |
| US6504571B1 (en) * | 1998-05-18 | 2003-01-07 | International Business Machines Corporation | System and methods for querying digital image archives using recorded parameters |
| JP3615657B2 (ja) * | 1998-05-27 | 2005-02-02 | 株式会社日立製作所 | 映像検索方法及び装置ならびに記録媒体 |
| US6285995B1 (en) * | 1998-06-22 | 2001-09-04 | U.S. Philips Corporation | Image retrieval system using a query image |
| JP2000048041A (ja) | 1998-07-29 | 2000-02-18 | Matsushita Electric Ind Co Ltd | データ検索システム及びこれに用いる装置 |
| US6369811B1 (en) * | 1998-09-09 | 2002-04-09 | Ricoh Company Limited | Automatic adaptive document help for paper documents |
| JP4065470B2 (ja) | 1998-09-30 | 2008-03-26 | キヤノン株式会社 | 情報検索装置及びその制御方法 |
| US20030069873A1 (en) * | 1998-11-18 | 2003-04-10 | Kevin L. Fox | Multiple engine information retrieval and visualization system |
| ATE510258T1 (de) | 1999-01-29 | 2011-06-15 | Lg Electronics Inc | Verfahren zum durchsuchen oder browsen von multimediadaten |
| US7016916B1 (en) | 1999-02-01 | 2006-03-21 | Lg Electronics Inc. | Method of searching multimedia data |
| US6557042B1 (en) * | 1999-03-19 | 2003-04-29 | Microsoft Corporation | Multimedia summary generation employing user feedback |
| US6408293B1 (en) | 1999-06-09 | 2002-06-18 | International Business Machines Corporation | Interactive framework for understanding user's perception of multimedia data |
| KR100346262B1 (ko) | 1999-08-27 | 2002-07-26 | 엘지전자주식회사 | 멀티미디어 데이타의 키워드 자가 생성방법 |
| JP3921015B2 (ja) | 1999-09-24 | 2007-05-30 | 富士通株式会社 | 画像解析装置及び方法並びにプログラム記録媒体 |
| KR100346264B1 (ko) | 1999-12-02 | 2002-07-26 | 엘지전자주식회사 | 멀티미디어 특징소 정보의 갱신방법과 멀티미디어 특징소 정보 생성방법 |
| AU2001283004A1 (en) | 2000-07-24 | 2002-02-05 | Vivcom, Inc. | System and method for indexing, searching, identifying, and editing portions of electronic multimedia files |
| US6728706B2 (en) * | 2001-03-23 | 2004-04-27 | International Business Machines Corporation | Searching products catalogs |
| US6748398B2 (en) | 2001-03-30 | 2004-06-08 | Microsoft Corporation | Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR) |
| US6901411B2 (en) | 2002-02-11 | 2005-05-31 | Microsoft Corporation | Statistical bigram correlation model for image retrieval |
| US7043474B2 (en) | 2002-04-15 | 2006-05-09 | International Business Machines Corporation | System and method for measuring image similarity based on semantic meaning |
-
2000
- 2000-10-30 US US09/702,292 patent/US7099860B1/en not_active Expired - Fee Related
-
2001
- 2001-10-18 AT AT01124882T patent/ATE368897T1/de not_active IP Right Cessation
- 2001-10-18 EP EP01124882A patent/EP1202187B1/en not_active Expired - Lifetime
- 2001-10-18 DE DE60129652T patent/DE60129652T2/de not_active Expired - Lifetime
- 2001-10-30 JP JP2001333273A patent/JP4108961B2/ja not_active Expired - Lifetime
-
2004
- 2004-07-28 US US10/900,574 patent/US7529732B2/en not_active Expired - Lifetime
- 2004-10-20 US US10/969,308 patent/US7499916B2/en not_active Expired - Fee Related
-
2007
- 2007-06-27 JP JP2007169625A patent/JP4210311B2/ja not_active Expired - Lifetime
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7274834B2 (en) * | 2003-05-21 | 2007-09-25 | Konica Minolta Holdings, Inc. | Searching device, searching method and program |
| JP2005251182A (ja) * | 2004-02-03 | 2005-09-15 | Sap Ag | データベース管理システムおよびデータベース管理方法 |
| JP2005354134A (ja) * | 2004-06-08 | 2005-12-22 | Sony Corp | 画像管理方法および装置、記録媒体、並びにプログラム |
| KR20070042064A (ko) * | 2005-10-17 | 2007-04-20 | 후지쯔 가부시끼가이샤 | 화상 표시 제어 장치 |
| KR100933269B1 (ko) * | 2007-11-13 | 2009-12-22 | 엔에이치엔(주) | 색상 키워드를 이용한 검색 방법 및 시스템 |
| US9008446B2 (en) | 2007-12-12 | 2015-04-14 | Microsoft Technology Licensing, LLP | Interactive concept learning in image search |
| JP2011507099A (ja) * | 2007-12-12 | 2011-03-03 | マイクロソフト コーポレーション | イメージ検索における対話型概念学習 |
| JP2012532375A (ja) * | 2009-06-30 | 2012-12-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 内容に基づく画像検索についての関連性フィードバック |
| JP2011081819A (ja) * | 2010-11-08 | 2011-04-21 | Sony Corp | 画像管理方法および装置、記録媒体、並びにプログラム |
| KR20140027173A (ko) * | 2011-03-23 | 2014-03-06 | 실로픽스 | 데이터베이스 내의 검색의 결과를 정제하는 방법 |
| KR101980219B1 (ko) | 2011-03-23 | 2019-08-28 | 실로픽스 | 데이터베이스 내의 검색의 결과를 정제하는 방법 |
| JP2014059868A (ja) * | 2012-09-10 | 2014-04-03 | Boeing Co | 構造による文書のパノラマ的な視覚化 |
| KR101806169B1 (ko) * | 2016-07-25 | 2017-12-07 | 오드컨셉 주식회사 | 쇼핑 정보를 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램 |
| US11934452B1 (en) | 2022-10-31 | 2024-03-19 | Adobe Inc. | Text-based color palette searches utilizing text-to-color models |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4210311B2 (ja) | 2009-01-14 |
| US7099860B1 (en) | 2006-08-29 |
| EP1202187B1 (en) | 2007-08-01 |
| US7499916B2 (en) | 2009-03-03 |
| JP2007242065A (ja) | 2007-09-20 |
| DE60129652T2 (de) | 2007-11-22 |
| EP1202187A2 (en) | 2002-05-02 |
| US7529732B2 (en) | 2009-05-05 |
| EP1202187A3 (en) | 2003-11-26 |
| ATE368897T1 (de) | 2007-08-15 |
| US20050055344A1 (en) | 2005-03-10 |
| JP4108961B2 (ja) | 2008-06-25 |
| US20040267740A1 (en) | 2004-12-30 |
| DE60129652D1 (de) | 2007-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4108961B2 (ja) | イメージ検索システムおよびその方法 | |
| US6941321B2 (en) | System and method for identifying similarities among objects in a collection | |
| US6922699B2 (en) | System and method for quantitatively representing data objects in vector space | |
| US6598054B2 (en) | System and method for clustering data objects in a collection | |
| US6728752B1 (en) | System and method for information browsing using multi-modal features | |
| US6564202B1 (en) | System and method for visually representing the contents of a multiple data object cluster | |
| US6567797B1 (en) | System and method for providing recommendations based on multi-modal user clusters | |
| US7546293B2 (en) | Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR) | |
| JP4587512B2 (ja) | ドキュメントデータ照会装置 | |
| US7493312B2 (en) | Media agent | |
| US7984035B2 (en) | Context-based document search | |
| US20170371923A1 (en) | Template-driven structured query generation | |
| JPH11328228A (ja) | 問い合わせ検索結果精緻化方法及び装置 | |
| JP2005202939A (ja) | Ｘｍｌファイルの作成方法 | |
| EP2056218A2 (en) | Non-word or non-number search | |
| Datta | Enhancing the effciency of text image based tasks through multimodal solution | |
| Celentano et al. | Multiple strategies for relevance feedback in image retrieval |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041019 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070528 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071023 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080403 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4108961 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140411 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |