JP2010519659A - 見本画像に基づく画像の検索 - Google Patents

Abstract

保存された画像のそれぞれが異なるタイプのメタデータと関連付けられている複数の保存された画像の中から、見本画像に関連する画像を検索する方法であって：
（ａ） 各異なるタイプのメタデータと該見本画像との類似性に基づいて、各異なるメタデータ・タイプ毎に該保存画像から、画像の組を検索するステップ；
（ｂ） 各異なるタイプのメタデータに従って系統化された該検索画像の組を表示するステップ；そして
（ｃ） ユーザが１つ又は２つ以上の特定の検索画像の組を選択するステップ
を含んで成る方法を開示する。

Description

本発明は概ねデジタル画像処理の分野に関し、そして具体的には、見本画像に基づいて、保存された画像を検索する方法に関する。

デジタルカメラ及びスキャナの急増は、デジタル画像の激増をもたらし、大規模な個人画像データベースを作り出している。画像及びビデオの系統化及び検索は、典型的な消費者にとって既に問題である。目下のところ、典型的な消費者のデジタル画像収集歴は数年に過ぎない。平均的なデジタル画像及びビデオの収集歴が長くなるのに伴って、系統化及び検索の問題は増大し続けることになり、効率的に画像索引付け及び検索を行うための自動ツールが必要となる。

低レベル特徴（feature）、例えば色及びテクスチャに基づく多くの画像分類法が、内容基準画像検索に用いるために提供されている。低レベル内容基準技術の概要（“Content-based Image Retrieval at the End of the Early Years”, A. W. M. Smeulders他 IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(12), 2000年12月）が、内容基準画像検索のために用いることができる関連方法の包括的なリストを提供する。一般的に記される低レベル特徴は、色、方向色導関数（directional color derivatives）及び尺度空間表現（scale space representations）から導出される局所的形状特徴、画像テクスチャ、画像変換係数、例えばＪＰＥＧコードにおいて用いられるコサイン変換、及び画像セグメンテーションから導出される特性、例えば形状、輪郭及び幾何学的不変量を含む。例えば、２００２年１１月５日付けで発行された米国特許第６，４７７，２６９号明細書には、ユーザが、見本画像を使用することにより色又は形状に基づいて類似の画像を見出すことを可能にする方法が開示されている。２００２年１１月１２日付けでZhu及びMehrotraに発行された米国特許第６，４８０，８４０号明細書には、低レベル特徴、例えば色、テクスチャ及び色組成を用いた内容基準画像検索が開示されている。これらの特徴は効率的に計算して容易にマッチングすることができるが、これらは通常、意味的画像内容と相関しにくい。

画像から意味的レベル特徴を計算する試みも行われている。２００１年５月２５日付けで発行された国際公開第０１／３７１３１号パンフレットの場合、画像を分類するために、顕著な画像領域の視覚的特性が使用される。視覚的特性の数値的測定に加えて、意味的用語、例えば「空」及び「皮膚」を使用して領域のうちのいくつかを分類するために、ニューラル・ネットワークが使用される。コレクション中の画像の領域ベースの特徴を索引付けすることにより、所与の見本画像の特徴とマッチングするその他の画像を見出すこと を容易にする。２００１年５月２９日付けで発行された米国特許第６，２４０，４２４号明細書には、クラスタリング中心として画像内の一次オブジェクトを使用して画像の分類及び問い合わせを行う方法が開示されている。所与の未分類画像をマッチングさせる画像は、所与の画像内の一次オブジェクトに基づいて好適な問い合わせを作成することにより、見いだされる。２００３年１０月１６日付けで発行された米国特許出願公開第２００３／０１９５８８３号公報では、考えられ得るカテゴリ、例えば「都市景観」の所定の組から画像のカテゴリを計算する。日時情報に基づいて画像をイベント及びサブイベントに自動的にグループ分けする方法が、Loui及びPavieに発行された米国特許第６，６０６，４１１号明細書に記載されている。２００３年８月１２日付けでCooperに発行された米国特許第６，６０６，３９８号明細書には、画像内に存在する人物を認識することに基づいて画像を目録化する方法が記載されている。

関連技術のこれらの部分は利用可能であるにもかかわらず、専門家でないユーザに対して有意義な検索能力を可能にするという課題は解決されていない。重要な理由のうちの１つは、システムが、見本画像を与えても、ユーザの意図を推論できないことである。ユーザが見本画像とマッチングするコレクション中の他の画像を見いだすために画像又は画像の下位部分を選択するときに、どのような種類のマッチングをユーザが探しているのかは明らかでない。それというのも、いくつかの直交次元に従って画像をマッチングさせることができるからである。例えば、ユーザは、見本画像に現れるのと同じ人物の画像、又は見本画像が撮影されたのと同じイベント又は場所からの画像、又は見本画像と同じカラースキームを有する画像、又は上記のもの全ての組み合わせを探している可能性がある。現行のシステムは、見本画像が与えられたときの問い合わせの曖昧さを排除する方法を有してはいない。いくつかのシステムは、ユーザがシステムによって支持された探索次元を強調又は脱強調するのを可能にするために、スライダーバーの複雑な配列（“The QBIC project: Querying images by content using color, texture and shape”、W. Niblack他、Proc. of SPIE Storage and Retrieval for Image and Video Databases、第172-187頁、1994）を提案している。このアプローチは、システムの技術基盤を明らかにし、平均的なユーザに対してシステムの使用を難しくする。

ユーザが完全な探索要件を提供していなくても、ユーザにシンプルなインターフェースが画像コレクションを探索するのを可能にする必要性がある。

本発明の目的は、見本画像との類似性に基づいて、保存画像を検索する効果的な方法を提供することである。

この目的は、保存された画像のそれぞれが、当該画像の内容を表す異なるタイプのメタデータと関連付けられている複数の保存された画像の中から、見本画像に関連する画像を検索する方法であって：
（ａ） 各異なるタイプのメタデータと該見本画像との類似性に基づいて、各異なるメタデータ・タイプ毎に該保存画像から、画像の組を検索するステップ；
（ｂ） 各異なるタイプのメタデータに従って系統化された該検索画像の組を表示するステップ；そして
（ｃ） ユーザが１つ又は２つ以上の特定の検索画像の組を選択するステップ
を含んで成る画像を検索する方法によって達成される。

多くの画像検索方法が、種々の異なる特徴に基づいて利用可能である。しかし、見本画像に基づくシンプルなユーザ問い合わせは通常曖昧であり、現行のシステムは、曖昧さを排除する簡単な方法を提供しない。大抵のシステムは、問い合わせの曖昧さを排除するために複雑なユーザ相互作用を選ぶか、又はユーザが探していたものではないおそれのある結果をユーザに提供する。開示された方法では、問い合わせとして使用される見本画像の曖昧さは、有意義な方法で処理され、ユーザに全ての選択肢を提供し、そしてメタデータ・タイプの容易な組み合わせを可能にする。

データベース内に保存された複数の画像の中から、見本画像に関連する画像を検索する方法が記載されており、これらの保存画像のそれぞれは、種々のタイプのメタデータと関連付けられている。見本画像は、画像又はサブ画像の形でユーザによって提供される。この方法は、（ａ）各タイプのメタデータの類似性に基づいて見本画像とマッチングする画像をデータベースから検索し、（ｂ）各メタデータ・タイプに基づいて、マッチングしたものをユーザに対して有意義にグループ分け提示する、ことから成る。

図１は、本発明による方法を大まかに示すフローチャートである。 図２は、図１の方法に示されている見本画像と関連付けられたメタデータに基づいて表示された種々異なる検索画像の組を示す図である。 図３は、１つの特定のメタデータ・タイプに基づいて検索画像を表示する方法を示す図である。

本発明は、当業者に良く知られているように、コンピュータ・システム内で実施することができる。好ましい態様を具体的に参照しながら本発明を詳細に説明しているが、本発明の思想及び範囲内で変更及び改変を加え得ることは明らかである。

図１を参照すると、処理は、問い合わせ１０としての見本画像で始まる。見本画像は、自分のコレクションからユーザによって選択された、又は外部源（例えば公のウェブページ）から得られた１つ又は２つ以上の画像、画像から切り取られたサブ画像、又はビデオからのキーフレームであってよい。見本画像は、ユーザによって明確に提供することができ、或いは単に、表示されている現在の画像であってもよい。見本画像又はサブ見本画像は、ユーザのコレクション中の類似の画像を見いだす数多くの検索エンジン２０を通過させられる。各検索エンジンは、類似性を計算するために異なるタイプのメタデータを使用する。異なるタイプのメタデータは、キャプチャ・メタデータ、例えばキャプチャ日時及びＧＰＳ位置、導出された低レベル・メタデータ、例えば画像の色及びテクスチャ、導出された高レベル・メタデータ、例えば画像内の識別された人物及びイベント、並びにユーザ中心メタデータ、例えばキャプション又は利用情報を含む。検索エンジンの数は、メタデータを計算しマッチングさせるための技術の利用可能性に依存する。見本画像及び探索コレクションの両方は、種々の方法、例えばデジタルカメラ、スキャナでキャプチャリングされるか、或いはソフトウェアを使用して作成されたデジタル画像を含むことができる。

本発明によれば、各異なるタイプのメタデータと見本画像との類似性に基づいて、各異なるメタデータ・タイプ毎に保存画像から画像の組が検索される。各組内の画像は、見本画像との類似性が高い方から順番に順序付けられる（類似性が最も高い画像が最初に来る）。検索された画像の組は、類似性を見いだす際に使用されるメタデータ・タイプによって系統化することによってグループ分けされる（７０）。

見本画像の低レベル色・テクスチャ表現３０（メタデータ）と、保存画像のメタデータとを比較することにより、１つの画像の組が見いだされる。１つの態様では、色・テクスチャ表現は、２００２年１１月１２日付けでZhu及びMehrotraに発行された同一譲受人による米国特許第６，４８０，８４０号明細書に従って得られる。彼らの方法によれば、画像の色特徴ベース表現は、有意なサイズのコヒーレント色領域が知覚的に有意であるという想定に基づいている。従って、有意なサイズのコヒーレント色領域の色が知覚的に有意な色であると考えられる。従って、どの入力画像に関しても、そのコヒーレント色ヒストグラムが先ず計算される。この場合、画像コヒーレント色ヒストグラムは、コヒーレント色領域に属する特定色の画素の数の関数である。画素は、その色が、予め指定された最小数の隣接画素の色と等しいか又は類似している場合に、コヒーレント色領域に属すると考えられる。さらに、画像のテクスチャ特徴ベース表現は、それぞれの知覚的に有意なテクスチャが同じ色推移の多数の反復から成っているという想定に基づいている。従って、頻繁に発生する色推移を識別し、そしてこれらのテクスチャ特性を分析することによって、知覚的に有意なテクスチャを抽出して表現することができる。各塊にされた領域（サブイベントにおける背景領域全てからの画素によって形成される）毎に、その領域を記述する支配的な色及びテクスチャの組が生成される。支配的な色及びテクスチャは、画素全体の（定義された閾値に基づく）有意な割合を占める色及びテクスチャである。２つの画像の類似性は、米国特許第６，４８０，８４０号明細書において定義された有意な色及びテクスチャの類似性として計算され、そして閾値を上回る類似性を有する画像だけが検索される。

日時情報及び画像間の色類似に基づいて画像をイベント及びサブイベントに自動的にグループ分けする方法が、Loui及びPavieに発行された同一譲受人による米国特許第６，６０６，４１１号明細書に記載されている。イベント・クラスタリング・アルゴリズムは、イベントを検出するためにキャプチャ日時情報を使用する。サブイベントを検出するためには、ブロック・レベル色ヒストグラム類似性が用いられる。見本画像と同じイベントに属する画像の組４０が、保存された画像から検索される。

デジタル画像内で人間の顔を特定する目的で使用することができる数多くの周知の顔検出アルゴリズムがある。１つの態様の場合、“Probabilistic Modeling of Local Appearance and Spatial Relationships for Object Recognition”、H. Schneiderman及びT. Kanade, Proc. CVPR 1998, 第45-51頁に記載された顔検出子が使用される。この検出子は、画像画素データを与えられた顔の条件付き確率を概算する保存された確率分布を用いて、最大事後確率（ＭＡＰ）分類を実施するベイズ分類子を実行する。画像内で検出される人物は、顔認識技術、例えばIdentix, Inc.から入手可能な技術を用いることにより、ユーザの画像コレクション中に現れる通常は少人数のうちの１人として認識することができる。見本画像を与えられると、システムは、見本画像に存在するものと同じ人物を含む保存画像から画像の組５０を検索する。

画像がキャプチャリングされた場所は、キャプチャ・メタデータと関連付けられているＧＰＳ測定値（利用可能であれば）から検出することができ、或いは、ユーザによって提供することもできる。見本画像６０と同様の場所でキャプチャリングされた画像の組を、保存画像から検索することができる。類似の場所は、見本画像の場所から特定の距離以内の場所として定義することができる。画像を比較するために使用することができる考えられ得る次元のいくつかがここに列挙されているが、しかし追加の探索次元をこのメタデータ・タイプ・リストに加えることができ、このような次元も本発明の思想及び範囲に含まれることは明らかである。異なる類似性次元から検索された画像の組は、表示メカニズムに供給され、ここで画像の組は、それぞれが統一テーマを有する別個のグループとして提供される。例えばグループは、見本画像に対して類似又は同一の「イベント」、「人物」、「色」、又は「場所」を示すこともできる。図２及び図３は、グループ分けされた２つの可能な表示メカニズムを示す。

図２では、探索結果（検索された画像の組）は、画像サムネイル１１０を使用してウィンドウ１００内に表示されている。ウィンドウ１００は、仕切り１２０を用いて複数のセクションに分割されている。各セクションは、セクションの左に示されたメタデータ・タイプ（例えば「イベント」）に関して類似性が高い方から順番に、画像を示している。ユーザがセクション内の画像を全て見るのを可能にするように、スクロール矢印１３０がある。

図３では、探索表示ウィンドウ２００の上側は、上に各メタデータ・タイプを示すタブ組２１０を有している。ユーザがタブを選択したときに、そのタブが強調され（２２０）、そして探索結果に属する画像サムネイル２３０は、ウィンドウの残りの領域内に表示される。ユーザが全ての画像を見るのを可能にするように、スクロール・バーがある。

ユーザは、図１のチェックボックス１４０をクリックすることにより、又は図２の複数のタブを選択すること（シフト又はコントロール・ボタンを押しながらクリックするという一般的な方法によって）により、２つ又は３つ以上のメタデータ・タイプを容易に組み合わせることができる。２つ以上のメタデータ・タイプが選択される場合、ディスプレイは、選択された全てのメタデータ・タイプの検索された組に共通する画像サムネイルだけを示す（データベース用語でジョイン演算を実施する）。このことは、異なるタイプのメタデータを組み合わせることにより探索を精緻化する簡単な方法をユーザに提供する。サムネイルをダブルクリックするとより大きい画像を検索する、また、サムネイル表示からの複数の選択を可能にするという典型的な機能も、このインターフェースにおいて支持されると思われる。

画像の組を示すための２つの表示メカニズムをここで説明してきたが、ユーザが組を組み合わせることを可能にする画像の組を示す追加の表示メカニズムも本発明の思想及び範囲に含まれることは言うまでもない。

なお、図１〜３は、異なるメタデータ・タイプに基づいた探索次元のうちのいくつかを示している。しかし本発明は、探索技術が利用可能になる他の探索次元を含む。これらは、それぞれの探索結果を生成する並列処理経路として図１に加えることができる。図２及び図３において、追加の探索結果行又は探索タブを加えることにより、これらのその他の探索次元に対応する。例えば、それに基づいて探索することが可能なメタデータは、シーン・タイプであり得る。シーン・タイプは、シーン内に存在するオブジェクト、例えば野原、海辺、山、日没などに関する画像内容を記述する。“Learning multi-label scene classification”(Pattern Recognition, Vol. 37, 2004)においてM. Boutell他は、２つ以上のシーン・タイプを含有する画像を含めて、シーン・タイプを自動的に検出する方法を記載している。我々の用途においてこの技術を用いると、見本画像に基づく探索によって、見本画像と同じシーン・タイプを有する他の媒体を検索することができ、またシーン・タイプは、表示された探索結果においてタブ／行のうちの１つとして現れることができる。

本発明は、メタデータ及び見本画像の内容に従って保存画像を系統化することにより、保存画像から画像の組を検索する効果的でしかもシンプルな方法を提供する。種々の有意義なメタデータ次元において類似する画像の組が、保存画像から検索される。加えて、必要に応じて問い合わせの曖昧さを排除するためにユーザによって探索次元を組み合わせることにより、ユーザの見本画像に関連する結果を提供することもできる。

１０ 問い合わせ
２０ マッチング・検索エンジン
５０ 検索画像の組
６０ 検索画像の組
７０ 検索画像の組の系統化及び表示
１００ ウィンドウ
１１０ 画像サムネイル
１２０ 仕切り
１３０ スクロール矢印
１４０ チェックボックス
２００ 表示ウィンドウ
２１０ タブ
２２０ タブが強調される
２３０ 画像サムネイル

Claims (6)

1. 保存された画像のそれぞれが、異なるタイプのメタデータと関連付けられている複数の保存された画像の中から、見本画像に関連する画像を検索する方法であって：
   （ａ） 各異なるタイプのメタデータと該見本画像との類似性に基づいて、各異なるメタデータ・タイプ毎に該保存画像から、画像の組を検索するステップ；
   （ｂ） 各異なるタイプのメタデータに従って系統化された該検索画像の組を表示するステップ；そして
   （ｃ） ユーザが１つ又は２つ以上の特定の検索画像の組を選択するステップ
   を含んで成る。
2. ステップ（ｃ）が、ユーザが、該選択された特定の組の画像を目で見て、後の用途のために画像をさらに選択することを含む請求項１に記載の方法。
3. メタデータの特定のタイプが、イベント、人物、場所、色、テクスチャ、又はシーンのタイプを含む請求項１に記載の方法。
4. 該画像が、画像ファイル及び関連付けられたメタデータを有するデータベース内に保存される請求項１に記載の方法。
5. 該保存された画像が、インターネット上のウェブサイト若しくはデジタル・キャプチャ装置又はその組み合わせに由来する請求項１に記載の方法。
6. 該見本画像から該異なるタイプのメタデータを計算することをさらに含む請求項１に記載の方法。

Images