JP2001515629A - イメージのマルチスケールエッジ表示を用いる高速イメージ検索 - Google Patents

Abstract

(57)【要約】 イメージ検索装置は、ユーザ−入力ターゲットイメージとの一致の程度に依存してデータベースからイメージを検索する。ターゲットイメージ及びデータベースの各イメージは、各イメージ内のエッジ特徴のベクトルによって特徴づけられる。検索は、イメージそれ自体の比較ではなく特徴ベクトルの比較によって行われる。パフォーマンスを最適にするために、イメージの抽象の相違するレベルで、特徴ベクトルの組を各データベースイメージに関連させる。ターゲットイメージに類似するイメージが、任意の抽象レベルで検索される。検索速度を更に最適にするために、データベースをクラスタに区画化し、検索を、ターゲットイメージに最も類似するクラスタに制限する。

Description

【発明の詳細な説明】 イメージのマルチスケールエッジ表示を用いる高速イメージ検索 発明の背景１．発明の分野 イメージのマルチスケールエッジ表示を使用するイメージ検索方法及び装置を開 示する。本発明によって、デジタル的に符号化された写真、ＣＡＤデザイン線画 、ビデオシーン等のイメージを、高速検索のためにカテゴリー化することができ る。検索を、特徴エッジを有するスケッチ又はイメージを提供することによって 行う。イメージは、提供されたスケッチ又はイメージに対する類似の順序で検索 され及び提供される。本発明は、特に、写真アーカイブ、デジタル図書館、カタ ログ、ビデオのような大容量のイメージデータベースからのイメージ検索に利用 できる。２．関連技術の説明 データベースに格納されたビデオを検索するのに通常は種々の技術が用いられ ている。所望の特徴に適合するイメージを格納し及び検索する最も一般的な技術 は、「肖像」、「海洋画」、「山」、「大統領」のような各イメージにキーワードを関連 させることである。イメージに対してこのような関連のキーワードを有するので 、ユーザは、１個以上の検索ワードを探索すなわち検索装置に提供し、装置は、 検索ワードと記憶されたキーワードとの間の一致の程度に依存して１個以上のイ メージを表示する。通常のインターネット検索エンジンは、このような検索手段 に基づくテキストの例である。 検索に基づくグラフィックは、イメージ検索に対して最も直感的なアプローチ である。通常の検索装置に基づくグラフィッタは、種々の形態の色又はパターン の整合を用いる。典型的には、ユーザはサンプルイメージを提供し、装置は、同 様なパターンの色を有するイメージを検索する。例えば、海洋画のイメージを提 供することによって、検索したイメージは、下側に青色又は緑色を有し、中間に ベージュ色又は茶色を有し、上側に青色／白色を有するイメージとなる。通常の パターン整合技術を用いることもできる。例えば、イメージを、山のシーンに対 する上が尖った三角形とボディ形状に対する円及び矩形等との混合のような認識 できるパターンを有するようにカテゴリー化することができる。三角形のうちの 円のターゲットイメージは、例えば、背景に山を有する人の頭の写真を検索し、 矩形内の４個の円は、ルシモール（Ｒｕｓｈｍｏｒｅ）山の写真を検索する。 正式なアルゴリズム的アプローチも利用されている。１９７７年に刊行された ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｐｕｔｅｒｓ，Ｖｏｌ．Ｃ−２６，Ｎｏ．１０の ９８８−９９８ページのＦｒｅｉ及びＣｈｅｎ．Ｃ．Ｃ，による論文“Ｆａｓｔ Ｂｏｕｎｄａｒｙ ｄｅｔｅｃｔｉｏｎ：Ａ ｇｅｎｅｒａｔｉｏｎ ａｎ ａｎｅｗ ａｌｇｏｒｉｔｈｍ”において、ユーザは、スケッチ、線画又は詳細 なイメージを提供し、イメージ検索は、抽象レベルでスケッチをデータベース中 の各イメージと比較することによって行われる。各データベースイメージを、実 際のイメージの抽象画であるアイコンに関連させる。ターゲットアイコンは、タ ーゲットイメージを提供したユーザの抽象画から形成される。各データベースイ メージアイコンは、アイコン間の局所的又は全体的な相関の程度を算出すること によって、ターゲットイメージアイコンに対して算出される。最も強固な相関を 有するアイコンに関連したイメージがユーザに提供される。 これら現存するイメージ検索方法は、検索プロセス中に多量の分析及び演算を 必要とし、テキストに基づく検索技術に比べて著しく効率の悪い図形例によって イメージ検索を行う。しかしながら、テキストに基づく画像検索は、キーボード による各画像のカテゴリー化が要求され、これは、数百又は数千のイメージに適 用される場合には厄介なプロセスとなるおそれがある。また、キーボードの個別 の選択によって、記憶イメージを描写するためにカテゴライザが用いたワードと 所望のイメージを描写するためにサーチャが用いるワードとの間の一致の程度の 検索の有効性が制限される。パターンに基づく装置は、特徴パターンを予め決定 する必要があり、検索の効率及び有効性は、データベース中の相違する特性パタ ーンに直接関連する。 発明の要約 本発明の目的は、有効であり、かつ、データベースのイメージをカテゴリー化 するのに手動操作を必要としない図形に基づくイメージ検索装置を提供すること である。 本発明の他の目的は、データベースのイメージの内容に関係なく用いることが できるカテゴリー化方法を提供することである。 本発明の他の目的は、少ないユーザ入力で検索を行うことができるイメージ検 索装置を提供することである。 本発明によれば、イメージは、エッジ成分の関連の特徴とともにデータベース に格納される。同様な特徴を有するイメージはクラスタにグループ化される。ユ ーザは、ターゲットイメージをスケッチ又は詳細な形態で入力する。検索装置は 、データベースのイメージを特徴づけるのに用いられる技術と同一の技術を用い て、ターゲットイメージのエッジ成分を特徴づける。ターゲット特徴と同様な特 徴を有するクラスタが識別され、これらクラスタ内のイメージの特徴が、ターゲ ット特徴に対して算出ざれる。ターゲット特徴に対して最も類似した特徴を有す るイメージが表示用に提供される。特徴技術を用いることによって、各イメージ に対するターゲットの比較が迅速に行われる。階層的なクラスター化を行うこと によって、比較の数が減少され、比較のオーダを減少させることができる。 同一でないにもかかわらず装置が同様なイメージを配置することができるよう にするために、マルチスケール表示を利用する。本発明によれば、各イメージは 、複数のレベルの詳細で特徴づけられ、詳細レベルの各々の特徴をイメージに関 連させる。このようにして、ターゲットに全体的に類似するイメージが、ターゲ ットに最も類似するイメージとともに、表示の際に任意の詳細レベルで識別され る。 図面の簡単な説明 図１は、イメージ検索装置を示す。 図２は、本発明によるイメージ検索データベースを形成するフローチャートを 示す。 図３は、本発明によるイメージを検索するフローチャートを示す。 好適な実施の形態の説明 図１はイメージ検索装置を示す。ユーザ１１０は、グラフィック入力装置１２ １を用いて、ターゲットイメージのグラフィック表示をコントローラ１３０に供 給する。グラフィック入力装置１２１を、イメージスキャナ、デジタイザ、カメ ラ等とすることができる。それを、通常のマウス又はキーボードとすることがで き、グラフィックディスプレイ１２０と組み合わせて用いる場合、ターゲットイ メージを選択し又は形成するのに用いることができる。例えば、マウス及びディ スプレイを、通常利用できるコンピュータ線画パッケージを用いることによって 、イメージのスケッチを形成するのに利用することができる。マウス及びキーボ ードを、格納されたイメージから選択するのに利用することができる。スキャナ を利用して、写真又は線画のコピーを提供する。ユーザは、入力イメージを修正 して、ターゲットイメージを洗練し又は修正することができる。 コントローラ１３０を、ローカルディスクメモリ１４０、リモートディスクメ モリ１４２、記憶装置１４４等に配置することができるイメージのデータベース に接続する。イメージを、既に説明したようにスキャナや、デジタイザや、カメ ラのような入力装置を用いて形成し及び格納する。さらに、それらイメージを、 ＭＰＥＧ符号化ビデオや通常のビデオカセットテープで見つけられるように一連 の関連のイメージとすることができる。ここでは、用語データベースを、アイテ ム（イメージ）の収集を意味するものとし、その各々を、典型的には装置内のロ ケーションに対するアドレス又はインデックスによって独自に識別することがで きる。例えば、リモートディスクのイメージを、ファイルネームが続くディスク の指示によってアドレス指定することができる。カセットテープのイメージを、 イメージ又はフレームがテープ上のどこに配置されているかを識別するインデッ クスに続くカセットのタイトルによってアドレス指定することができる。従来窺 知のように、データベースを分布させることができ、単一の物理装置にある必要 も全ての装置に共通のアドレス形態にする必要もない。すなわち、ここで用いら れているように、イメージデータベースは、イメージを有する物理媒体に依存せ ず、各イメージにアクセスする技術に依存する媒体に依存しない。 本発明によれば、データベース内の各イメージは、イメージに含まれるエッジ のパターンに基づいて特徴づけられる。複数の技術が、イメージ内のエッジの検 出に利用できる。好適な実施の形態において、エッジを、上記文献のＦｒｅｉ及 びＣｈｅｎの技術を適用することによって決定して、検出可能なエッジの発生を 決定する。各エッジは、垂直、水平、左−対角線又は右−対角線として特徴づけ られる。雑音の影響を最小にするために、同一方向に３個の連続点を形成するエ ッジ点のみを利用する。相違するレベルのフィルタ処理を、多少の連続点を要求 することによって行うことができる。したがって、イメージ中の各点すなわち画 像素子（画素）は、エッジ上にあるか否かによって識別され、エッジ上にある場 合、４方向のうちのいずれかにエッジを向ける。イメージ中のエッジに関するイ メージの各画素を特徴づける他の手段は当業者には既知である。 イメージ中の各画素の特徴に基づいてイメージを特徴づけるために、ブロック ヒストグラム技術が用いられる。イメージは、個別のブロックに分解されすなわ ち区画化される。好適な実施の形態において、各イメージを、１６×１６格子の ブロック（２５６格子ブロック）に分解される。イメージが主に矩形である場合 、非対称格子構造を用いることができる。Ｍブロック（好適な実施の形態では、 Ｍ＝２５６）の各々に対して、ブロック内の画素の特徴のヒストグラムを演算す る。好適な実施の形態では、ヒストグラムは、水平エッジ、垂直エッジ及び２個 の対角線エッジの各々にあるブロック内に複数の画素を具える。別の画素特徴を 用いる場合、既に説明したように、ヒストグラムは、画素特徴カテゴリーの各々 に従う画素数を有する。各ヒストグラムを、ブロック中の全エッジ数に対して正 規化する。 したがって、本発明によれば、各イメージは、Ｎ個のエッジタイプのうちのＭ 個の規格化されたヒストグラムによって特徴づけられる。好適な実施の形態では 、各イメージは、２５６（Ｍ）×４（Ｎ）ベクトルによって特徴づけられる。す なわち、従来の装置における他のイメージによるイメージの特徴づけに比べて、 イメージは、エッジそれ自体ではなくエッジの特徴を表すベクトル又はマトリッ クスによって特徴づけられる。当業者には明らかなように、相違するイメージは 、それらが同様なエッジを有しなくても同様なエッジの特徴を有することができ る。本発明は、検索速度の向上によって得られる利点が誤りの起こりやすい検索 によって生じる不利益に優るという仮定に基づく。 ターゲットイメージの一般的な特徴に従うイメージの整合を確実にするために 、詳細な相違があるとしても、各イメージは、既に説明したヒストグラム法すな わち分解によって特徴づけられる。変動するレベルの詳細でイメージを表す複数 の 技術が従来既知である。例えば、インターネット上では、イメージは、最小の詳 細（不明瞭なエッジ等）で送信され、その後の連続的な送信によって洗練される 。好適な実施の形態において、元のイメージの連続的なブラーリングイメージが 、連続的な幅のガウス核（Ｇａｕｓｓｉａｎ ｋｅｒｎｅｌ）によって得られる 。元のイメージは、零（０）のガウス核の畳み込みに相当する。好適な実施の形 態では、５及び７のガウス核幅を用いて、元のイメージの２個の連続的なブラー リング表示を得る。他の技術を用いて、イメージのブラーリング表示を得ること ができ、２個より多い又は少ないブラーリング表示を利用することができる。ブ ラーリング表示の各々は、既に説明したようにブロックヒストグラムによって順 次特徴づけられる。 本発明によれば、各イメージを、Ｌレベルの詳細でＭ×Ｎエッジ特徴によって 表される。好適な実施の形態において、イメージの各々は、３個のガウス幅（０ ，５，７）の各々のイメージの畳み込みによって生じた詳細のレベルでサイズ２ ５６×４（１６×１６ブロック、４エッジ特徴）のブロックヒストグラムベクト ルによって表される。 各イメージのこれらヒストグラム表示を配置して、探索に有効な区画化を行う ために、イメージをクラスタにグループ化する。クラスタは、同様なヒストグラ ム特徴を有するイメージを具える。このクラスタ化は、詳細のレベルの各々で行 われ、詳細な各レベルは、独立したクラスタ化を有する。任意の数のクラスタ化 技術を用いることができ、好適な実施の形態では、詳細の各レベルのイメージの 全データベースを、Ｋ−平均クラスタ化(Ｋ−ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎ ｇ)を用いて区画化する。好適な実施の形態において、Ｋ、クラスタの数を８に 等しくする。このように全データベースをＫ−クラスタに区画化することによっ て、区画化は、相違するデータベース内のイメージの相違のレベルの変動を自動 的に補償する。例えば、好適な実施の形態において、データベースは、肖像、風 景、建物、集合写真の寄せ集めを具え、肖像の全てを１又は２クラスタに区画化 することを予測することができる。それに対して、データベースが肖像のみであ る場合、クラスタを、肖像の８個の相違する特徴の間で区別するように形成する 。そのようなクラスタ化技術は従来既知である。８より多い又は少ないクラスタ 区画 化を用いることができる。区画を増大させることによって探索プロセスの速度が 上がるが、探索の幅が制限され、イメージを見失うおそれがあり、探索者も同様 に考える。区画を減少させることによって探索プロセスは遅くなるが、探索の幅 が増大し、探索イメージのようにイメージを省略するおそれが少なくなる。 したがって、本発明によれば、データベースは、Ｌレベルの詳細の各々のイメ ージの各々のＭ×Ｎヒストグラムベクトルの特徴に基づいて、Ｌレベルの詳細の 各々でＫクラスタのイメージに区画化する。好適な実施の形態において、Ｋ＝８ ，Ｌ＝３，Ｍ＝２５６及びＮ＝４とする。 図２は、本発明によるデータベースのイメージを特徴づけるフローチャートを 示す。データベースイメージを特徴づけ及びカテゴリー化するプロセスは２００ から開始する。各データベースイメージは、２１０−２５９のループで処理され る。２１５では、データベースイメージは、詳細の相違するレベルの各々でＬ個 のイメージを形成するように畳み込まれる。Ｌ個のイメージの各々は、２２０ー ２４９のループで処理される。畳み込まれたイメージ内のエッジが２２２で検出 され、畳み込まれたイメージ内の画素は、２２４において、検出したエッジに依 存して特徴づけられる。イメージはＭブロックに区画化され、各ブロックは２３ ０−２３９のループで処理される。このループの２３５では、ブロック内の画素 のエッジの特徴は、ブロックに関連するヒストグラムに要約され及び正規化され る。２４０において、Ｍブロックのヒストグラムは、畳み込まれたイメージに関 連するヒストグラムベクトルを形成する。データベースイメージに関連するＬ個 のヒストグラムベクトルが、２５０で格納される。 全てのデータベースイメージを、Ｌレベルの詳細で証明したヒストグラムベク トルとして処理した後、データベースは、２６０−２６９のループにおいて、各 レベルの詳細に対するクラスタに区画化される。２６５において、各レベルの詳 細のデータベース・イメージをＫ個のクラスタに区画化する。各データベースイ メージを、Ｎ個のエッジ特徴のＭブロックのＬ個のヒストグラムベクトルに特徴 づけ、次いで、ヒストグラムベクトルを、Ｌレベルの詳細の各々でＫ個のクラス タにカテゴリー化し．２９９でプロセスを終了する。 上記イメージのカテゴリー化及び特徴づけに基づくデータベースからのイメー ジの検索を、後に説明する。既に説明したように、Ｋ，Ｌ，Ｍ及びＮの選択は制 約がないが、その選択は、当業者には理解できるように、整合プロセスの効率及 び有効性に影響を及ぼす。同様に、エッジを特徴づけるのに用いられる特定のプ ロセスは、詳細の相違するレベルでイメージを形成し、特徴のクラスタへの区画 化も、当業者には明らかなように自由に選択される。 図３は、上記イメージのカテゴリー化及び特徴づけを行うデータベースからイ メージを検索するフローチャートを示す。イメージの検索者は、表示ターゲット イメージを３１０で提供する。このターゲットイメージを、スケッチ、線画、十 分詳細なイメージ等とすることができる。ターゲットイメージを、データベース のイメージを特徴づけるのに用いられるプロセスと同様に処理し、図２及び３に おいて同一参照番号を同様なプロセスに対して付す。ターゲットイメージが、既 に抽象的なイメージであるスケッチである場合、それはＬレベルの詳細に畳み込 まれない。それが詳細なイメージである場合、データベースイメージに適用され るのと同一の畳み込みが適用されて、詳細の各レベルでターゲットイメージを発 生させる。２２２において、エッジはターゲットイメージ中で識別され、２２４ において、ターゲットイメージの画素は、データベース中のイメージの特徴づけ にどのような方法を用いても、識別されたエッジによって特徴づけられる。ター ゲットイメージは、２２６でＭ個のブロックに区画化され、ヒストグラムベクト ルは、２３０−２４０でデータベースイメージのヒストグラムベクトルと同様に して形成される。 ループ３５０−３５９に示すように、詳細Ｌの各レベルで、ターゲットヒスト グラムベクトルに最も近接するクラスタを決定する。３６０で、Ｌ個の最も近接 するクラスタは、識別され及びスーパクラスタ（ｓｕｐｅｒｃｌｕｓｔｅｒ）に グループ化される。このスーパクラスタの冗長は、データベースイメージがスー パクラスタに一度だけ含まれるようにして除去される。このスーパクラスタ内の ヒストグラムベクトルのみが次の探索に対して選択される。ループ３７０−３７ ９において、ターゲットヒストグラムベクトルとデータベースイメージヒストグ ラムベクトルの各々との間の距離が算出される。ソートされたリストをこのルー プ中で形成し、この場合、イメージの識別子を、ターゲットヒストグラムベクト ルからの距離が増大するような順序でリストに配置する。このように配置された リストは、典型的には最も近接する最初の１０個の画像、次に近接する１０個の 画像、等々を表示することによってイメージをユーザに表示するために、３９９ で戻される。 ターゲットヒストグラムベクトルからイメージヒストグラムベクトルまでの距 離を、種々の方法で決定することができる。好適な実施の形態において、ベクト ルのブロック間のｎ次のユークリッド距離を利用する。すなわち、ブロック間の 距離Ｄは、 となる。この場合、Ｎを、エッジ特徴の数とし、Ｔ_jを、エッジ特徴の各々に対 するターゲットヒストグラムエントリーとし、Ｉ_jを、イメージヒストグラムエ ントリーとする。好適な実施の形態において、Ｎ＝４とし、４個のエッジ特徴を 、水平、垂直、左−対角線及び右−対角線とする。ヒストグラムエントリーを、 各々が特徴を有する正規化された数の画素とする。ベクトル間の距離を形成する ために、距離の平均やメジアンのようなブロック距離の合成を計算する。既に説 明したように、クラスタに対する距離を、クラスタ内のイメージベクトルの特徴 の平均を用いて、同様に決定する。 本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が 可能である。

Claims (1)

1. 【特許請求の範囲】 １．データベースから１個以上のデータベースイメージを検索するイメージ検索 装置であって、 イメージに関連する特徴ベクトルを形成する手段を具え、 前記特徴ベクトルを形成する手段が、 前記イメージ内のエッジを検出する手段と、 検出したエッジを特徴づける手段と、 前記イメージを複数のブロックに区画化する手段と、 前記イメージの各ブロック内の検出したエッジの特徴に依存して前記ブロック を特徴づける手段とを具え、 前記特徴ベクトルを、前記イメージを具えるブロックの特徴の合成とし、 各データベースイメージを前記特徴ベクトル形成手段に供給して、各データベ ースイメージに関連したデータベース特徴ベクトルを形成する手段と、 ターゲットイメージを前記特徴ベクトル形成手段に供給して、前記ターゲット イメージに関連したターゲット特徴ベクトルを形成する手段と、 ターゲット特徴ベクトルと、１個以上の前記データベースイメージの各々に関 連したデータベース特徴ベクトルとの比較に依存して、１個以上の前記データベ ースイメージを選択する手段とを具えることを特徴とするイメージ検索装置。 ２．前記データベースイメージの各々に関連した１個以上の抽象イメージの組を 形成する手段と、 各抽象イメージを前記特徴ベクトル形成手段に供給して、各データベースイメ ージに関連した抽象特徴ベクトルの組を形成する手段と、 前記１個以上のデータベースイメージを選択する手段が、前記ターゲット特徴 ベクトルと前記１個以上のデータベースイメージの各々に関連した抽象特徴ベク トルのセットとの比較にも依存することを特徴とする請求の範囲１記載のイメー ジ検索装置。 ３．前記特徴ベクトル間の類似の程度を決定する手段と、 前記データベースイメージ間の類似の程度に依存して、前記データベースイメ ージをグループに区画化する手段と、 各グループ内の前記データベースイメージに関連したデータベース特徴ベクト ルに依存して、各グループに関連したグループ特徴ベクトルを形成する手段とを 更に具え、 前記１個以上のデータベースイメージを選択する手段が、前記ターゲット特徴 ベクトルと前記グループ特徴ベクトルとの間の類似の程度にも依存することを特 徴とする請求の範囲１記載のイメージ検索装置。 ４．前記検出したエッジを特徴づける手段が、前記検出したエッジの各々の向き を決定する手段を具え、 前記ブロックを特徴づける手段が、各ブロック内の前記検出したエッジの各々 の向きのヒストグラムを形成する手段を具えることを特徴とする請求の範囲１記 載のイメージ検索装置。 ５．前記特徴ベクトル間の類似の程度を決定する手段が、前記特徴ベクトル間の ユークリッド距離の演算を具えることを特徴とする請求の範囲３記載のイメージ 検索装置。 ６．前記データベースイメージを区画化する手段が、Ｋ−平均クラスタ化を行う 手段を具えることを特徴とする請求の範囲３記載のイメージ検索装置。 ７．各抽象イメージを形成する手段が、特定の幅のガウス核によって前記データ ベースイメージを畳み込む手段を具えることを特徴とする請求の範囲２記載のイ メージ検索装置。 ８．各データベースイメージに関連する抽象イメージの組が、少なくとも２個の 抽象イメージを具え、抽象の相違するレベルの各々で、 各イメージを２５６ブロックに区画化し、 各エッジの向きを、水平、垂直、左−対角線及び右−対角線としたことを特徴 とする請求の範囲４記載のイメージ検索方法。 ９．少なくとも２個の抽象イメージの各々を形成する手段が、相違する幅のガウ スカーネルによって前記データベースイメージを畳み込む手段を具えることを特 徴とする請求の範囲８記載のイメージ検索方法。