JP2005025746A - 視覚的類似性を測定する方法及び装置 - Google Patents

Abstract

【課題】類似性を最大化する大域的基準に基づいて、属性間の距離を考慮しつつ視覚的類似性を測定する方法を提供する。
【解決手段】モデルとして参照される一方の画像とターゲットとして参照される他方の画像の２つの画像の間の視覚的類似性を測定する方法であって、画像を領域に分割する先行ステップと、２つの画像の可能な領域対の間の視覚的類似性を計算するステップと、第１の固定閾値よりも高い類似性を有する所定数の領域対を選択するステップと、選択された領域対に基づいて、２つの画像の間の大域的な類似性を計算するステップを有しており、領域の各々には、領域の少なくとも１つの特徴を表す少なくとも１つの属性が関連付けられており、２つの画像の可能な領域対の間の視覚的類似性を計算するステップにおいて、突合せが行われた領域の属性間の距離と面積を考慮する。
【選択図】図２

Description

本発明は２つの画像の間の視覚的類似性を測定する方法及び装置に関する。

本発明の背景は、内容に基づいた画像のインデクシングと、静止画像のデータベースの視覚的類似性を介したサーチである。

従来、これらのデータベースはキーワードを介して手操作でインデクシングされた。通信スループットとストレージデバイスの容量の加速度的な増大による膨大な量のデジタルデータの蓄積のため、内容によって画像に自動的に注釈を付ける強力なツールの開発が必要となっている。

類似性に基づいたサーチの典型的な使用ケースでは、ユーザが見本画像を用いて自らのリクエストを明確化すると、システムは、視覚的にほぼ同じと見なされる画像のリストを距離の増加順にランク付けてユーザに送り返す。使用される距離は、画像から自動的に抽出された属性の間の距離である（それゆえ、内容による画像のインデクシングが問題となる）。

使用される属性は「ローレベル」のものであり、オブジェクトやイベントの観点からの場面の「意味論的」解釈ではなく、画像信号（色、テキスタイル、ウェーブレット変換など）と同様のものである。機械により計算された視覚的類似性はユーザが期待する意味論的類似性と一致しないことがあるが、このことがこれらの内容に基づいたインデクシング及びサーチシステムの主な限界を成している。

内容に基づいたサーチシステムの第１世代は、「大域的」属性、すなわち、画像全体にわたって計算された属性を使用する。画像内に存在する色のヒストグラムがその典型的な例である。画像内のオブジェクトの空間的位置の概念を考慮に入れるために、次の世代は画像を領域に分割し、「局所的」記述子を各領域に付与する。

画像の任意の区分化、例えば正方形格子のような区分化は、画像を構成するさまざまなオブジェクトの境界と全く明らかに一致しない。より正確な記述は、セグメンテーションアルゴリズムにより得られた任意の形状の領域に局所的記述子を付与することから成る。なお、この任意の形状の領域はオブジェクト又はオブジェクトの下位部分に相応している。したがって、人間の観察者により感知される直観的な類似性により近い視覚的類似性の自動計算が達成されることが期待でき、類似したオブジェクトが同じスケールでもなく、同じ位置にもなく、場面の一部を構成するだけであっても、２つの画像が似ていることを認識することが可能となる。

正方形格子に関連した局所的記述子により記述される２つの画像の間の距離の計算が準直接的であるのと同じように、大域的距離は同じ空間座標を有するブロックに関連した局所的属性の間の距離の平均であるが、この解決手段は２つの画像が任意の形状の領域に分割される場合には直観的とは程遠い。

非特許文献１は、任意の形状の領域に分割された２つの画像の間の視覚的類似性の測定を提案している。ここでは、２つの局所的属性の間の基本距離は既知であることが仮定されている。

この方法では、それぞれ２つの異なる画像（Ｑ，Ｔ）に属する２つの領域（Ｑ_ｉ，Ｔ_ｉ）は、それらの属性のうちの２つ（Ｆ_１，Ｆ_２）の間の距離が閾値εを下回るならば、類似している。画像Ｑの１つの領域はＴの高々１つの領域と突き合わされ、また逆の場合も同様である。可能なすべての類似した領域対の内で、選択されるのは次の式による類似性基準を最大化する対である。

ここで、ｐは画像ＱとＴとにおける類似した領域の数である。

したがって、この方法によれば、突合せが行われた領域により構成される２つの画像の表面積の分数比を介して視覚的類似性を測定することができる。

この従来技術において提案された方法によれば準最適な解決手段が提供され、この準最適な解決手段では、最大面積の候補領域の対に対して繰り返し突合せが行われる。

しかし、この方法は閾値εに非常に依存している。いったん２つの領域がそれらの属性がεを下回るがゆえに視覚的に類似していると宣言されると、この二項選択は残りの計算においてもはや再評価されない。あまりに低い閾値は画像間の大域的類似性を過小評価することにつながり、閾値をあまり高く設定すると、非常に似た又は逆に非常に似ていない領域対が同じレベルで処理されることになってしまう。

さらに、計測を行う際に、２つの画像における突合せが行われた領域のそれぞれのサイズ（面積）が考慮されていない。これにより、スケール（つまり、ズーム係数）の変更に対して頑強になることはできるが、非常に小さな領域が属性の観点からの類似性のみを基にして全画像と突き合わされると、不所望な状況を招いてしまう。さらに、このような構成は突合せが行われる表面積を最大化する大域的基準には好適である。
Ａ．Ｎａｔｓｅｖ，Ｒ．Ｒａｓｏｇｉ ａｎｄ Ｋ．Ｓｈｉｍ"Ｗａｌｒｕｓ：Ａ ｓｉｍｉｌａｒｉｔｙ ｒｅｔｒｉｅｖａｌ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｉｍａｇｅ ｄａｔａｂａｓｅｓ"，国際会議"ＡＣＭ ＳＩＧＭＯＤ ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｍａｎａｇｅｍｅｎｔ ｏｆ ｄａｔａ"，Ｐｈｉｌａｄｅｌｐｈｉａ Ｊｕｎｅ ９９の間に刊行

本発明の課題は、突合せが行われた領域対のリストを決定するために類似性を最大化する大域的基準に基づいて、属性間の距離を考慮しつつ視覚的類似性を測定する方法を提供することである。このようにして、本発明は画像間の類似性のより良い測定を可能にし、視覚的類似性の測定に基づいた画像サーチの用途で使用しうる。

上記課題は、モデルとして参照される一方の画像とターゲットとして参照される他方の画像の２つの画像の間の視覚的類似性を測定する方法であって、
前記画像を領域に分割する先行ステップと、
前記２つの画像の可能な領域対の間の視覚的類似性を計算するステップと、
第１の固定閾値よりも高い類似性を有する所定数の領域対を選択するステップと、
選択された領域対に基づいて、前記２つの画像の間の大域的な類似性を計算するステップを有しており、
ただし、前記領域の各々には、領域の少なくとも１つの特徴を表す少なくとも１つの属性が関連付けられている形式の方法において、
前記２つの画像の可能な領域対の間の視覚的類似性を計算する前記ステップにおいて、突合せが行われた領域の属性間の距離と突合せが行われた領域の面積とを考慮することにより解決される。

１つの有利な実施形態によれば、本発明はさらに前記選択ステップの後かつ大域的な類似性を計算する前記ステップの前に、選択された領域対のリストに基づいて、面積間の比が第２の閾値を上回る又は前記第２の閾値の逆数を下回る領域対を除外するステップを有する。

このようにして、以前に選択された領域対のうちで表面積がサイズの観点からあまりに異なる対を考慮しないことが可能になる。

１つの有利な実施形態によれば、前記２つの画像の可能な領域対の間の視覚的類似性を計算する前記ステップにおいて、突合せが行われた領域の属性間の距離と、突合せが行われた領域の表面積の前記２つの画像の表面積に対する分数比とが重み付けられる。

１つの有利な実施形態によれば、前記２つの画像の可能な領域対の間の視覚的類似性を計算する前記ステップと第１の固定閾値よりも高い類似性を有する所定数の領域対を選択する前記ステップは、モデル画像のすべての領域に対して、
モデル画像の領域を選択するサブステップと、
トラバースした領域とターゲット画像の領域との間の視覚的類似性を測定するサブステップと、
トラバースした画像に最も視覚的に類似した領域を選択するサブステップを有する。

これは、可能なすべての領域の間の類似性を計算する際の複雑さを低減する準最適な解決手段に相応している。実際、モデル画像の可能なすべての領域をターゲット画像の可能なすべての領域と突き合わせ、その後で領域対を決定することは、計算時間の観点から非常にコスト高である。提案された有利な実施形態は、モデル画像の領域を取り、この領域とターケット画像のすべての領域との間で視覚的類似性を測定し、モデル画像の領域に最も類似したターゲット画像の領域を選択することにより、計算を最小化することができる。このようにして形成された領域対はそれ以降もはや再評価されず、領域が残っている限りモデル画像の別の領域に移る。

１つの有利な実施形態によれば、モデル画像の領域を選択するサブステップは、モデル画像の領域を表面積の昇順に従って選択する。

このようにして、大きな表面積を有する領域は、視覚的類似性を示す領域のサーチにおいて優先される。

本発明はまた上記の利点を有する視覚的類似性装置を提供する。

本発明はまた、コンピュータ上で実行したときに、本発明による方法を実施することのできるプログラムコード命令をもったコンピュータプログラム製品も提供する。

本発明は、添付した図面を参照することにより、完全に非限定的な実施例を用いてより良く理解及び図解される。

図１には、分解モデル画像と呼ばれる画像ＱのＱ領域Ｑ_ｉへの分解の実施例が示されている。画像Ｑは本発明による装置に提出される見本画像を表しており、この画像に対して装置は類似した画像を返さなければならない。

画像Ｑは、正方形格子への分割とは異なり、任意の形状の領域に分割された画像である。領域Ｑ_ｉへの分割は、画像上に表示されたオブジェクト又はこれらオブジェクトの下位部分に従った分割に相当する。これらの下位部分は当業者により一般的に使用されているセグメンテーションアルゴリズムを介して得られる。

ターゲット画像と呼ばれる画像Ｔはデータベースの画像であって、この画像と選択された画像Ｑとの視覚的類似性がサーチされる。Ｔのようなデータベースの画像も画像Ｑと同じセグメンテーションの方法を用いて領域に分解される。

画像Ｑはユーザにより提供された画像であっても、それ自体はデータベースからの画像でユーザにより選択されたものであってもよい。したがって、画像Ｑは本発明による装置に提出されたときに領域Ｑ_ｉに分解されるか、又は前もって領域に分解され、データベースに格納されており、画像の領域への分解はデータベースと関連付けられている。

各領域には少なくとも１つの属性Ｆが関連付けられている。Ｆは選択された画像の特徴を表すものであり、非限定的な例としては、テクスチャ、色が挙げられる。択一的に、ウェーブレット変換の主係数も属性として採用してよい。

画像の各領域に関連付けられる属性Ｆは計算され、各画像とともにデータベースに格納される。属性Ｆは画像が装置により使用されているときに計算してもよいが、これは測定プロセスを著しく減速させてしまう。

属性を計算する方法は種々存在しており、当業者にとっては周知である。

本方法は、画像Ｑの領域Ｑ_ｉと画像Ｔの領域Ｔ_ｉの属性Ｆの間の距離を計算する。

計算される距離Ｄは例えばユークリッド距離であってよい。以下の数式では、距離Ｄは０と１の間の正規化された値を返すものと仮定する。

図２には、本発明の有利な実施形態に従った画像Ｑとターゲット画像Ｔとの間の類似性の計算方法が示されている。

ステップＥ１では、ユーザが画像Ｑを選択する。ユーザはこの画像Ｑに視覚的に類似した画像を見つけ出すことを望んでいる。

次に、ステップＥ２の間、画像Ｑは領域Ｑ_ｉへセグメント化される。領域Ｑ_ｉの数は画像の内容に依存している。これらの領域はおそらく画像内のオブジェクト又はこれらオブジェクトの下位部分に対応している。画像の各領域Ｑ_ｉについて、この画像の視覚的内容を表す属性も計算される。これらの属性は色、テクスチャを表すものであっても、又は、離散余弦分解もしくはウェーブレット変換の係数に対応するものであってもよい。

画像Ｑが、類似画像をサーチする基となるデータベースの画像である場合、画像Ｑはすでにセグメント化されており、領域に関連付けられた属性はすでに計算され、同様にデータベースに格納されている。この場合、ステップＥ２はオプションであり、直接ステップＥ１からＥ３へ行く。

ステップＥ３では、画像Ｑのすべての領域と候補画像Ｔのすべての領域との間の可能な類似性Ｅが、例として以下の式を用いて計算される。

ここで、
ｗは重み係数であり、
Ｄ（Ｑ_ｉ，Ｔ_ｉ）は領域Ｑ_ｉとＴ_ｉの属性Ｆの間の距離を表し、
ａｒｅａ（Ｑ_ｉ）及びａｒｅａ（Ｔ_ｉ）は領域Ｑ_ｉ及びＴ_ｉのそれぞれの面積をピクセルで表したものであり、
ａｒｅａ（Ｑ）及びａｒｅａ（Ｔ）は画像Ｑ及びＴのそれぞれの面積をピクセルで表したものである。

有利な実施形態では、重み係数ｗは１／３という値に固定される。

計算された類似性は、画像Ｑのすべての領域Ｑ_ｉを画像Ｔのすべての領域Ｔ_ｉと突き合わせることにより、画像Ｔの領域と画像Ｑの領域の属性間の距離Ｄと、領域によりカバーされている面積の画像全面積に対する比とを考慮している。

重み係数ｗは、属性間の距離を考慮して、突合せが行われた領域の面積に一層の重みをもたすことができる。このことは上記のＮａｔｓｅｖの方法とは対比的である。というのも、Ｎａｔｓｅｖの方法は面積を考慮しはするが、前もって選択しておいた領域に関してしか面積を考慮しないからである。

次に、ステップＥ４の間、最も類似した領域対（Ｑ_ｉ，Ｔ_ｉ）の選択が行われる。類似性が所定の閾値εを上回っている領域対のみが選択される。

Ｅ（Ｑ_ｉ，Ｔ_ｉ）≧ε
有利な実施形態では、閾値εは０．７という値に固定される。

これらの対が選択されない場合、ステップＥ６へ進む。ステップＥ６では、これらの対は非選択として参照され、それゆえおそらくは他の領域と突き合わされ、ステップＥ３へと進む。

そして、選択された領域対から、拡大／縮小係数が過度に大きな対が除外される。拡大／縮小係数は２つの領域の表面積の比により表される。例えば、２つの領域Ｑ_ｉとＴ_ｉを考えると、拡大／縮小係数Ｒは

と表せる。

この比Ｒが値αを上回る又は値１／αを下回る場合、領域対（Ｑ_ｉ，Ｔ_ｉ）は除外される（ステップＥ６）。

有利な実施形態では、値αは４に固定される。

この実施形態では、領域Ｑ_ｉが次々と選択され、領域Ｑ_ｉに対して最大の類似性を示す相応する領域Ｔ_ｉが発見されると次の領域へと移る。

別の実施形態では、すべての領域の間の可能なすべての類似性を計算し、その後、画像の総体的類似性を最適化する対を選択することも考えられる。

別の実施形態では、最大の領域に対して最適な類似性を示す領域が優先して見付け出されるように、領域Ｑ_ｉをサイズの昇順にトラバースすることも考えられる。

ステップＥ７では、対（Ｑ_ｉ，Ｔ_ｉ）が選択され、例えばストレージ手段に取っておかれ、それ以降はもはや選択可能ではなくなる。

すべての対（Ｑ_ｉ，Ｔ_ｉ）が突き合わされたら（ステップＥ８），Ｅ３に戻るか、さもなければステップＥ９に進む。

このステップでは、画像Ｑと候補画像Ｔとの間の大域的類似性を計算するために、画像ＱとＴとの間の大域的類似性が次の式に従って計算される。

ここで、ｐは、閾値εを超える類似性を有し、先行する除外ステップにおいて除外されなかった領域の数を表す。

この式は例として示されたものであり、突合せが行われた領域の属性間の距離及び面積を重み付けして考慮する他の任意の式に基づいて類似性を計算することも可能である。

任意の形状の領域への画像の分解を示す。 本発明による装置の動作のフローチャートの実施形態を示す。

Claims (7)

1. モデルとして参照される一方の画像（Ｑ）とターゲットとして参照される他方の画像（Ｔ）の２つの画像の間の視覚的類似性を測定する方法であって、
   前記画像を領域（Ｑ_ｉ，Ｔ_ｉ）に分割する先行ステップと、
   前記２つの画像（Ｑ，Ｔ）の可能な領域対（Ｑ_ｉ，Ｔ_ｉ）の間の視覚的類似性を計算するステップ（Ｅ３）と、
   第１の固定閾値（ε）よりも高い類似性を有する所定数の領域対（Ｑ_ｉ，Ｔ_ｉ）を選択するステップ（Ｅ４）と、
   選択された領域対（Ｑ_ｉ，Ｔ_ｉ）に基づいて、前記２つの画像の間の大域的類似性を計算するステップ（９）を有しており、
   ただし、前記領域の各々には、領域の少なくとも１つの特徴を表す少なくとも１つの属性（Ｆ）が関連付けられている形式の方法において、
   前記２つの画像（Ｑ，Ｔ）の可能な領域対（Ｑ_ｉ，Ｔ_ｉ）の間の視覚的類似性を計算する前記ステップ（Ｅ３）において、突合せが行われた領域（Ｑ_ｉ，Ｔ_ｉ）の属性（Ｆ）間の距離（Ｄ（Ｑ_ｉ，Ｔ_ｉ））と突合せが行われた領域（Ｑ_ｉ，Ｔ_ｉ）の面積とを考慮するようにしたことを特徴とする、２つの画像の間の視覚的類似性を測定する方法。
2. 前記選択ステップ（Ｅ４）の後かつ大域的類似性を計算する前記ステップ（Ｅ９）の前に、選択された領域対（Ｑ_ｉ，Ｔ_ｉ）のリストに基づいて、面積間の比が第２の閾値（α）を超えている又は前記第２の閾値の逆数（１／α）を下回る領域対（Ｑ_ｉ，Ｔ_ｉ）を除外するステップ（Ｅ５）をさらに有する、請求項１記載の方法。
3. 前記２つの画像（Ｑ，Ｔ）の可能な領域対（Ｑ_ｉ，Ｔ_ｉ）の間の視覚的類似性を計算する前記ステップ（Ｅ３）において、突合せが行われた領域（Ｑ_ｉ，Ｔ_ｉ）の属性（Ｆ）間の距離（Ｄ）と、突合せが行われた領域（Ｑ_ｉ，Ｔ_ｉ）の表面積の前記２つの画像の表面積に対する分数比とを重み付ける、請求項１又は２記載の方法。
4. 前記２つの画像（Ｑ，Ｔ）の可能な領域対（Ｑ_ｉ，Ｔ_ｉ）の間の視覚的類似性を計算する前記ステップ（Ｅ３）と第１の固定閾値（ε）よりも高い類似性を有する所定数の領域対（Ｑ_ｉ，Ｔ_ｉ）を選択する前記ステップ（Ｅ４）は、モデル画像（Ｑ）のすべての領域に対して、
   モデル画像の領域を選択するサブステップと、
   トラバースした領域とターゲット画像の領域との間の視覚的類似性を測定するサブステップと、
   トラバースした画像に最も視覚的に類似した領域を選択するサブステップを有する、請求項１から３のいずれか１項記載の方法。
5. モデル画像の領域を選択する前記サブステップにおいて、モデル画像の領域を表面積の昇順に従って選択する、請求項１から４のいずれか１項記載の方法。
6. ２つの画像の間の視覚的類似性を測定する装置であって、
   画像を領域（Ｑ_ｉ，Ｔ_ｉ）に分割するための手段と、
   前記２つの画像（Ｑ，Ｔ）の可能な領域対（Ｑ_ｉ，Ｔ_ｉ）の間の視覚的類似性を計算する手段と、
   第１の固定閾値（ε）よりも高い類似性を有する所定数の領域対（Ｑ_ｉ，Ｔ_ｉ）を選択する手段と、
   選択された領域対（Ｑ_ｉ，Ｔ_ｉ）に基づいて、前記２つの画像の間の大域的な類似性を計算する手段を有しており、
   ただし、前記領域の各々には、領域の少なくとも１つの特徴を表す少なくとも１つの属性（Ｆ）が関連付けられている形式の装置において、
   前記２つの画像（Ｑ，Ｔ）の可能な領域対（Ｑ_ｉ，Ｔ_ｉ）の間の視覚的類似性を計算する前記手段は、突合せが行われた領域（Ｑ_ｉ，Ｔ_ｉ）の属性（Ｆ）間の距離（Ｄ（Ｑ_ｉ，Ｔ_ｉ））と突合せが行われた領域（Ｑ_ｉ，Ｔ_ｉ）の面積とを考慮することができ、
   該装置は望むらくは請求項１から５のいずれか１項記載の方法を実施するのに適していることを特徴とする、２つの画像の間の視覚的類似性を測定する装置。
7. コンピュータ上で実行されたときに、請求項１から３のいずれか１項記載の方法を実施することのできるプログラムコード命令を有していることを特徴とする、コンピュータプログラム製品。

Images