JP2010262673A - カラー画像を表現する方法、カラー画像を表現する装置、制御装置、画像を表現するシステム、機械読取り可能媒体、コンピュータシステム、コンピュータプログラム、及びコンピュータ読取り可能媒体 - Google Patents

Abstract

【課題】柔軟性に富むカラー画像を表現する方法を得る。
【解決手段】カラー画像を表現する方法は、前記カラー画像あるいは前記カラー画像の領域のための代表的な色として２つ以上の色を選択するステップと、２つ以上の代表的な色を有する前記カラー画像あるいは前記カラー画像の領域のための代表的な色のそれぞれとの関連で色分散と関係があるパラメータを、各代表的な色について、計算するステップと、前記カラー画像あるいは前記カラー画像の領域における代表的な色に対応する画素の数に基づいて、前記カラー画像あるいは前記カラー画像の領域における代表的な色の相対的な有意性を表す重みパラメータを、各代表的な色について、計算するステップと、前記パラメータ及び重みパラメータを用いて、前記カラー画像あるいは前記カラー画像の領域のための、対応する色分散と関係があるパラメータ及び重みパラメータを含む記述子を導出するステップとを含む。
【選択図】図１

Description

本発明は、探索する目的のためにカラー画像あるいは画像のある領域を表現するための方法および装置、ならびにカラー画像あるいは画像領域を探索するための方法および装置に関する。

例えば、マルチメディアデータベースから静止画像および映像を検索するために、画像内容に基づいて探索を行う技術が知られている。そのような技術のために、色、テクスチャ、エッジ情報、形状および動きのような様々な画像の特徴が用いられている。そのような技術の応用形態には、インターネットサーチエンジン、双方向ＴＶ、遠隔医療およびテレショッピングがある。

画像データベースから画像を検索する目的のために、画像あるいは画像の領域が、画像内の色に基づく記述子を含む、記述子によって表現される。画像領域の平均色、画像領域内の色分散に基づく統計的な積率（モーメント：moment）、画像領域内の最も大きな面積を覆う色のような代表的な色、および１組の所定の色それぞれの領域内の画素の数をカウントすることにより１つの画像領域に対して導出される色ヒストグラムを含む、多種多様なタイプの色による記述子が知られている。

既知の内容による画像検索システムは、ＱＢＩＣ（画像内容による照会（クエリ：query））（米国特許第５，５７９，４７１号、ＭＰＥＧ仕様書Ｍ４５８２／Ｐ１６５：ＩＢＭ Ａｌｍａｄｅｎ Ｒｅｓｅａｒｃｈ ＣｅｎｔｅｒによるＭＰＥＧ−７のための色記述子を参照されたい）。そのシステムの動作モードのうちの１つでは、データベース内の各画像がブロックに分割される。各ブロックは、類似の色のサブセットにグループ化され、そのようなサブセットのうちの最も大きなサブセットが選択される。選択されたサブセットの平均色が、個々のブロックの代表的な色として選択される。その画像のための代表的な色に関する情報はデータベースに格納される。照会画像を選択することにより、データベース内の照会を行うことができる。その照会画像のための代表的な色に関する情報は、上記のようにして導出される。その後、照会情報は、最も近いもの同士の位置を特定するためのアルゴリズムを用いて、データベース内に格納された画像のための情報と比較される。

ＭＰＥＧ仕様書Ｍ４５８２／Ｐ４３７および米国特許第５，５８６，１９７号は類似のアプローチを開示するが、画像をブロックに分割することに関してさらに柔軟な方法と、画像を比較することに関する種々の方法とを用いる。ＭＰＥＧ仕様書Ｍ４５８２／Ｐ５７６、視認物体のための色表現に記載される別の変形例では、領域当たり２つの代表的な色それぞれに対して１つの値が用いられる。

ＭＰＥＧ仕様書Ｍ４５８２／Ｐ７６、ＭＰＥＧ−７のための色記述子、Ｖａｒｉａｂｌｅ−Ｂｉｎ色ヒストグラムのような、色ヒストグラムに基づいて画像を表現するためのいくつかの技術が開発されている。他の技術は、画像領域内の色分布に関する統計的な記述子を用いる。例えば、ＭＰＥＧ仕様書Ｍ４５８２／Ｐ５４９、映像シーケンス内の小領域の画像情報測定を用いることによる色記述子は、画像が高および低エントロピー領域に分割され、色分布の特徴が各タイプの領域について計算される技術を開示する。ＭＰＥＧ仕様書Ｍ４５８２／Ｐ３１９、ＭＰＥＧ−７色記述子提案書は、画像領域のための記述子として平均および共分散値を用いることを記載する。

上記の全てのアプローチは、重大な欠点を有する。そのうちのいくつか、特に色ヒストグラム技術は、精度は高いが、比較的大量の記憶量と長い処理時間とを必要とする。１つあるいは２つの代表的な色を用いる技術のような他の方法は、記憶および計算効率に優れているが、精度が不十分である。統計的な記述子は、これらの２つのタイプの技術の中間に位置するが、特に画素の色が領域内で広く変動する場合には、柔軟性に欠けるという問題が生じるようになる。

本発明は、画像領域の記述子を導出するために、画像領域内の代表的な色にそれぞれ対応する、多数の成分分布を用いて色分布を近似することにより画像を表現する方法を提供する。

また、本発明は、そのような記述子を用いて画像を探索する方法を提供する。

さらに、本発明は、その方法を実施するためのコンピュータプログラムと、そのようなコンピュータプログラムを格納するコンピュータ読取り可能媒体とを提供する。コンピュータ読取り可能媒体には、フロッピィディスクまたはＣＤ−ＲＯＭ、あるいはＲＡＭのようなメモリなどの個別の媒体を用いることができる。

本発明の一実施形態によるシステムのブロック図である。 第１の探索方法のフローチャートである。 第２の探索方法のフローチャートである。

本発明の実施形態は、添付の図面を参照して記載されるであろう。

本発明の一実施形態によるシステムが図１に示される。そのシステムは、システムの動作を制御するためのコンピュータのような制御ユニット２と、制御ユニット２に接続され、画像および文字を含む出力を表示するためのモニタのような表示ユニット４と、制御ユニット２に命令を入力するためのマウスのようなポインティング装置６とを備える。またそのシステムは、複数のデジタル画像を格納する画像データベース８と、以下にさらに詳細に記載される、画像データベース８に格納される各画像のための記述子情報を格納する記述子データベース１０とを備える。画像データベース８および記述子データベース１０はそれぞれ、制御ユニット２に接続される。またそのシステムは、制御ユニット２の制御下にあるコンピュータプログラムであり、記述子データベース１０上で動作するサーチエンジン１２も備える。

この実施形態では、システムの構成要素は、画像ライブラリのような１つのサイト上に設けられ、そのシステムの構成要素は永続的にリンクされる。

記述子データベース１０は、画像データベース内に格納される全ての画像の記述子を格納する。より具体的には、この実施形態では、記述子データベース１０は、各画像の複数の領域それぞれのための記述子を含む。その記述子は以下のように導出される。

画像データベース８内の各画像は、多数の重複しない、画素の矩形のブロックに分割される。各ブロックの場合に、その後、所定の数の色を選択し、各色のブロック内の画素の数をカウントすることにより、色ヒストグラムが導出される。

そのようにして得られた色ヒストグラムは、ブロック内の画素の色分布を示す。一般に、その領域は、１つあるいは複数の支配的な色を有し、そのヒストグラムは、その色に対応するピークを有するであろう。

そのブロックのための記述子は、ヒストグラムから特定されるような支配的な色に基づく。各ブロックのための記述子は以下の要素を有する。

（１）その記述子の次数と呼ばれる、支配的な色の数ｎ。ただし、ｎ≧１である。

各支配的な色の場合に、
（２）（ａ）ブロック内の各支配的な色の相対的な有意性を表す重み。ここでは、その重みは、ブロック内の全画素数に対する、関連する色のブロック内の画素の数の比である。

（ｂ）平均値

ただし、ｘ、ｙおよびｚは、色成分、ＲＧＢ色空間内の色の赤色、緑色および青色成分の添え字等を表す。ここで、平均値は、各支配的な色の色成分に対応する。

（ｃ）共分散行列

ただし、ｃ_ｊｉは色成分ｉの分散を表し、ｃ_ｉｊは成分ｉとｊとの間の共分散を表す。共分散行列は対称性を有しており（ｃ_ｉｊ＝ｃ_ｊｉ）、６つの数だけが格納される必要がある。

上記のような記述子を得る際に、色分布はｎ個の異なる下位分布として処理される。ただし、ｎは支配的な色の数であり、各下位分布は、平均値として各支配的な色のまわりに集中する。当業者には理解されるように、下位分布の範囲は都合よく重複させることができ、適当なアルゴリズムを用いて、重み、平均および共分散行列を計算するための各分布の範囲が画定される。記述子成分を推定する１つの方法は、実際のヒストグラムカウントと、ガウス関数の混合物から推定される値との間の差を最小にすることにより、ヒストグラムピークを中心とするガウス関数をそのヒストグラムに適合させることである。

記述子データベース１０は、画像データベース８内に格納された各画像の各ブロックのための、上記のような記述子を格納する。上記の記述子構造を用いる、各ブロック内の色分布の表現は、大量の記述情報を含むが、例えば、ヒストグラム情報全体より少ない記憶空間しか必要としない。

例として、特定のブロックのための色ヒストグラムは、３つの支配的な色に対応する３つのピークを示す場合がある。そのヒストグラム色分布は、３つの色下位分布として解析され、その結果、記述子は、支配的な色の数を示す数３と、３つの重みと、３つのピークのための色ベクトルに対応する３つの平均ベクトルと、３つの対応する共分散行列とを含むようになる。

そのシステムは、記述子データベースに格納された記述子を用いて、画像データベース内の画像を探索するために用いられる。本実施形態は、２つの探索方法、すなわち１つの色による探索と、領域による探索とを提供する。

１つの色による探索は、図２に示されるフローチャートを参照して記載される。

１つの色による探索では、ユーザは、ポインティング装置６と、表示ユニット４上に表示されるカラーホイールあるいはパレットのようなメニューとを用いて、探索されることになる色を選択することにより照会を入力する（ステップ１０２）。その後、制御ユニット２が、照会色のための個々の色成分である成分、すなわち赤色、緑色および青色成分を有する、照会色のための対応する色ベクトルを取得する（ステップ１０４）。

その後、制御ユニット２は、サーチエンジン１２を用いて、照会色を含む画像データベース８内の画像を探索する。サーチエンジン１２は、照会色の色ベクトルと、記述子データベース１０内の画像ブロックのための記述子とを用いて突合せ（matching）手順を実行する（ステップ１０６）。

突合せ手順は、突合せ値Ｍを計算するために以下の式を用いて実行される。

ただし、ｑは照会色の色ベクトルである。突合せ値は、そのブロックのための記述子内のｍおよびＣの各値を用いて、各ブロック内の各支配的な色に対して計算される。したがって、次数ｎの記述子の場合、ｎ個の突合せ値が得られる。

突合せ値は、確率密度関数をガウス関数としてモデル化して、照会色の色値によって画定される点におけるブロック内の各色の下位分布に対応する確率密度関数の値と見なすことができる。

所与の記述子の場合、突合せ値Ｍが大きいほど、対応するブロックが選択された色を有するものに近くなる。

突合せ値が記述子データベース１０内の各記述子に対して計算されたとき、サーチエンジン１２は、１より大きい次数の任意の記述子のためのＭのうちの最も大きな値のみを考慮に入れ、Ｍの最も大きな値で開始して、Ｍのサイズによって、その結果に順序を付ける（ステップ１０８）。

制御ユニット２はサーチエンジン１２から突合せ手順の結果を取り出し、画像データベースから、ＭのうちのＫ個の最も高い値に対応する、最も近いもの同士である所定の数Ｋ個の画像を検索する。その後、その画像は、表示ユニット４上に表示される（ステップ１１０）。制御ユニット２の設定によって、最も近いもの同士のうちの何個が表示ユニット上に表示されることになるかが決定される。その数はユーザによって変更することができる。

上記の説明からわかるように、１つの色による探索は、ユーザによって最初に選択された色と同じか、あるいはそれに近い支配的な色を有するブロックを含む画像を画像データベース８から検索する。

領域による探索は、図３に示されるフローチャートを参照して記載されるであろう。

領域による探索では、制御ユニット２は、画像データベース８からの画像である所定の１組の探索画像を、表示ユニット４上に表示するように動作する（ステップ２０２）。探索画像は全体として、制御ユニットの設定によって決定されるか、あるいはユーザによって入力される他の要件による場合がある。例えば、キーワードによる探索に対応する、より大きなシステムでは、ユーザは、言葉「葉（leaves）」を入力し、その結果、葉を示す所定の１組の画像が色による探索のための画像として示されるであろう。

探索画像はそれぞれ、記述子が導出されたブロックに対応して、画像をブロックに分割するグリッドで示される。その後、ユーザは、ポインティング装置６を用いて、対象の色分布を示す画像のうちの１つのブロックを選択する（ステップ２０４）。

その後、制御ユニット２は記述子データベース１０から、選択された画像ブロックのための記述子を検索し、それを照会記述子として用いる（ステップ２０６）。探索画像が画像データベース８から取り出されているので、その記述子は既に利用可能である。その後、サーチエンジンは、突合せ関数（matching function）を用いて、その照会記述子を記述子データベース内に格納される他の記述子と比較して探索を実行する（ステップ２０８）。

平均値ｍ_ａと共分散行列Ｃ_ａとを有する、支配的な色のうちの１つのための照会記述子、および平均値ｍ_ｂと共分散行列Ｃ_ｂとを有する、支配的な色のうちの１つのための別の照会記述子の場合、突合せ関数は以下のように定義される。

ただし、ｑは色ベクトルに類似の３−ｄ（３次元）ベクトルであり、積分は（０，０，０）〜（２５５，２５５，２５５）の範囲にわたって計算され、２５５は色成分の最大値である。他の実施形態における積分の範囲は、用いられる色座標系および表現に基づくであろう。

これは、画像ブロックのための対応する色の下位分布をガウス関数の形の確率質量関数としてモデル化し、それらが重複する度合いを判定すること、あるいは言い換えると、それらの間の類似性を判定することに等価である。上記の計算結果が大きくなると、対応する色分布は近くなる。この場合、その関数は、照会画像ブロック内の色の下位分布と、格納される画像内の色の下位分布とが重複する度合いを判定する。

１つの記述子を別の記述子と一致させるための完全な突合せ関数は以下のように定義される。

ただし、ｖおよびｗは下位分布のための重みであり、その合計は両方の領域内の全下位分布である。

したがって、照会画像ブロックの記述子内に記述される各支配的な色の場合、突合せ値は、記述子データベース１０からの記述子内の各支配的な色に対して計算される。結果的な突合せ値は重み付けされ、その後加算されて、ｍ_ｆに対応する最終的な突合せ値が与えられる。

完全な突合せ値は、照会記述子に関する、データベース内の全記述子に対して上記のように計算される。１つの色による探索の場合のように、その結果には順序が付けられ（ステップ２１０）、最も近いもの同士を示す、最も高い突合せ値を有するＫ個の画像が、ユーザのための表示ユニット上に表示される（ステップ２１２）。

以前の探索時に見いだされた画像内の画像領域を選択することにより、探索をさらに繰り返して実行することができる。

上記の測定とは異なる他の類似性測定を用いて、突合せを行うことができる。以下にさらに別の例を示す。

２つの領域のための一対の記述子Ｆ_１およびＦ_２の場合、類似性測定Ｄは、以下のように定義される。

ただし、

および

である。ここで、ｉおよびｊは代表的な色の添え字を表し、
ｘおよびｙは記述子の添え字を表し、
Ｎ_１は第１の記述子内の代表的な色の数であり、
Ｎ_２は第２の記述子内の代表的な色の数であり、
Ｐ_１ｉは第１の記述子内のｉ番目の重みであり、
Ｐ_２ｊは第２の記述子内のｊ番目の重みであり、
ｌ、ｕおよびｖは、その特定の例では、赤色、緑色および青色成分のような色成分を表し、
ｃおよびｖはそれぞれ支配的な色値（平均値）および色分散であり、ｃ_ｘｉｌはｘ番目の記述子のｉ番目の代表的な色値のｌ番目の成分であり、ｖ_ｘｉｌはｘ番目の記述子のｉ番目の代表的な色の分散のｌ番目の成分であり、それ以外も同様である。

上記の突合せ関数とは対照的に、記述子Ｆ_１およびＦ_２の場合、Ｄの値が小さいほど、記述子Ｆ_１およびＦ_２に対応する領域間のもの同士が近くなる。したがって、上記のような探索手順から生じる値Ｄは、Ｄの最も小さい値で開始して、サイズが大きくなるような順序を付けられる。ほかの点では、探索および突合せ手順は、概ね上記のように実行されることができ、適当な変更形態は種々の類似性測定を考慮に入れることである。この類似性測定は分散を使用し、共分散行列を使用しないことに留意されたい。したがって、ある領域のための記述子は分散を含むが、共分散行列を含む必要はない。それゆえ、記憶要件は、上記の記述子と比べて低減される。

本発明によるシステムは、たとえば、画像ライブラリ内に設けられる場合がある。別法では、そのデータベースは、システムの制御ユニットから遠く離れて配置され、電話線のような一時的なリンクあるいはインターネットのようなネットワークによって制御ユニットに接続される場合がある。画像および記述子データベースは、たとえば、永続記憶装置内に、あるいはＣＤ−ＲＯＭあるいはＤＶＤのようなポータブルデータ記憶媒体上に設けられる場合がある。

上記の説明では、色表現は、赤色、緑色および青色成分に関して記載されてきた。当然、色相、彩度および輝度を用いる表現、ＹＵＶ座標系による表現、あるいは任意の色空間内の色成分のサブセット、たとえばＨＳＩの色相および彩度のみを用いる表現のような他の表現を用いることもできる。

上記の本発明の実施形態は、画像の矩形のブロックに対して導出された記述子を用いる。記述子の根拠として、画像の他の小領域を用いることもできる。たとえば、種々の形状およびサイズからなる領域を用いることもできる。別法では、記述子は、物体、たとえば車、家あるいは人に対応する画像の領域に対して導出される場合もある。いずれの場合でも、記述子は、画像の全てあるいは画像の一部のみに対して導出されることができる。

その探索手順では、１つの色の照会を入力する代わりに、あるいは１つの画像ブロックを選択する代わりに、ユーザはたとえば、ポインティング装置を用いて、たとえばある画像のある領域を取り囲むことにより、その領域を記述することができ、その場合、制御ユニットがその領域のための記述子を導出し、それを用いて、上記のようにして探索を実行する。また、探索を開始するために画像データベースに既に格納されている画像を用いる代わりに、たとえば、イメージスキャナあるいはデジタルカメラを用いて、システムに画像を入力することもできる。そのような状況において探索を実行するために、再び、そのシステムは最初に、自動的に、あるいはユーザによって決定されるように、画像あるいは画像の領域に対する記述子を導出する。

本発明の適切な態様は、ハードウエアあるいはソフトウエアを用いて実装することができる。

上記の実施形態では、各代表的な色のための成分の下位分布は、ガウス関数を用いて近似され、その関数の平均および共分散が記述子値として用いられる。しかしながら、他の関数あるいはパラメータを用いて、たとえば、正弦あるいは余弦関数のような基底関数を用いて、記述子をその関数に基づいて導出することにより、成分分布を近似することができる。

Claims (16)

1. カラー画像を表現する方法であって、
   前記カラー画像あるいは前記カラー画像の領域のための代表的な色として２つ以上の色を選択するステップと、
   ２つ以上の代表的な色を有する前記カラー画像あるいは前記カラー画像の領域のための代表的な色のそれぞれとの関連で色分散と関係があるパラメータを、各代表的な色について、計算するステップと、
   前記カラー画像あるいは前記カラー画像の領域における代表的な色に対応する画素の数に基づいて、前記カラー画像あるいは前記カラー画像の領域における代表的な色の相対的な有意性を表す重みパラメータを、各代表的な色について、計算するステップと、
   前記パラメータ及び重みパラメータを用いて、前記カラー画像あるいは前記カラー画像の領域のための、対応する色分散と関係があるパラメータ及び重みパラメータを含む記述子を導出するステップと
   を含むカラー画像を表現する方法。
2. 前記代表的な色を選択するステップは、
   前記カラー画像あるいは前記カラー画像の領域のための色ヒストグラムを導出するステップを含む
   請求項１記載のカラー画像を表現する方法。
3. 前記代表的な色を選択するステップは、
   前記色ヒストグラム内の局所的なピークを特定するステップと、
   代表的な色として対応する色を選択するステップとを含む
   請求項２記載のカラー画像を表現する方法。
4. 前記局所的なピークは、平均値として処理され、
   前記色分散は、前記平均値に関して計算される
   請求項３記載のカラー画像を表現する方法。
5. 前記カラー画像あるいは前記カラー画像の領域は、物体に対応する
   請求項１から請求項４までのいずれかに記載のカラー画像を表現する方法。
6. 前記カラー画像あるいは前記カラー画像の領域を選択するステップをさらに含む
   請求項１から請求項５までのいずれかに記載のカラー画像を表現する方法。
7. 前記重みパラメータは、前記カラー画像あるいは前記カラー画像の領域における画素の数に対する、代表的な色に対応する画素の数の比に基づく
   請求項１から請求項６までのいずれかに記載のカラー画像を表現する方法。
8. 各重みパラメータは、関連した代表的な色の値を有する、前記カラー画像あるいは前記カラー画像の領域における画素のパーセンテージを指定する
   請求項７記載のカラー画像を表現する方法。
9. 請求項１から請求項８までのいずれかによる方法を実施するための
   カラー画像を表現する装置。
10. 請求項１から請求項８までのいずれかに記載された方法を実行するようにプログラムされる
    制御装置。
11. 請求項１０記載の制御装置を備える
    カラー画像を表現する装置。
12. 画像を表現するシステムであって、
    前記画像あるいは前記画像の領域のための少なくとも２つの支配的な色を求めるディテクタと、
    前記画像あるいは前記画像の領域内の画素に基づき色記述子を生成するように、各支配的な色について、前記画像あるいは前記画像の領域における画素の数に対する、支配的な色に対応する画素の数の比に基づいて、前記画像あるいは前記画像の領域内の他の色に対して支配的な色の有意性を表す重みパラメータ、及び色分散を求めるコントローラと、
    前記画像あるいは前記画像の領域のための記述として、前記色記述子を格納するメモリと
    を備える、画像を表現するシステム。
13. 画像あるいは前記画像の領域のための少なくとも２つの支配的な色を求める命令と、
    前記画像あるいは前記画像の領域内の画素に基づき色記述子を生成するように、前記画像あるいは前記画像の領域における画素の数に対する、支配的な色に対応する画素の数の比に基づいて、前記画像あるいは前記画像の領域内の他の色に対して各支配的な色の有意性を表す重みパラメータ、及び各支配的な色に関する色分散を求める命令と、
    メモリ内の前記画像あるいは前記画像の領域のための記述として、前記色記述子を格納する命令と
    を含む、複数の実行可能命令が格納される機械読取り可能媒体。
14. カラー画像を表現する方法であって、
    前記カラー画像の領域を選択するステップと、
    前記領域のための代表的な色として１つあるいは複数の色を選択するステップと、
    ２つ以上の代表的な色を有する領域の場合、個々の代表的な色に関連する色分布に関する少なくとも２つのパラメータを、各代表的な色について、計算するステップと、
    前記パラメータを用いて前記画像カラーの領域のための記述子を導出するステップと
    を含むカラー画像を表現する方法。
15. 請求項１から請求項８までのいずれかに記載された方法を実施するのに適する
    コンピュータシステム。
16. 請求項１から請求項８までのいずれかの方法を実行するための、コンピュータプログラム又はコンピュータプログラムを格納するコンピュータ読取り可能媒体。

Images