JP2004062804A - 画像の分類方法、画像特徴量空間表示方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】膨大な画像の特徴量空間を効率良くかつ精度よく表示する。
【解決手段】最初の４分割は数が等分になるように分割し、次の４分割は上位層での隣接するグリッドをベースに分割し、中心領域を４分割する場合には、グリッドＡ〜Ｄを参考にする。例えば領域１の代表点を求める場合にはＥ１（ｐ）＝Ｄ（Ａ，ｐ）＋Ｄ（Ｂ，ｐ）＋（１−Ｄ（Ｃ，ｐ））＋（１−Ｄ（Ｄ，ｐ））で示す評価関数を使用する。Ｄ（）は距離関数であり、Ａ〜ＤはグリッドＡ〜Ｄのそれぞれの代表点（画像）である。中心領域に含まれるすべての点で最も評価関数の値が小さい点が領域１の代表点となる。同様にしてにして領域２〜４の代表点を求める。代表点が確定したなら、中心領域に属するすべての点（画像）を代表点との距離に基づいて数が等分になるように分配する。
【選択図】　　　　図６

Description

【０００１】
【発明の属する技術分野】
本発明はコンピュータ上で膨大な画像を検索するための分類方法、この分類方法の実施も含む画像特徴量空間を生成するための画像特徴量空間生成方法、およびコンピュータ上で膨大な画像の特徴量空間を効率良くかつ精度よく表示するためのプログラム並びにこのプログラムを記憶する記録媒体に関する。
【０００２】
【従来の技術】
この種の技術として例えば「類似画像検索における特徴量空間の可視化インターフェイス」（電子情報通信学会技術研究報告　９８巻２０４号）で発表された技術が公知である。この技術は、検索結果である画像間の関係を効果的にユーザに提示する類似画像検索システムに関するもので、検索結果の画像特徴量を主成分分析することによって固有空間を計算し、そのインターフェースにおいてユーザが前記空間から２軸を選択すると、その２軸で張られる可視化空間上に検索結果の分布が縮小画像の散布図として表示されるようにしたもので、いわば主成分分析により特徴の多次元空間の次元数を落とし、２次元空間の表示空間にマップする方法である。この方法では、画像は２次元空間にそのまま配置されるのみである。また、画像を３次元空間にそのままは位置し、仮想的な３次元空間を２次元画面に表示する方式も知られている。
【０００３】
また、「インタラクティブ視覚化による文献集合からの情報獲得支援」（日本ソフトウェア科学会　第１３大会）で発表された技術も知られている。
【０００４】
【発明が解決しようとする課題】
しかし、前者の「類似画像検索における特徴量空間の可視化インターフェイス」では、画像特徴がベクトルデータで表現できない場合、又は、画像の類似性が線形結合で表せない場合には主成分分析ができず、この方法を利用できない。
【０００５】
また、後者の「インタラクティブ視覚化による文献集合からの情報獲得支援」では計算量が膨大で処理時間を要すためにインタラクティブな表示には向かない。
【０００６】
本発明はこのような従来技術の実情に鑑みてなされたもので、その目的は、膨大な画像の特徴量空間を効率良くかつ精度よく表示するための分類方法、画像特徴量表示方法およびコンピュータ上で膨大な画像の特徴量空間を効率良くかつ精度よく表示するためのプログラム並びにこのプログラムを記憶する記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するため第１の手段は、画像データベース中の全画像を分類する場合に、対象となる各画像を問合せ画像とし、分類代表画像データベースを予め設定された類似度（特徴量空間中の予め設定された半径内）で検索した結果、いずれの代表画像も検索されないときには、分類代表画像データベースにその画像を代表画像として登録する工程と、分類代表画像が検索されたときには、検索された分類代表画像に対応する分類にその画像が属していることから非登録とする工程とを備え、前記各工程に基づいて対象となるすべての画像を処理して分類を表す分類代表データベースを生成する分類方法を特徴とする。このように構成すると、既存の画像データベースを利用して効率良く分類を生成することが可能となる。
【０００８】
第２の手段は、第１の手段において、分類の代表画像を用いて画像データベースをその分類の類似度により検索することによって個々の分類に属する画像を得ることを特徴とする。このように構成すると、既存の画像データベースを利用して分類に属する画像を効率良く抽出することが可能となる。
【０００９】
第３の手段は、第１の手段において、生成された代表画像データベース中の代表画像に対して前記登録する工程と非登録とする工程を実行し、分類の階層構造を生成することを特徴とする。このように構成すると、既存の画像データベースを利用して効率良く階層分類を生成することが可能となる。
【００１０】
第４の手段は、第３の手段において、分類の階層構造を構成する各画像データベースをファイルシステムのディレクトリの階層で管理することを特徴とする。このように構成すると、既存のファイルしてのディレクトリ階層を利用して容易に階層分類を管理することが可能となる。
【００１１】
第５の手段は、画像から抽出された多数の特徴量が点在する特徴量空間を表現する表示空間を生成する上で特徴量空間と隣接する特徴量空間に属する特徴量との位置関係を考慮してｋ（ｋは１以上の整数）個のサブ特徴量空間に分割する工程、同時にｋ（ｋは１以上の整数）個のサブ特徴量空間の位置関係と同様の位置関係で表示空間をｋ（ｋは１以上の整数）個のサブ表示空間に分割する工程、個々のサブ特徴量空間とサブ表示空間を同様に分割し、個々の特徴量点がサブ特徴量空間に１つだけ属すようになるまで同様に再帰的に分割を繰り返し、最小の各サブ特徴量空間の特徴量点を最小のサブ表示空間に配置する工程の各工程を実行して画像特徴量空間を生成する画像特徴量空間表示方法を特徴とする。このように構成すると、高速かつ高精度な画像特徴量の表示空間を生成することが可能となる
第６の手段は、画像から抽出された多数の特徴量が点在する特徴量空間を表現する表示空間を生成する上で隣接する２つの特徴量空間の位置関係を考慮して特徴量空間から選択した基準点２点の各基準点から一定の半径に含まれる２つのサブ特徴量空間と、その２つのサブ特徴量空間のいずれにも含まれないサブ特徴量空間の計３つのサブ特徴量空間に分割する工程、前記サブ特徴量空間と同様の位置関係で表示空間もサブ表示空間に分割し、同様に再帰的に個々の特徴量点がサブ特徴量空間に１つとなるまで分割を繰り返し、最小の各サブ特徴量空間に対応する最小のサブ表示空間に対応する特徴量点を配置する工程の各工程を実行して画像特徴量空間を生成する画像特徴量空間表示方法を特徴とする。このように構成すると、１次元に特化して高精度な１次元の表示空間を生成することが可能となる。
【００１２】
第７の手段は、第６の手段において、再帰的に前記サブ特徴量空間に３分割する時に利用する基準点として隣接する特徴量空間の代表点に最も近い点を選択することを特徴とする。このように構成すると、１次元に特化して高精度な１次元の表示空間を生成することが可能となる。
【００１３】
第８の手段は、第５の手段において、表示空間を２次元と限定した場合に、再帰的に特徴量空間を分割する処理において格子状に上下左右に４つのサブ特徴量空間及び表示空間に分割することとし、この分割時に使用する４つのサブ特徴量空間の基準点を選択する時に、サブ特徴量空間に接している２つ隣接特徴量空間との距離が近く、かつ、接していない他の２つ隣接特徴量空間との距離が遠い特徴量空間の点をそのサブ特徴量空間の基準点として選択する工程をさらに実行することを特徴とする。このように構成すると、２次元に特化して高精度な２次元の表示空間を生成することが可能となる。
【００１４】
第９の手段は、第５の手段において、表示空間を３次元と限定した場合に、再帰的に特徴量空間を分割する処理において格子状に上下左右に６つのサブ特徴量空間及び表示空間に分割することとし、この分割時に使用する６つのサブ特徴量空間の基準点を選択する時に、サブ特徴量空間に接している３つ隣接特徴量空間との距離が近く、かつ、接していない他の３つ隣接特徴量空間との距離が遠い特徴量空間の点をそのサブ特徴量空間の基準点として選択する工程を実行することを特徴とする。このように構成すると、３次元に特化して高精度な３次元の表示空間を生成することが可能となる。
【００１５】
第１０の手段は、第５の手段において、前記画像が、画像データベース中の全画像を分類する場合に、対象となる各画像を問合せ画像として分類代表画像データベースを予め設定された類似度で検索した結果としていずれの代表画像も検索されないときには、分類代表画像データベースにその画像を代表画像として登録する工程と、分類代表画像が検索されたときには、検索された分類代表画像に対応する分類にその画像が属していることから非登録とする工程とを備え、前記各工程に基づいて対象となるすべての画像を処理して生成された分類を表す分類代表データベースの画像であることを特徴とする。このように構成すると、分類を表示することで膨大な画像空間を効率よく表示することが可能となる。
【００１６】
第１１の手段は、第１０の手段において、前記代表画像データベースが、生成された代表画像データベース中の代表画像に対して前記登録する工程と非登録とする工程を実行して生成された階層構造のものであることを特徴とする。このように構成すると、階層分類を表示することで膨大な画像空間を効率よく表示することが可能となる。
【００１７】
第１２の手段は、第５ないし第１１の手段に係る画像特徴量空間表示方法の各工程を実行する手順を書き込んでコンピュータプログラムとしたことを特徴とする。
【００１８】
第１３の手段は、第１２のプログラムがコンピュータによって読み込まれ、実行できるように記録媒体に書き込んだことを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
【００２０】
１．構成
図１は本発明の実施形態に係る画像表示装置の構成を示すブロック図である。
【００２１】
同図において、本発明の実施形態に係る画像表示装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、キーボード１０４、マウス１０５、モニタ１０６、ペリフェラルＩ／Ｆ１０７、ネットワークＩ／Ｆ１０８及び画像表示ユニット１１０から基本的に構成され、画像表示ユニット１１０は画像表示部１１１と画像アプリケーションを１１２を含む。ＣＰＵ１０１は画像表示装置１００全体及び前記各部の制御を司る。ＲＯＭ１０２にはＣＰＵ１０１が実行するプログラムが格納され、ＣＰＵ１０１はＲＡＭ１０３をワークエリアとして使用しながらＲＯＭ１０２に格納されたプログラムを実行する。ＲＡＭ１０３のワークエリアとして機能するとともに、ＣＰＵ１０１がプログラムの実行時に使用する動的なデータが格納される。キーボード１０４及びマウス１０５は入力装置として設けられ、モニタ１０６にはＣＰＵ１０１で処理するためのあるいは処理した情報が表示される。ペリフェラルＩ／Ｆ１０７はデジタルカメラ１２０やスキャナなどの周辺機器とのＩ／Ｆで、ネットワークＩ／Ｆ１０８はネットワーク１３０に接続するためのＩ／Ｆである。
【００２２】
図２は画像表示装置１００において実行される処理内容を示すブロック図である。
【００２３】
画像表示部１１１では、
１）特徴量抽出（画像データベース生成）２１０
２）分類（代表画像データベース生成）２２０
３）表示空間生成（特徴量空間及び表示空間分割）２３０
４）表示画面生成（画像配置）２４０
の各処理が実行される。なお、分類を必要としないときには前記分類処理２２０は省略される。
【００２４】
また、特徴量抽出処理では、画像データベース（以下、画像ＤＢと称す）２５０が、分類処理では、分類データベース（以下、分類ＤＢと称す）２６０がそれぞれ使用される。なお、画像アプリケーション１１２にはペリフェラルＩ／Ｆ１０７を介してデジタルカメラ１２０から画像情報が入力され、画像表示部１１１で前記処理が実行された後、モニタ１０６へと出力される。
【００２５】
以下、各処理について説明する。
【００２６】
２．特徴抽出処理
画像の特徴量として、ヒストグラム特徴、エッジ特徴、テクスチャ特徴など、様々あり、本発明はいずれの特徴に対しても応用できる。もちろん画像以外のデータから抽出した特徴量でもかまわない。例えばテキストから抽出した特徴量にも応用可能である。ここでは一般的なヒストグラム特徴の抽出処理について説明する。画像としてはデジタルカメラ、スキャナで入力した画像、Ｗｅｂからダウンロードした画像など様々考えられるが、本装置では入力方法を制限するものではない。
【００２７】
ヒストグラム特徴とは、適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶなど）を選択してこの空間を複数の領域に分割し、画像の各ピクセルが色空間のどの領域に対応するかを調べ、領域毎のピクセル数をカウントした後、全体のピクセル数により正規化し、正規化された領域毎のピクセル数のデータがヒストグラム特徴である。
【００２８】
このヒストグラムの特徴量がヒストグラムの特徴量空間のポイントとなる。ヒストグラムの特徴量空間での２つの特徴量の距離（画像の類似度であり０に近いほど類似していることを示す）として、一般に２つの特徴量の対応する各領域毎のピクセル数の差分の合計やユークリッド距離が利用される。こうして特徴量間の距離を求めることができる。その他の一般的に利用されている形状やテクスチャといった特徴量も利用が可能である。このようにして画像と特徴量は一対一に対応し、特徴量空間での特徴量間の関係を示すことは、画像間の関係を示すことを意味する。
【００２９】
３．表示画像（ビュー）生成及び表示画面生成
画像ビューアは指定された画像ＤＢ１５０に登録されている画像のビュー生成のための画像の座標値を生成する。指定された画像ＤＢ２５０が分類ＤＢ２６０であれば分類のビューアを生成することが可能である。基本的には画像間の類似性（特徴量間の距離）を考慮し、類似する画像を近い座標値に配置するが、表示形態（配置アルゴリズム）として以下の２つの方法がある。１つは３分割方法で、他の１つは４分割（グリッド）分割方法である。
【００３０】
３分割方法は、再帰的に領域を３分割する方法である。１次元に配置する場合に適している。つまり、表示座標軸ごとに特徴量を指定する場合に有効である。４分割（グリッド）分割方法は、グリッドベースに分割するもので、２次元にしか表示できないが精度が高い。詳細を以下に示す。
【００３１】
３．１　３分割方式
以下に３分割法による画像ＤＢに登録されている全画像を画像セットとし、以下処理手順中に使用される参考点Ａ、参考点Ｂをセットせず以下の処理を開始する。なお、本処理は再帰的に呼び出される。
【００３２】
１）画像セットの画像数が１の場合には領域の中心座標をその画像の表示座標としてセットし処理を終了する。画像セットの画像数が２以上の場合には画像セットを以下のように３分割する
・参考点Ａ、参考点Ｂの両方がセットされていない場合
ａ）　任意の一画像を画像Ｍとする。
【００３３】
ｂ）　画像Ｍから最も遠い画像を画像Ａとする。つまり、画像Ｍの特徴量から最も距離の遠い特徴量の画像を画像Ａとする。以下特徴量を省略して記述する。
【００３４】
ｃ）　画像Ａから最も遠い画像を画像Ｂとする。
【００３５】
ｄ）　画像セット中の画像で画像Ａから半径Ｒ内にある画像を画像セットＡとし、画像Ｂから半径Ｒ内にある画像を画像セットＢとする。そして、それ以外の画像を画像セットＣとする。
【００３６】
・参考点Ａ（参考点Ｂ）のみがセットされている場合
ａ）　参考点Ａ（参考点Ｂ）に最も近い画像を画像Ａとする。
【００３７】
ｂ）　画像Ａ（画像Ｂ）から最も遠い画像を画像Ｂ（画像Ａ）とする。
【００３８】
ｃ）　画像セット中の画像で画像Ａ（画像Ｂ）から半径Ｒ内にある画像を画像セットＡ（画像セットＡ）とし、画像Ｂ（画像Ａ）から半径Ｒ内にある画像を画像セットＢ（画像セットＡ）とする。そして、それ以外の画像を画像セットＣとする。
【００３９】
・参考点Ａ、参考点Ｂがセットされている場合
ａ）　参考点Ａに最も近い画像を画像Ａとする。
【００４０】
ｂ）　参考点Ｂに最も近い画像を画像Ｂとする。
【００４１】
ｃ）　画像セット中の画像で画像Ａから半径Ｒ内にある画像を画像セットＡとし、画像Ｂから半径Ｒ内にある画像を画像セットＢとする。そして、それ以外の画像を画像セットＣとする。
【００４２】
２）　画像領域の最も範囲の広い軸を画像セットＡの画像数と画像セットＢの画像数と画像セットＣの画像数に比例して表示領域を３分割して表示領域を表示領域Ａ、表示領域Ｂ、表示領域Ｃとする（図３は表示領域を１次元とした場合である）。
【００４３】
３）　表示領域Ｃ、画像セットＣ、画像Ａ、画像Ｂをそれぞれ表示領域、画像セット、参考点Ａ、参考点Ｂとして本処理１）を再帰的に呼び出す。
【００４４】
４）　表示領域Ａ及び画像セットＡをそれぞれ表示領域及び画像セットとし、参考点をセットせずに本処理を再帰的に呼び出す。
【００４５】
５）　表示領域Ｂ及び画像セットＢをそれぞれ表示領域及び画像セットとし、参考点をセットせずに本処理を再帰的に呼び出す。
【００４６】
６）　処理を終了する。
【００４７】
この方法は１次元に画像を並べる時に有効である。再帰的に領域を分割する時に前回の分割とは異なる表示領域の次元軸を利用することにより二次元や三次元にも対応できるが、この場合には次元軸が次々に変わるので参照点が意味をなさなくなる。したがって参照点を使えないので、一次元と比較すると精度が低下する。この方法で一次元に並べられた画像を図４のように並べることによって一般的な画像一覧表示の形態となり一般のアプリケーションへの応用が容易で、かつ、画像の類似性に基づいて整列しているので、効率よく画像をブラウズできる利点がある。
【００４８】
また、異なる特徴量を用いて上記方法によりそれぞれの特徴量ごとに一次元の座標が得られるので、各表示次元軸に特徴量を割り振った、二次元や三次元の表示画面を生成することが可能である。
【００４９】
３．２　４分割（グリッド）分割方法
前述の３分割方法とは異なり、図５に示すようにグリッドベースに表示領域を分割する。以下のように表示領域（画像空間）を順次４分割することで表示空間を生成する。最初の４分割は図７以降で説明する方法を用い、数が等分になるように分割する。次の４分割は上位層での隣接するグリッドをベースに分割する。図で網点で指定した部分の分割に関して説明する。図６に図５の３層目、４層目を上から見た図を示す。
【００５０】
図６の中心領域を４分割する場合には、グリッドＡ〜Ｄを参考にする。例えば領域１の代表点を求める場合には以下の示す式が評価関数となる。
【００５１】
Ｅ１（ｐ）＝Ｄ（Ａ，ｐ）＋Ｄ（Ｂ，ｐ）＋（１−Ｄ（Ｃ，ｐ））＋（１−Ｄ（Ｄ，ｐ））
ここで、Ｄ（）は距離関数（画像特徴量間の距離を表す関数）であり、Ａ〜ＤはグリッドＡ〜Ｄのそれぞれの代表点（画像）である。中心領域に含まれるすべての点で最も評価関数の値が小さい点が領域１の代表点となる。同様にしてにして領域２〜４の代表点を求める。代表点が確定したなら、中心領域に属するすべての点（画像）を代表点との距離に基づいて数が等分になるように分配する。
【００５２】
以下、４分割処理の一例について説明する。
【００５３】
１）　中心領域の全画像数Ｎから各部分画像の最大画像数Ｍを決める。
【００５４】
Ｍ＝Ｎ／４＋１
とする。
【００５５】
２）　残りの画像から一つずつ選択し、領域１〜４の代表点との距離を算出して最も近い領域（仮に領域１とする）に入れる。
【００５６】
３）　その領域１に入れることで部分空間の属する画像数がＭを超える場合は、その部分領域１の中で代表点から最も距離の遠い画像をその領域からはずす。はずした画像に対して他の領域との距離を算出して最も近い領域（仮に領域２とする）に入れる。ただし、その領域２に入れることで領域の属する画像数がＭを超える場合は、領域２から同様にして一画像をはずし、領域１，領域２を除く他の部分空間に対して同様の処理をする。このように画像数が超える場合には同様の処理を順次繰り返す。
【００５７】
１）２）３）を繰り返しすべての画像を割り振れば、均一に割り振られる。
【００５８】
このようにしてある階層のすべてのグリッドに画像を割り振り終えたなら、さらにグリッドを細分化した下位層に処理を移し同様に上位層のグリッドを利用して各グリッドの画像を割り振る。この処理を繰り返しすべてのグリッドに割り振られている画像数が１以下になったら処理を終了する。
【００５９】
これによって画像が表示空間に均一に割り振られる。
【００６０】
なお、ここでは二次元空間の例を示したが、同様にして３次元にも拡張することが可能である。
【００６１】
４．　画像の分類
以上のようにして多数の画像を表示画面に表示することが可能であるが、極めて大量の画像を１つの表示画面で表示すると、一画像のサイズを小さくしたり、またサイズを小さくできない場合には画像間の重なりが生じることになり、いずれにしろ視認性が落ち実用的ではない。本発明では、大量の画像を表示画面に表示する場合には、すべての画像を表示画面に表示するのではなく、画像を画像間の類似度を基に自動的に分類した上で、各分類の代表画像を表示画面で表示することで上記問題点を解決する。以下に画像の分類方法について述べる。
【００６２】
５．　分類方法
本分類方法は類似画像検索システム上で実現が可能である。類似画検索システムは例えば以下のように構成されている。類似画検索システム一例について説明する。
【００６３】
図７は類似画像検索システムのシステム構成を示すブロック図である。本システムは、コンピュータ１０と、記憶装置内のファイルシステム２０と、ディスプレイ３０とからなる。コンピュータ１０には画像管理検索プログラム１１が格納され、このプログラムにしたがって画像管理検索が実行される。画像管理検索プログラム１１には、画像登録ルーチン１２と画像検索ルーチン１５が含まれ、画像登録ルーチン１２では、第１の特徴抽出処理１３、登録処理１４が実行され、画像検索ルーチン１５では、第２の特徴抽出処理１６、検索処理１７及び結果表示処理１８の各処理が実行される。また、結果表示処理１８の処理結果はディスプレイ３０に出力され、ディスプレイ３０に表示される。
【００６４】
ファイルシステム２０は、画像ファイル２１と画像ファイル名ファイル２２と、画像特徴量ファイル２３の３つのファイルを含む。
【００６５】
このように大略構成されたシステムで、例えば、デジタルカメラなどで得られた画像ファイルが記憶装置上にあると想定する。このよう場合、指定されたフォルダに対しては、以下のような手順に沿って登録処理が行われる。
【００６６】
１）　未登録のフォルダ内の任意の画像ファイル２１を１つ選択する（ファイル選択）。
２）　選択された画像ファイル２１から画像特徴量を抽出する特徴抽出処理を実行する（特徴抽出処理）。
３）　画像ファイル２１を特定できるように画像ファイル名を画像ファイル名ファイル２２に登録し、これに対応付けして画像特徴量を画像特徴量ファイル２３に登録する登録処理を実行する（登録処理）。
４）フォルダ内に未登録の画像ファイル２１があれば１）に戻る。なければ終了する。
【００６７】
検索処理は以下のように処理される。
【００６８】
１）　検索用の問合せ画像を入力とする。入力画像は当該のフォルダ以外に存在する画像でも構わない（検索入力）。
２）　問合せ画像から画像特徴量を抽出する特徴抽出処理を実行する（特徴抽出処理）。
３）　問合せ画像の画像特徴量に類似する画像特徴量を検索する検索処理を実行する。この検索処理では、全画像特徴量と逐一比較して類似する画像を検索しても良いし、Ｒ−ＴＲＥＥなどの空間インデックスを利用しても良い。そして、検索結果の各画像特徴量に関連付けられている画像ファイル名を画像ファイル名ファイル２２から取得し、画像ファイル名の検索結果を生成する（検索処理）。
４）　画像ファイル名の検索結果から画像ファイル２１の画像を一覧してディスプレイ３０に表示する検索結果表示処理を実行する（表示処理）。
【００６９】
画像登録ルーチン１２の詳細は以下の通りである。
【００７０】
コンピュータ１０のファイルシステム２０のフォルダは図８のフォルダ構造の説明図に示すような３層のフォルダ２０ａ、２０ｂ，２０ｃ、２０ｄ、２０ｅの階層構造になっており、３層目の特定のフォルダ２０ｅに大量の画像があるとする。図のように画像特徴量ファイル２３と画像ファイル名ファイル２２は、その画像が存在するフォルダに配置しても良いし、画像のフォルダに対応付けられた別のフォルダに配置してもよい。
【００７１】
第１の特徴抽出処理１３で抽出される画像特徴量は例えば特開２０００−１８７７３１公報で使用されている特徴量を利用することが可能であり、また、画像検索では一般的なカラーヒストグラムなどが利用可能である。特開２０００−１８７７３１公報に開示されている特徴量の抽出は、用意された画像を構成する画素毎との色に基づいて各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて画像の色のヒストグラムを生成し、生成した色のヒストグラムを画像の特徴を表す特徴量として抽出するもので、その抽出の際に、色空間として人間が有する色の感覚に即した色空間であり、かつ、人間が有する色の感覚に即した単位の領域に分割された色空間を用いるようにしたものである。これらの特徴量データはベクトルデータ（多次元データ）として表現される。
【００７２】
登録処理１４では画像特徴量と画像ファイル名が図９の画像特徴量と画像ファイル名の関係を示す説明図から分かるように１対１に関連付けられて、画像特徴量ファイル２３と画像ファイル名ファイル２２に登録される。このように１対１に関連付けて登録しておくと、いずれか一方が検索できれば、他方の対応関係が分かっているのですぐに検索することができる。また、高速に画像検索を実行するために画像特徴量とは別にさらに特徴量のインデックスファイルをもつことも可能である。インデックスファイルとしては一般的な多次元空間インデックスのＲ−ＴＲＥＥなどが利用可能である。
【００７３】
画像検索ルーチン１５では、画像登録処理時の特徴量抽出（第１の特徴量抽出処理１３）と同様に、第２の特徴量抽出処理１６で指定された画像から特徴量が抽出される。抽出された画像特徴量は画像特徴量ファイル２３中の画像特徴量との類似性を逐一比較する。類似性は特徴量ベクトル空間内の距離により表現されるので、一般的な距離式であるユークリッド距離などが利用可能である。複数の特徴量を利用している場合には特徴量ごとの重み付けをユーザが指定できるようにしても良い。問合せ画像の画像特徴量と画像特徴量ファイル２３中の画像特徴量との距離が小さい（類似性が大きい）順に画像特徴量をソートし、上位からユーザが予め指定した画像数を画像検索の結果とする。または、ユーザが予め指定した距離（類似度）の閾値に入る画像特徴量を検索の結果とする。こうして得られた画像特徴量に関連付けられた画像ファイル名を画像ファイル名ファイル２２から取得し、各画像ファイル２１をロードして画像をディスプレイ３０に表示する。検索画面及び検索結果画面の一例を図１０に示す。図１０はディスプレイ３０の画面を示す正面図である。
【００７４】
図１０において、類似画像検索画面３１には、操作表示領域３１ａと検索結果表示領域３１ｂが設定され、操作表示領域３１ａが上部側に、検索結果表示領域３１ｂが下部側にそれぞれ設けられている。
【００７５】
操作表示領域３１ａの上部には、検索対象画像３２が表示され、その右側に「全体色」「色分布」「輪郭」及び「模様」の重み付けパラメータを指定するためのスライダーバー３３が表示されている。また、検索対象画像３２の下には検索フォルダの指定入力部３４が、前記スライド入力部３３の下には検索の最大表示数を入力する表示数入力部３５がそれぞれ設けられている。この画面では、検索フォルダはＣ￥ＴＥＭＰ￥ＤＡＴＡで、最大表示数は２０となっている。検索フォルダの指定入力部３４からは、画像フォルダの指定や下位フォルダを検索するか否かがの指定できる。これらの入力や指定が終了し、表示数入力部３５の下方に設けられた検索開始キー５０を選択すると前述の設定に基づいて検索が開始される。
【００７６】
検索結果表示領域３１ｂには、検索された類似の画像が表示される。この例では最大表示数が２０に設定されていることから２０の画像が表示されている。ユーザは、この中から意図する画像を選択すればよい。
【００７７】
フォルダの画像は編集されるかもしれないし、また画像ファイルが追加される可能性もある。そこで、ユーザがフォルダを指定して画像登録チェックを実行すると、指定されたフォルダ内の画像ファイル２１が画像ファイル名ファイル２２に登録されているか否かをチェックし、場合によっては再登録する。以下に処理を示す。
【００７８】
（１）フォルダ中の画像から任意の画像ファイルを１つ選択する。
（２）選択された画像ファイル２１が画像ファイル名ファイル２２に存在しない場合には、当該の画像ファイル２１を新規に登録する。
（３）当該画像ファイル２１が画像ファイル名ファイル２２に存在する場合でも、登録日時よりも画像ファイル２１の更新日時が新しければ再登録する。なお、これを実現するために画像ファイル名ファイル２２には登録日時も登録時に記録しておく必要がある。
（４）未処理の画像ファイルがあれば１）に戻る。
（５）画像ファイル名ファイル２２中の画像ファイル２１でフォルダ中に存在しない画像特徴量を画像特徴量ファイル２３及び画像ファイル名ファイル２２から削除する。
【００７９】
このような類似画像検索システムでは、フォルダ毎に画像から画像特徴量を予め抽出しておき、１対１に対応付けて画像特徴量ファイル２３と画像ファイル名ファイル２２に登録しておき、検索時には当該の画像特徴量を利用して検索することによってフォルダ単位の検索が可能となる。また、既に登録済みのフォルダに対してユーザが画像ファイル２１を変更した場合でも画像特徴量の更新を行なうことができる。さらに、フォルダの指定入力部３４からのフォルダの検索の指定に応じて検索時に指定されたフォルダに属する下位のフォルダすべてを検索の対象とすることができる。
【００８０】
画像はこのような類似画像検索システム上の画像ＤＢにすでに登録済みであることを前提に説明する。ユーザが分類ＤＢ名及び分類時の特徴量の重み付けＷ及び分類の類似度（特徴量空間上での距離）Ｒを指定し以下の処理により分類を行なう。
【００８１】
１）　類似画像検索システム上で分類ＤＢを生成する。分類ＤＢは各分類の代表画像のＤＢとなる。
【００８２】
２）　画像ＤＢから順に一画像（画像Ａ）取り出して以下の処理を実行する。すべての画像を取り出したら処理を終了する。
【００８３】
３）　指定された特徴量の重み付けＷ及び分類の類似度（距離）Ｒを用い画像Ａを問合せ画像として分類ＤＢを検索する。つまり、特徴量空間上で画像Ａの特徴量のポイントを中心とした距離Ｒの範囲内にある特徴量の画像を検索する。分類ＤＢから代表画像が１つでも検索されたならば２）に戻る。検索されるということは画像Ａは検索された代表画像の分類に属していることになるので、新たに分類を生成する必要がないことを意味する。
【００８４】
４）　分類ＤＢから代表画像が検索されないならば画像Ａを分類の代表画像として分類ＤＢに登録し、２）に戻る。代表画像が検索されないということは、この時点で分類ＤＢに登録されているいずれの分類にも属さず、新たに分類を生成する必要があることを意味する。
【００８５】
前記処理により分類ＤＢには個々の分類の代表画像が登録されたことになる。分類に含まれる画像を取り出す場合には分類の代表画像を問合せ画像として画像データベースを検索すればよい。
【００８６】
これは基本的なクラスタリング手法であるＮＮ法に準じているが、ＮＮ法では画像数が増大するにつれて処理時間が低下するが、この方法では類似画像検索システム上で実装するので高速な類似画像検索システムであれば飛躍的に分類速度を向上することが可能となる。
【００８７】
このように生成された分類ＤＢも画像ＤＢの１つであるので、分類数が非常に大きくなった場合は分類ＤＢをさらに同様にして分類することにより分類階層を作成することで、より少ない分類数にすることも可能である。
【００８８】
６．　分類データ構成
前述のように分類数が多くなった場合には階層的に分類を生成したり、または、１つの画像ＤＢ２５０に対して異なる画像特徴量を用いた分類を複数生成したりする場合に適するように以下のようにデータを構成する。インデントはファイルシステムのディレクトリの包含関係を示し、画像ＤＢディレクトリには画像ＤＢ２５０と分類ＤＢディレクトリが存在することを意味する。
【００８９】
・画像ＤＢディレクトリ（画像ＤＢ名ディレクトリ）（▲１▼）
・画像ＤＢ（▲２▼）
・（第一）分類ＤＢディレクトリ（分類ＤＢ名）ディレクトリ（▲３▼）
・（第二）分類ＤＢ（▲４▼）
画像ＤＢ２５０や分類ＤＢ２６０は画像検索システムにより管理されるＤＢである。▲１▼▲２▼と▲３▼▲４▼が全く同様の構成となり、前述のように分類ＤＢ２６０もデータとしては画像ＤＢ２５０の１つであるので、分類ＤＢ２６の代表画像をさらに分類することが可能となる。その場合には、以下のようになる。
【００９０】
・画像ＤＢディレクトリ（画像ＤＢ名ディレクトリ）（▲１▼）
・画像ＤＢ（▲２▼）
・第一分類ＤＢディレクトリ（分類ＤＢ名）ディレクトリ（▲３▼）
・第一分類ＤＢ（▲４▼）
・第二分類ＤＢディレクトリ（分類ＤＢ名）ディレクトリ（▲５▼）・第二分類ＤＢ（▲６▼）
ディレクトリの階層を利用して同様に何階層にでも再帰的に分類ＤＢを生成することができる。ファイルシステムのディレクトリを利用して分類階層を表現しているので、分類階層を本システムで管理する必要がない利点がある。
【００９１】
また、１つの画像ＤＢに対して異なる特徴量を指定して複数の分類ＤＢを生成した場合のデータ構成を以下に示す。
【００９２】
・画像ＤＢディレクトリ（画像ＤＢ名ディレクトリ）（▲１▼）
・画像ＤＢ（▲２▼）
・Ａ分類ＤＢディレクトリ（分類ＤＢ名）ディレクトリ（▲３▼）
・Ａ分類ＤＢ（▲４▼）
・Ｂ分類ＤＢディレクトリ（分類ＤＢ名）ディレクトリ（▲５▼）
・Ｂ分類ＤＢ（▲６▼）
７．　分類画像のビュー生成
前記分類とビュー生成を組み合わせることによって大規模画像データベースのビューを効率良く生成することが可能となる。前述の画像ＤＢ２５０に登録されている画像を前述のビュー生成方式でビューを生成することは可能であるが、画像数が膨大な場合にはユーザが見やすいビューとはならない。そこで分類ＤＢ２６０には分類を代表する画像、つまり全画像集合を代表する画像のみが登録されているので、その分類ＤＢ２６０に対するビューを生成すればよい。それでも代表画像数が多い場合には事前に第二階層の分類を生成しておけば第二階層の分類ＤＢ２６０のビューを生成すればよい。階層構成は既存のファイルシステムのディレクトリ階層で表現され、各分類は独立した同一形式のＤＢで構成されているので、分類階層を管理する必要もないし、画像ＤＢ２５０、第一分類、第二分類のすべての同じ仕組みで処理が可能となる。
【００９３】
なお、この実施形態では、画像から抽出した特徴量を使用した例について説明しているが、あらゆる特徴量（文書から抽出した特徴量など）に応用が可能である。
【００９４】
【発明の効果】
以上のように本発明によれば、膨大な画像の特徴量空間を効率良くかつ精度よく表示するための分類方法および画像特徴量表示方法を提供することができる。
【００９５】
また、コンピュータ上で膨大な画像の特徴量空間を効率良くかつ精度よく表示するためのプログラム並びにこのプログラムを記憶する記録媒体を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像表示装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る画像表示装置において実行される処理内容を示すブロック図である。
【図３】３分割の配置アルゴリズムを説明するための図である。
【図４】１次元に画像を並べる時の状態を説明するための図である。
【図５】４分割の配置アルゴリズムを説明するための図である。
【図６】図５の３層目、４層目を上から見た図を示す。
【図７】類似画像検索システムのシステム構成を示すブロック図である。
【図８】図７のファイルシステムのフォルダ構造を示す説明図である。
【図９】図７におけるファイルシステムの画像ファイル名ファイルと画像特徴量ファイルに格納された画像ファイル名と画像特徴量との対応関係を示す図である。
【図１０】類似画像検索システムにおける検索画面と検索結果画面の一例を示す図である。
【符号の説明】
１００　画像表示装置
１０１　ＣＰＵ
１０６　モニタ
１０７　ペリフェラルＩ／Ｆ
１１０　画像表示ユニット
１１１　画像表示部
１１２　画像アプリケーション
２１０　特徴量週出処理
２２０　分類処理
２３０　表示空間生成処理
２４０　表示画面生成処理
２５０　画像ＤＢ
２６０　分類ＤＢ

Claims (13)

1. 画像データベース中の全画像を分類する場合に、対象となる各画像を問合せ画像とし、分類代表画像データベースを予め設定された類似度で検索した結果、いずれの代表画像も検索されないときには、分類代表画像データベースにその画像を代表画像として登録する工程と、
   分類代表画像が検索されたときには、検索された分類代表画像に対応する分類にその画像が属していることから非登録とする工程と、
   を備え、前記各工程に基づいて対象となるすべての画像を処理して分類を表す分類代表データベースを生成することを特徴とする分類方法。
2. 分類の代表画像を用いて画像データベースをその分類の類似度により検索することによって個々の分類に属する画像を得ることを特徴とする請求項１記載の分類方法。
3. 生成された代表画像データベース中の代表画像に対して前記登録する工程と非登録とする工程を実行し、分類の階層構造を生成することを特徴とする請求項１記載の分類方法。
4. 分類の階層構造を構成する各画像データベースをファイルシステムのディレクトリの階層で管理することを特徴とする請求項３記載の分類方法。
5. 画像から抽出された多数の特徴量が点在する特徴量空間を表現する表示空間を生成する上で特徴量空間と隣接する特徴量空間に属する特徴量との位置関係を考慮してｋ（ｋは１以上の整数）個のサブ特徴量空間に分割する工程、
   同時にｋ（ｋは１以上の整数）個のサブ特徴量空間の位置関係と同様の位置関係で表示空間をｋ（ｋは１以上の整数）個のサブ表示空間に分割する工程、
   個々のサブ特徴量空間とサブ表示空間を同様に分割し、個々の特徴量点がサブ特徴量空間に１つだけ属すようになるまで同様に再帰的に分割を繰り返し、最小の各サブ特徴量空間の特徴量点を最小のサブ表示空間に配置する工程、
   の各工程を実行して画像特徴量空間を生成することを特徴とする画像特徴量空間表示方法。
6. 画像から抽出された多数の特徴量が点在する特徴量空間を表現する表示空間を生成する上で隣接する２つの特徴量空間の位置関係を考慮して特徴量空間から選択した基準点２点の各基準点から一定の半径に含まれる２つのサブ特徴量空間と、その２つのサブ特徴量空間のいずれにも含まれないサブ特徴量空間の計３つのサブ特徴量空間に分割する工程、
   前記サブ特徴量空間と同様の位置関係で表示空間もサブ表示空間に分割し、同様に再帰的に個々の特徴量点がサブ特徴量空間に１つとなるまで分割を繰り返し、最小の各サブ特徴量空間に対応する最小のサブ表示空間に対応する特徴量点を配置する工程、
   の各工程を実行して画像特徴量空間を生成することを特徴とする画像特徴量空間表示方法。
7. 再帰的に前記サブ特徴量空間に３分割する時に利用する基準点として隣接する特徴量空間の代表点に最も近い点を選択することを特徴とする請求項６記載の画像特徴量空間表示方法。
8. 表示空間を２次元と限定した場合に、再帰的に特徴量空間を分割する処理において格子状に上下左右に４つのサブ特徴量空間及び表示空間に分割することとし、この分割時に使用する４つのサブ特徴量空間の基準点を選択する時に、サブ特徴量空間に接している２つ隣接特徴量空間との距離が近く、かつ、接していない他の２つ隣接特徴量空間との距離が遠い特徴量空間の点をそのサブ特徴量空間の基準点として選択する工程をさらに実行することを特徴とする請求項５記載の画像特徴量空間表示方法。
9. 表示空間を３次元と限定した場合に、再帰的に特徴量空間を分割する処理において格子状に上下左右に６つのサブ特徴量空間及び表示空間に分割することとし、この分割時に使用する６つのサブ特徴量空間の基準点を選択する時に、サブ特徴量空間に接している３つ隣接特徴量空間との距離が近く、かつ、接していない他の３つ隣接特徴量空間との距離が遠い特徴量空間の点をそのサブ特徴量空間の基準点として選択する工程を実行することを特徴とする請求項５記載の画像特徴量空間表示方法。
10. 前記画像が、画像データベース中の全画像を分類する場合に、対象となる各画像を問合せ画像として分類代表画像データベースを予め設定された類似度で検索した結果としていずれの代表画像も検索されないときには、分類代表画像データベースにその画像を代表画像として登録する工程と、分類代表画像が検索されたときには、検索された分類代表画像に対応する分類にその画像が属していることから非登録とする工程とを備え、前記各工程に基づいて対象となるすべての画像を処理して生成された分類を表す分類代表データベースの画像であることを特徴とする請求項５記載の画像特徴量空間表示方法。
11. 前記代表画像データベースが、生成された代表画像データベース中の代表画像に対して前記登録する工程と非登録とする工程を実行して生成された階層構造のものであることを特徴とする請求項１０記載の画像特徴量空間表示方法。
12. 請求項５ないし１１のいずれか１項に記載の画像特徴量空間表示方法の各工程を実行する手順がコンピュータによって実行可能に書き込まれたプログラム。
13. 請求項１２記載のプログラムがコンピュータによって読み込まれ、実行可能に書き込まれた記録媒体。

Images