JP2009169533A - 画像配置データ生成装置及び画像配置データ生成方法 - Google Patents

Abstract

【課題】画像検索の容易な画像マップを表示するための画像配置データを生成する。
【解決手段】画像配置処理部２００４は、特徴量抽出部２００３で入力画像から抽出された特徴量ベクトルとのユークリッド距離が最小のＳＯＭモデル上の特徴量ベクトルを検索し、検索した特徴量ベクトルに対応した格子点に入力画像の画像識別情報を記録した画像配置情報２０１１を生成する。画像再配置処理部２００６は、画像配置情報２０１１に対し、格子点を渦巻き状に辿りながら、画像識別情報及び画像が配置していないことを意味する”空”情報に連続した順番を付与した後、格子点を渦巻き状に辿りながら、画像識別情報及び”空”情報を、付与された順番に従い順に格子点に対応付けし直すことにより画像を再配置し、画像識別情報と格子点座標のペアの集合からなる画像配置データを生成する。
【選択図】図３

Description

本発明は、画像の検索・閲覧のための技術分野に係り、特に、多数の画像を検索しやすい形で画面に縮小表示させるための画像配置データを生成する装置及び方法に関する。

多数の画像を画面に縮小表示させて画面上で目的の画像を探す場合、画像が無秩序に配置されていたのでは目的の画像を見つけだすことは容易でない。目的の画像を見つけやすいように画像の配置を制御することが望まれる。

例えば、自己組織化マップ（ＳＯＭ：Self-Organizing Maps）を用いて、類似度の高い画像を互いに近い位置となるように配置する方法が考えられる（特許文献１参照）。このようにすれば、ユーザは類似度の高い画像を辿って目的の画像をより効率的に検索することができる。

また、画像の多次元特徴量を２次元の特徴量に集約し、この２次元の特徴量を距離空間ととらえて画像をクラスタリングし、クラスタごとに画面の部分領域を割り当てて画像を縮小表示する方法が考えられる（特許文献２参照）。同じような特徴量を持つ画像は同じ部分領域に配置されるので、画像が無秩序に並べられて表示される場合に比べ、目的の画像を効率良く探し出すことができる。

特許第３６１４２３５号公報公報 特開２００５−２３５０４１号公報

例えば、自己組織化マップを利用して画像を配置するような場合に、複数の画像が同じ位置に重複して配置されてしまうことがある。特許文献１では、２次元空間に奥行きを追加し、２次元空間上の同じ位置に配置された画像は奥行きをずらして再配置することで、２次元空間上で同じ位置に配置された画像が重なって見えなくなることがないようにしている。しかし、このような手法は、画像の縮小画像（サムネイル）を２次元的に並べた単純な画像マップを表示する目的には採用することができない。

また、自己組織化マップ等を利用して画像を２次元空間の格子点に配置した結果、画像の重なりが生じた場合に、格子点と格子点の間に画像を再配置して重なりを回避することも考えられる。しかし、同じ格子点に多くの画像が重複して配置されると、そのような再配置は困難である。また、隣接格子点に配置された画像のサムネイルが重ならないように格子点の間隔が選ばれるが、格子点間に画像を再配置するにはサムネイルの大きさを縮小する等の処理も必要となってしまい、処理コストが増加するという問題もある。

よって、本発明の目的は、多数の画像のサムネイルを効率的な検索が可能となるように２次元的に配置した画像マップを表示するための画像配置データを生成する、改良した装置及び方法を提供することにある。

請求項１記載の発明に係る画像配置データ生成装置は、
画像を入力する画像入力手段と、
前記画像入力手段により入力された各画像の特徴量を抽出する特徴量抽出手段と、
画像入力手段により入力された各画像を、前記特徴量抽出手段で抽出された特徴量に基づき、類似した画像ほど近い距離になるように２次元空間の格子点に配置し、格子点に配置された画像の画像識別情報又は格子点に画像が配置されていないことを意味する”空”情報を格子点に対応付けて記録した画像配置情報を生成する画像配置情報生成手段と、
前記画像配置情報生成手段で生成された画像配置情報に対し、所定の順序で格子点を辿りながら画像識別情報及び”空”情報に連続した順番を付与する第１の処理と、前記所定の順序で格子点を辿りながら、画像識別情報及び”空”情報を、それらに前記第１の処理で付与された順番に従って順に格子点に対応付けし直すことにより画像を再配置し、再配置後の画像識別情報とそれが対応付けられた格子点の位置情報のペアの集合からなる画像配置データを生成する第２の処理を行う画像再配置処理手段と、
を有することを特徴とする。

請求項２記載の発明の特徴は、請求項１記載の発明の画像配置データ生成装置において、前記画像再配置処理手段は前記第１及び第２の処理において渦巻き状に格子点を辿ることである。

請求項３記載の発明の特徴は、請求項１記載の発明の画像配置データ生成装置において、前記画像再配置処理手段は前記第１及び第２の処理において２次元空間の分割領域毎にラスタスキャン順に格子点を辿ることにある。

請求項４記載の発明の特徴は、請求項１記載の発明の画像配置データ生成装置において、前記画像入力手段により入力された各画像を、前記特徴量抽出手段で抽出された特徴量に基づき、複数のクラスタに分類するクラスタリング手段をさらに有し、
前記画像配置情報生成手段は、クラスタ別に画像の２次元空間の格子点への配置を行って、クラスタ別の画像配置情報を生成し、
前記画像再配置処理手段は、クラスタ別に前記第１の処理を行い、前記第２の処理において、クラスタ別に設定された起点格子点から前記所定の順序で格子点を辿りながら、各クラスタについての画像識別情報及び”空”情報を、それらに前記第１の処理で付与された順番に従って順に格子点に対応付けし直すことにより画像を再配置することにある。

請求項５記載の発明の特徴は、請求項４記載の発明の画像配置データ生成装置において、前記画像再配置処理手段は前記第１及び第２の処理において渦巻き状に格子点を辿ることにある。

請求項６記載の発明の特徴は、請求項４記載の発明の画像配置データ生成装置において、前記画像再配置処理手段は前記第１及び第２の処理においてラスタスキャン順に格子点を辿ることにある。

請求項７記載の発明の特徴は、請求項４記載の発明の画像配置データ生成装置において、前記画像再配置処理手段は、前記第１の処理において画像識別情報のみに順番を付与し、前記第２の処理において画像識別情報のみを格子点に対応付けし直すことにより画像を再配置することにある。

請求項８記載の発明に係る画像配置データ生成方法は、
画像を入力する画像入力工程と、
前記画像入力工程により入力された各画像の特徴量を抽出する特徴量抽出工程と、
画像入力工程により入力された各画像を、前記特徴量抽出工程で抽出された特徴量に基づき、類似した画像ほど近い距離になるように２次元空間の格子点に配置し、格子点に配置された画像の画像識別情報又は格子点に画像が配置されていないことを意味する”空”情報を格子点に対応付けて記録した画像配置情報を生成する画像配置情報生成工程と、
前記画像配置情報生成工程で生成された画像配置情報に対し、所定の順序で格子点を辿りながら画像識別情報及び”空”情報に連続した順番を付与する第１の処理と、前記所定の順序で格子点を辿りながら、画像識別情報及び”空”情報を、それらに前記第１の処理で付与された順番に従って順に格子点に対応付けし直すことにより画像を再配置し、再配置後の画像識別情報とそれが対応付けられた格子点の位置情報のペアの集合からなる画像配置データを生成する第２の処理を行う画像再配置処理工程と、
を有することを特徴とする。

請求項９記載の発明の特徴は、請求項８記載の発明の画像配置データ生成方法において、前記画像再配置処理工程は前記第１及び第２の処理において渦巻き状に格子点を辿ることにある。

請求項１０記載の発明の特徴は、請求項８記載の発明の画像配置データ生成方法において、前記画像再配置処理工程は前記第１及び第２の処理において２次元空間の分割領域毎にラスタスキャン順に格子点を辿ることにある。

請求項１１記載の発明は、請求項８記載の発明の画像配置データ生成方法において、
前記画像入力工程により入力された各画像を、前記特徴量抽出工程で抽出された特徴量に基づき、複数のクラスタに分類するクラスタリング工程をさらに有し、
前記画像配置情報生成工程は、クラスタ別に画像の２次元空間の格子点への配置を行って、クラスタ別の画像配置情報を生成し、
前記画像再配置処理工程は、クラスタ別に前記第１の処理を行い、前記第２の処理において、クラスタ別に設定された起点格子点から前記所定の順序で格子点を辿りながら、各区ラスタについての画像識別情報及び”空”情報を、それらに前記第１の処理で付与された順番に従って順に格子点に対応付けし直すことにより画像を再配置することにある。

請求項１２記載の発明の特徴は、請求項１１記載の発明の画像配置データ生成方法において、前記画像再配置処理工程は前記第１及び第２の処理において渦巻き状に格子点を辿ることにある。

請求項１３記載の発明の特徴は、請求項１１記載の発明の画像配置データ生成方法において、前記画像再配置処理工程は前記第１及び第２の処理においてラスタスキャン順に格子点を辿ることにある。

請求項１４記載の発明の特徴は、請求項１１記載の発明の画像配置データ生成方法において、前記画像再配置処理工程は、前記第１の処理において画像識別情報のみに順番を付与し、前記第２の処理において画像識別情報のみを格子点に対応付けし直すことにある。

請求項１乃至３もしくは請求項８乃至１０に記載の発明によれば、画像配置情報生成手段もしくは工程で同じ格子点に複数の画像が重複して配置された場合、画像再配置処理手段もしくは工程により画像は重複しないように再配置される。そして、再配置の前後で画像の配置関係はそれほど変化しない。したがって、請求項１乃至３もしくは請求項８乃至１０に記載の発明により生成された画像配置データに従って画像マップを表示した場合、類似した画像のサムネイルが近い距離に配置され、かつ、複数の画像のサムネイルが重なることがないため、画像マップ上で目的の画像を効率的に見つけだすことができるようになる。

請求項４乃至６もしくは請求項１１乃至１３に記載の発明によれば、画像配置情報生成手段もしくは工程でクラスタ別に画像が配置されるが、クラスタ内の複数の画像が同じ格子点に重複して配置された場合、画像再配置処理手段もしくは工程によりクラスタ内で画像が重複しないように再配置される。そして、再配置の前後でクラスタ内の画像の配置関係はそれほど変化しない。また、各クラスタ内の画像の再配置は、クラスタ別に設定された起点格子点から格子点を辿りながら行われる。したがって、請求項４乃至６もしくは請求項１１乃至１３に記載の発明により生成された画像配置データに従って画像マップを表示した場合、クラスタ別に画像のサムネイルが配置され、クラスタ内では、類似した画像のサムネイルが近い距離に配置され、かつ、複数の画像のサムネイルが重なることがないため、画像マップ上で目的の画像を効率的に見つけだすことができるようになる。

請求項７もしくは１４に記載の発明によれば、画像配置情報生成手段もしくは工程でクラスタ別に画像が配置されるが、クラスタ内の複数の画像が同じ格子点に重複して配置された場合、画像再配置処理手段もしくは工程によりクラスタ内の画像は重複しないように再配置される。ただし、クラスタ内の画像は密集した状態に再配置されるため、クラスタ内の画像の配置関係は再配置の前後でかなり変化する。また、各クラスタ内の画像の再配置は、クラスタ別に設定された起点格子点から格子点を辿りながら行われる。したがって、請求項７もしくは１４に記載の発明により生成された画像配置データに従って画像マップを表示した場合、クラスタ毎に画像のサムネイルは密集した形で配置され、かつ、複数の画像のサムネイルが重なることがないため、画像マップ上で目的の画像を効率的に見つけだすことができるようになる。また、各クラスタの画像は密集させて配置されるため、画像マップ上により多くの画像のサムネイルを表示させることができる。

図１は本発明が適用される画像処理システムの一例を示すブロック図である。この画像処理システムは、画像ストレージ１０００、画像配置データサーバ１００１、画像配信サーバ１００２及びクライアント１００３から構成される。

画像ストレージ１０００は多数の画像を記憶する装置である。画像配置データサーバ１００１は、画像ストレージ１０００に蓄積されている多数の画像をクライアント１００３で縮小表示させる際に用いられる画像配置データを生成し、この画像配置データをクライアント１００３からの要求に応じてクライアント１００３へ送信する装置である。画像配信サーバ１００２は、クライアント１００３からの要求に応じて、画像ストレージ１０００に蓄積されている画像又はその縮小画像（サムネイル）をクライアント１００３へ送信する装置である。クライアント１００３は画像の閲覧等を行うための装置であり、画像表示装置、その他のユーザ・インターフェース手段を備える。クライアント１００３は、具体的には例えば、クライアントアプリケーションが動作するパーソナルコンピュータである。

画像配置データサーバ１００１は、画像ストレージ１０００に蓄積されている画像を入力する画像入力部１００５、入力された各画像の特徴量に基づき各画像の配置を決定し、画像識別情報（例えばファイル名）と位置情報とからなる画像配置データを生成する画像配置データ生成部１００６、生成された画像配置データを記憶する画像配置データ記憶部１００７、クライアント１００３からの要求に応じて画像配置データ記憶部１００７に記憶されている画像配置データをクライアント１００３へ送信する画像配置データ要求処理部１００８を具備する。

ここで、クライアント１００３での画像閲覧に関連した動作について説明する。クライアント１００３は、画像配置データ要求を画像配置データサーバ１００１へ送信することにより、画像配置データサーバ１００１より画像配置データを受信する。クライアント１００３は、画像配置データ中の全ての画像識別情報を含むサムネイル配信要求を画像配信サーバ１００２へ送信する。画像配信サーバ１００２は、サムネイル配信要求に含まれる各画像識別情報に該当した画像を画像ストレージ１０００より読み込み、そのサムネイルを作成してクライアント１００３へ送信する。画像ストレージ１０００に画像のサムネイルも蓄積されている場合には、画像配信サーバ１００２は画像ストレージ１０００からサムネイルを読み込み、それをクライアント１００３へ送信する。

クライアント１００３は、画像配信サーバ１００２から受信した各サムネイルを画像配置データ中の位置情報に従って配置した、図２に模式的に示すような画像マップを、画像表示装置の画面に表示させる。図２において、ハッチングを施した各矩形が１つの画像のサムネイルである。後述するように、画像マップにおいて、類似した画像のサムネイルは互いに近い位置に配置され、しかも複数の画像のサムネイルが同じ位置に重なることはないため、クライアント１００３のユーザは、画面上で閲覧したい画像を効率よく見つけだすことができる。

ユーザが画像マップ上で閲覧したい画像のサムネイルを指定すると、クライアント１００３は当該画像に対応した画像識別情報を含む画像配信要求を画像配信サーバ１００２へ送信する。画像配信サーバ１００２は、受信した画像配信要求に含まれる画像識別情報に該当した画像を画像ストレージ１０００より読み込み、該画像をクライアント１００３へ送信する。クライアント１００３は、受信した画像を画像表示装置の画面に表示し、ユーザは該画像を閲覧することができる。

次に、画像配置データサーバ１００１内の画像配置情報生成部１００６について、詳細な実施形態を説明する。

＜画像配置データ生成部１００６の第１の実施形態＞
図３は、画像配置データ生成部１００６の第１の実施形態を説明するためのブロック図である。この実施形態に係る画像配置データ生成部１００６は、画像配置処理に自己組織化マップ（ＳＯＭ）を利用するものであり、ＳＯＭモデル生成部２００１、ＳＯＭモデル記憶部２００２、特徴量抽出部２００３、画像配置処理部２００４、画像配置情報記憶部２００５、画像再配置処理部２００６及び制御部２００７から構成される。

まず、画像配置に利用されるＳＯＭモデルを生成する動作と関連した構成について説明する。

制御部２００７の制御下で、画像ストレージ１０００に蓄積されているｍ個のサンプル画像が画像入力部１００５を通じて入力される。入力された各サンプル画像は制御部２００７を介し特徴量抽出部２００３へ送られる。特徴量抽出部２００３において、各サンプル画像から彩度、色相、輝度、テクスチャ等のｎ次元の特徴量が抽出され、それら特徴量からなるｎ次元特徴量ベクトルが出力される。この特徴量ベクトルは制御部２００７を介しＳＯＭモデル生成部２００１に入力される。最終的に、ｍ個の特徴量ベクトルがＳＯＭモデル生成部２００１に入力される。

ＳＯＭモデル生成部２００１において、入力されたｍ個の特徴量ベクトルを用いてＳＯＭの学習アルゴリズムが実行され、ＳＯＭモデル２０１０がＳＯＭモデル記憶部２００２上に生成される。

ＳＯＭモデル２０１０は、ｍ個の特徴量ベクトルを、相互間のユークリッド距離が小さいものほど近くなるように、２次元空間の格子点に重複させることなく配置したデータである。より具体的には、ＳＯＭモデル２０１０は例えば、２次元空間の格子点に対応したエントリーを持ち、格子点に配置された特徴量ベクトルが当該格子点に対応したエントリーに書き込まれたテーブル構造のデータとすることができる。図４はＳＯＭモデル２０１０の概念図であり、図中の円が２次元空間の格子点を示し、円内の矢線が格子点に配置された特徴量ベクトルを示している。

なお、ＳＯＭモデルが一旦生成された後は、ＳＯＭモデルの再生成が必要となる事情が生じない限りＳＯＭモデル生成動作は実行されない。また、予め用意されたＳＯＭモデルをＳＯＭモデル記憶部２００２に格納するようにしてもよく、この場合はＳＯＭモデル生成部２００１を設ける必要はない。

次に、画像配置データ生成動作及び関連した構成について説明する。図５に画像配置データ生成動作の概略処理フローを示す。

ステップＳ１０１： 画像ストレージ１０００に記憶されている１つの画像が、その画像識別情報（例えばファイル名）とともに画像入力部１００５により画像配置データ生成部１００６に入力される。なお、入力対象となる画像は、画像ストレージ１０００内の全部の画像である場合と、例えばキーワード検索やカテゴリ指定等によって絞り込まれた画像ストレージ１０００内の一部の画像である場合とがある。いずれにしても、クライアント１００３での閲覧の対象となり得る画像が入力対象となる。

ステップＳ１０２： 入力された画像は制御部２００７を通じて特徴量抽出部２００３へ転送される。特徴量抽出部２００３では、その画像の彩度、色相、輝度、テクスチャ等のｎ次元の特徴量を抽出し、それら特徴量からなるｎ次元特徴量ベクトルを出力する。抽出される特徴量は、ＳＯＭマップ生成時に抽出されるものと同一種類のものである。

ステップＳ１０３： 特徴量抽出部２００３から出力された特徴量ベクトルは、当該画像の画像識別情報とともに、制御部２００７を通じ画像配置処理部２００４へ転送される。画像配置処理部２００４では、ＳＯＭモデル２０１０上の特徴量ベクトル群から当該画像より抽出された特徴量ベクトルとのユークリッド距離が最も小さい特徴量ベクトルを探し、当該特徴量ベクトルが配置された格子点を当該画像を配置する格子点と決定し、その格子点に対応付けて当該画像の画像識別情報を記録した画像配置情報２０１１を画像配置情報記憶部２００５に生成する。この画像配置情報２０１１は、具体的には例えば、２次元空間の各格子点に１対１に対応付けられたエントリーを持つテーブル構造であり、ある格子点に配置された画像の画像識別情報が該格子点に対応したエントリーに書き込まれたものである。画像が配置されていない格子点に対応したエントリーの内容は、画像が配置されていないことを示す情報（以下、”空”情報と記す）である。

なお、複数の画像の特徴量ベクトルが極めて類似している場合には、それぞれの特徴量ベクトルとのユークリッド距離が最も小さいＳＯＭモデル上の特徴量ベクトルが同一となり、複数の画像が重複して同じ格子点に配置されることがある。この場合、その複数の画像の画像識別情報が同じ格子点のエントリーに書き込まれることになる。

ステップＳ１０４： 制御部２００７は、入力対象の最後の画像まで入力されたか否かの判定を行い、入力すべき画像が残っている場合には画像入力部１００５に次の画像の入力を求め、その画像に対するステップＳ１０１〜Ｓ１０３の処理を実行する制御を行う。制御部２００７は、最後の画像まで入力されたと判定した場合には画像再配置処理部２００６に対し画像再配置処理（ステップＳ１０５の処理）の実行を指示する。

ステップＳ１０５： ＳＯＭモデルを利用して画像を配置した場合に、上に述べたように、同一の格子点に２個又はそれ以上の画像が重複して配置されることがある。このような画像配置情報に従って画像マップを表示した場合、２個以上の画像のサムネイルが重なってしまい、その中の最も上に表示される画像のサムネイル以外は見えない状態になる。画像再配置処理は、そのような複数の画像のサムネイルの重なりを排除するように画像の再配置を行って、最終的な画像配置データを生成する処理である。

なお、以上の一連の処理を終了後に、画像ストレージ１０００に閲覧対象となる新たな画像が追加された場合や、画像ストレージ１０００に蓄積されている一部の画像が新たに閲覧対象に追加された場合には、その新たな閲覧対象画像についてステップＳ１０１〜Ｓ１０４の処理を行うことにより、画像配置情報記憶部２００５内の画像配置情報２０１１が更新される。そして、更新された画像配置情報２０１１に対してステップＳ１０５の画像再配置処理が実行され、更新された画像配置データが生成される。なお、更新後の画像配置データに従って表示させた画像マップ上の画像の配置関係は、更新前の画像配置関係とあまり変化しないため、ユーザは更新前の画像配置の知識を利用できる。

次に、ステップＳ１０５の画像再配置処理について説明する。図６に画像再配置処理の概略処理フローを示す。ステップＳ１０６では、画像配置情報２０１１に対し、所定の順序で格子点を辿りながら、画像識別情報及び”空”情報に連続した順番を付与する処理（処理Ａ）を行う。ステップＳ１０７では、処理Ａと同じ順序で格子点を辿りながら、画像識別情報及び”空”情報を、それに付与された順番に従って順に格子点に対応付けし直すことにより画像を再配置し、再配置後の画像識別情報とそれが対応付けられた格子点の座標（位置情報）のペアの集合からなる最終的な画像配置データを生成する処理（処理Ｂ）を行う。以下、処理Ａ及び処理Ｂについて具体的に説明する。

（第１の実施例）
第１の実施例によれば、処理Ａにおいて、画像配置情報２０１１に対し、２次元空間の中心の格子点を起点として渦巻き状に格子点を辿りながら、格子点に対応した記録情報に連続した順番を付与する処理を行う。ここで、格子点に対応した記録情報とは、格子点に配置された１以上の画像の画像識別情報であるか、あるいは、画像が配置されていないことを意味する”空”情報である。

このような順番付与の後、処理Ｂにおいて、順番付け時と同様に２次元空間の中心の格子点を起点として渦巻き状に格子点を辿りながら、画像識別情報及び”空”情報を、それに付与された順番に従って順に格子点に対応付けし直すことにより画像を再配置し、再配置後の画像識別情報とそれが対応付けられた格子点の座標のペアの集合からなる最終的な画像配置データを生成する。

例えば、画像配置情報２０１１が図７に示すような内容であるとする。図７において、丸印は格子点に対応しており、各丸印の内部が格子点に対応した記録情報を示している。すなわち、丸印内部のａ，ｂ等のアルファベットは画像識別情報を意味し、丸印内部の文字「空」は”空”情報を意味している。

ここで、画像識別情報ａを持つ画像が配置された格子点を仮に２次元空間の中心の格子点であるとすると、当該格子点を起点として矢線で示すような順番で渦巻き状に格子点を辿りながら、各格子点に対応した記録情報（画像識別情報又は”空”情報）に図７に示すように連続した順番を付与する。

２次元空間の中心の格子点を起点として渦巻き状に格子点を辿りながら、画像識別情報及び”空”情報を、それに付与された順番に従って順に格子点に対応付けし直すことにより画像を再配置した結果は図８のようになる。すなわち、同じ格子点に重複して配置された２つの画像の画像識別情報ｅ，ｆ中のｆは一つ先の格子点に対応付けし直され、その先の”空”情報も一つずつ順送りされるため、画像識別情報ｇも一つ先の格子点に対応付けし直される。このように画像を再配置した後の画像識別情報と格子点座標（位置情報）のペアの集合が最終的な画像配置データとして生成され、これが画像配置データ記憶部１００７に記憶される。

図７と図８を比較すると分かるように、画像再配置処理によって、重複して配置された画像の分だけ画像の配置が渦巻き状にずれるが、画像再配置前の全体的な画像配置の特徴はほぼ維持されている。

処理Ａ及び処理Ｂの処理フローの一例を図９及び図１０にそれぞれ示す。

まず、図９に示す処理Ａについて説明する。起点となる格子点として、２次元空間の中心の格子点を設定し（ステップＳ１１１）、当該格子点の記録情報が画像識別情報であるか否か調べる（ステップＳ１１２）。当該格子点に画像が配置されている場合、記録情報は画像識別情報（例えばファイル名）であり、それをキュー１に追加する（ステップＳ１１３）。当該格子点に複数の画像が配置されている場合、複数の画像識別情報が記録されているので、それらの各画像識別情報を順にキュー１に追加する。当該格子点に画像が配置されていない場合、その記録情報すなわち”空”情報をキュー１に追加する（ステップＳ１１４）。

当該格子点が最後の格子点であるか否か判定する（ステップＳ１１５）。当該格子点が最後の格子点でない場合（ステップＳ１１５，Ｎｏ）、当該格子点から渦巻き状に一つ移動した格子点を設定し（ステップＳ１１６）、再び当該格子点についてステップＳ１１２以下の処理を実行する。同様の処理を、最後の格子点まで実行する。

図７の例では、処理後のキュー１の内容は図１１のようになる。キュー１の各エントリの番号が、各エントリに記録された画像識別情報又は”空”情報に付けられた順番に相当する。

次に、図１０に示す処理Ｂについて説明する。まず、中心の格子点から渦巻き状に格子点を辿った格子点の数をカウントする格子点カウンタに１をセットする（ステップＳ１２１）。格子点カウンタの値が１であるということは、当該格子点が起点となる中心の格子点であることを意味する。格子点を辿る順序は決まっているため、格子点カウンタの値から格子点を特定し、その格子点の座標（位置情報）を計算することができる。

キュー１の先頭からデータを１つ取りだし（ステップＳ１２２）、そのデータが画像識別情報であるか否か判定する（ステップＳ１２３）。

画像識別情報であるならば（ステップＳ１２３，Ｙｅｓ）、格子点カウンタの値に基づいて当該格子点の座標を計算し（ステップＳ１２４）、この格子点座標（位置情報）と当該画像識別情報のペアをキュー２に追加する（ステップＳ１２５）。キュー１から取り出したデータが”空”情報の場合（ステップＳ１２３，Ｎｏ）、ステップＳ１２４，Ｓ１２５はスキップされる。

格子点カウンタの値を１だけ増加させ（ステップＳ１２７）、ステップＳ１２２に戻り、キュー１から次のデータを取りだし、同様の処理を行う。以上の処理をキュー１の最後のデータまで行うと（ステップＳ１２６，Ｙｅｓ）、処理を終了する。

図７の例では、キュー２の内容は図１２のようになる。図１２と図８を対比すれば明らかなように、キュー２の内容は、図８のように画像を再配置した後の画像識別情報とその格子点座標とのペアの集合からなる。このキュー２の内容が最終的な画像配置データとして画像配置データ記憶部１００７に記憶される。

なお、図９の処理Ａと図１０の処理Ｂを統合することも可能である。すなわち、中心の格子点から渦巻き状に格子点を辿り、各格子点に対応して記録された画像識別情報及び”空”情報に連続した番号を付与しながら、各画像識別情報について、それに付与された番号に対応した格子点の座標を計算し、その格子点座標を画像識別情報とペアにしてキューに格納する。”空”情報はキューに格納しない。このような処理の場合、キューの内容はそのまま再配置後の最終的な画像配置データとなる。

（第２の実施例）
第２の実施例によれば、処理Ａでは、画像配置情報２０１１に対し、前記第１の実施例と同様に画像識別情報及び”空”情報に連続した順番を付与する処理を行う。ただし、この第２の実施例では、２次元空間を例えば縦横に複数の領域に分割し、各分割領域毎に、その左上コーナーの格子点からラスタスキャン順に格子点を辿りながら、画像識別情報及び”空”情報に連続した順番を付与する。そして、各分割領域毎に、左上コーナーの格子点からラスタスキャン順に格子点を辿りながら、画像識別情報及び”空”情報を、それに付与された順番に従って順に格子点に対応付けし直すことにより画像を再配置し、最終的な画像配置データを生成する。

例えば、ある分割領域において、画像配置情報２０１１が図１３に示すような内容であるとする。図１３と図７を対比すれば明らかなように、当該分割領域内の画像配置は図７の場合と同様である。

ここで、分割領域の左上コーナーの格子点からラスタスキャン順に格子点を辿りながら、各格子点に対応した記録情報すなわち画像識別情報又は”空”情報に図１３に示すように連続した順番を付与する。

次に、処理Ｂにおいて、左上コーナーの格子点からラスタスキャン順に格子点を辿りながら、画像識別情報及び”空”情報を、それらに付与された順番に従って格子点に対応付け直すことにより画像を再配置した結果は図１４のようになる。
図１４と図１３を比較すると分かるように、再配置処理によって、重複して配置された画像の分だけ画像の配置がラスタスキャン順に順送りされるが、再配置前の全体的な画像配置の特徴はほぼ維持されている。

以上に述べた各分割領域についての処理Ａと処理Ｂは、前記第１の実施例と同様に図９及び図１０に示したような処理フローに従って実行することができる。ただし、図９に示した処理フローにおいて、ステップＳ１１１では分割領域の左上コーナーの格子点を設定し、ステップＳ１１６ではラスタスキャン順に１つ先の格子点に移動する。全ての分割領域について図１０の処理フローに従ってキュー２に格子点座標と画像識別情報のペアを記録することにより、キュー２に最終的な画像配置データが得られる。

なお、前記第１の実施例の場合と同様に、図９に示したような処理と図１０に示したような処理を統合することも可能であることは当然である。

ここまでの説明から明らかなように、本実施形態は、請求項１乃至３に係る発明の一実施形態に相当する。そして、「画像入力手段」は画像入力部１００５に対応し、「特徴量抽出手段」は特徴量抽出部２００３に対応する。「画像配置情報生成手段」は画像配置処理部２００４及びＳＯＭマップ２０１０によって実現される。「画像再配置処理手段」は画像再配置処理２００６に対応する。

＜画像配置データ生成部１００６の第２の実施形態＞
図１５は、画像配置データ生成部１００６の第２の実施形態を説明するためのブロック図である。この実施形態に係る画像配置データ生成部１００６は、特徴量抽出部３００１、画像配置処理部３００２、画像配置情報記憶部３００３、画像再配置処理部３００４及び制御部３００５から構成される。

本実施形態における画像配置データ生成動作の処理フローは、前記第１の実施形態と同様に図５のように表すことができる。ただし、ステップＳ１０３の処理内容は前記第１の実施形態と異なる。以下、図５の処理フローに沿って動作を説明する。

ステップＳ１０１： 画像ストレージ１０００に記憶されている１つの画像が、その画像識別情報（例えばファイル名）とともに画像入力部１００５により画像配置データ生成部１００６に入力される。入力対象となる画像は、画像ストレージ１０００内の全部の画像である場合と、例えばキーワード検索等により絞り込まれた画像ストレージ１０００内の一部の画像である場合とがあることは前述した通りである。いずれにしても、クライアント１００３での閲覧対象となり得る画像が入力対象となる。

ステップＳ１０２： 入力された画像は制御部３００５を通じて特徴量抽出部３００１へ転送される。特徴量抽出部３００１では、その画像の彩度、色相、輝度、テクスチャ等のｎ次元の特徴量を抽出し出力する。

ステップＳ１０３： 特徴量抽出部３００１から出力されたｎ次元の特徴量は、当該画像の画像識別情報とともに、制御部３００５を通じ画像配置処理部３００２へ転送される。画像配置処理部３００２では、入力されたｎ次元の特徴量を主成分分析により２次元の特徴量ｘ，ｙに集約し、特徴量ｘ，ｙの値をそのまま２次元座標に置き換え、当該座標の格子点に当該画像を配置した画像配置情報３００６を画像配置情報記憶部３００３に生成する。この画像配置情報３００６は、具体的には例えば、２次元空間の各格子点に１対１に対応付けられたエントリーを持つテーブル構造であり、ある格子点に配置された画像の画像識別情報が該格子点に対応したエントリーに書き込まれたものである。画像が配置されていない格子点に対応したエントリーの内容は、画像が配置されていないことを示す情報（”空”情報）である。

図１６は本実施形態における画像配置処理の説明図である。画像１〜６について図１６（ａ）に示すようなｎ次元の特徴量１〜ｎが抽出されるが、これら特徴量は主成分分析により図１６（ｂ）に示すような２次元の特徴量ｘ，ｙに集約される。そして図１６（ｃ）に示すように、画像１〜６はそれぞれの特徴量ｘ，ｙで示される２次元座標の格子点に配置される。

なお、本実施形態においても、複数の画像の特徴が極めて類似している場合には、複数の画像が重複して同じ格子点に配置される。この場合、その複数の画像の画像識別情報が同じ格子点のエントリーに書き込まれることになる。

ステップＳ１０４： 制御部３００５は、入力対象の最後の画像まで入力されたか否かの判定を行い、入力すべき画像が残っている場合には画像入力部１００５に次の画像の入力を求め、その画像に対するステップＳ１０１〜Ｓ１０３の処理を実行する制御を行う。最後の画像まで入力されたと判定した場合には、制御部３００５は画像再配置処理部３００４に対し画像再配置処理（ステップＳ１０５の処理）の実行を指示する。

ステップＳ１０５： 画像再配置処理部３００４において、画像配置情報３００６に対し画像再配置処理を行って、最終的な画像配置データを画像配置データ記憶部１００７に生成する。この画像再配置処理は、前記第１の実施形態における画像再配置処理部２００６による処理と同様であるので、その説明は繰り返さない。

なお、以上の一連の処理を終了後に、画像ストレージ１０００に閲覧対象となる新たな画像が追加された場合や、画像ストレージ１０００に蓄積されている一部の画像が新たに閲覧対象に追加された場合には、その新たな閲覧対象画像についてステップＳ１０１〜Ｓ１０３の処理を行うことにより、画像配置情報記憶部３００３内の画像配置情報３００６が更新される。そして、更新された画像配置情報３００６に対してステップＳ１０５の画像再配置処理が実行され、更新された画像配置データが生成される。

ここまでの説明から明らかなように、本実施形態は、請求項１乃至３に係る発明の一実施形態に相当する。そして、「画像入力手段」は画像入力部１００５に対応し、「特徴量抽出手段」は特徴量抽出部３００１に対応し、「画像配置情報生成手段」は画像配置処理部３００２に対応し、「画像再配置処理手段」は画像再配置処理３００４に対応する。

＜画像配置データ生成部１００６の第３の実施形態＞
図１７は、画像配置データ生成部１００６の第３の実施形態を説明するためのブロック図である。この実施形態に係る画像配置データ生成部１００６は、画像配置処理に自己組織化マップ（ＳＯＭ）を利用するものであり、ＳＯＭモデル生成部４００１、ＳＯＭモデル記憶部４００２、特徴量抽出部４００３、クラスタリング部４００４、画像配置処理部４００５、画像配置情報記憶部４００６、画像再配置処理部４００７及び制御部４００８から構成される。

まず、画像配置に利用されるＳＯＭモデルを生成する動作及び関連した構成について説明する。

制御部４００８の制御下で、画像ストレージ１０００に蓄積されているｍ個のサンプル画像が画像入力部１００５を通じて入力される。入力された各サンプル画像は制御部４００８を介し特徴量抽出部４００３へ送られる。特徴量抽出部４００３において、各サンプル画像から彩度、色相、輝度、テクスチャ等のｎ次元の特徴量が抽出され、それら特徴量からなるｎ次元特徴量ベクトルが出力される。この特徴量ベクトルは制御部４００８を介しＳＯＭモデル生成部４００１及びクラスタリング部４００４に入力される。

クラスタリング部４００４において、入力された各サンプル画像の特徴量ベクトルの一部次元の特徴量を用いてサンプル画像をいくつかのクラスタ（カテゴリ）に分類するクラスタリングを行い、各サンプル画像の所属クラスタの情報を出力する。この所属クラスタの情報は制御部４００８を介してＳＯＭモデル生成部４００１に入力される。なお、ここでは、特徴量抽出部４００３より出力されるｎ次元特徴量ベクトルの一部次元の特徴量をクラスタリングに用いたが、別のクラスタリング専用の特徴量を抽出し、この特徴量を用いてクラスタリングを行うようにしてもよい。

最終的に、ｍ個のサンプル画像のｎ次元特徴量ベクトル及び所属クラスタ情報がＳＯＭモデル生成部４００１に入力される。ＳＯＭモデル生成部４００１において、クラスタ毎に、それに所属するサンプル画像の特徴量ベクトルを用いてＳＯＭの学習アルゴリズムが実行され、クラスタ別の複数のＳＯＭモデル４０１０がＳＯＭモデル記憶部４００２上に生成される。

クラスタ別の各ＳＯＭモデル４０１０は、クラスタに所属する複数のサンプル画像の特徴量ベクトルを、相互間のユークリッド距離が小さいものほど近くなるように、２次元空間の格子点に重複させることなく配置したデータである。より具体的には、各ＳＯＭモデル４０１０は例えば、２次元空間の格子点に対応したエントリーを持ち、格子点に配置された特徴量ベクトルが対応したエントリーに書き込まれたテーブル構造のデータとすることができる。

なお、ＳＯＭモデル４０１０が一旦生成された後は、ＳＯＭモデルの再生成が必要となる事情が生じない限りＳＯＭモデル生成動作は実行されない。また、予め用意されたクラスタ別のＳＯＭモデルをＳＯＭモデル記憶部４００２に格納するようにしてもよく、この場合はＳＯＭモデル生成部４００１を設ける必要はない。

次に、画像配置データ生成動作と関連した構成について説明する。図１８に画像配置データ生成動作の概略処理フローを示す。

ステップＳ２０１： 画像ストレージ１０００に記憶されている１つの画像が、その画像識別情報（例えばファイル名）とともに画像入力部１００５により画像配置データ生成部１００６に入力される。なお、入力対象となる画像は、画像ストレージ１０００内の全部の画像である場合と、例えばキーワード検索等により絞り込まれた画像ストレージ１０００内の一部の画像である場合とがあることは前述した通りである。いずれにしても、クライアント１００３での閲覧対象となり得る画像が入力対象となる。

ステップＳ２０２： 入力された画像は制御部４００８を通じて特徴量抽出部４００３へ転送される。特徴量抽出部４００３では、その画像の彩度、色相、輝度、テクスチャ等のｎ次元の特徴量を抽出し、それら特徴量からなるｎ次元特徴量ベクトルを出力する。抽出される特徴量は、ＳＯＭマップ生成に用いられたものと同一種類のものである。この特徴量ベクトルは、当該画像の画像識別情報とともに、制御部４００８を通じ画像配置処理部４００５及びクラスタリング部４００４へ転送される。

ステップＳ２０３： クラスタリング部４００４では、入力されたｎ次元特徴量ベクトルの一部次元の特徴量を用いたクラスタリングにより当該画像の所属クラスタを求める。この所属クラスタの情報は、制御部４００８を通じて画像配置処理部４００５へ入力される。なお、ＳＯＭモデル生成の場合と同様、クラスタリング専用の別の特徴量を特徴量抽出部４００３で抽出し、この特徴量をクラスタリング部４００４で用いて所属クラスタを求めるようにしてもよい。

ステップＳ２０４： 画像配置処理部４００５では、クラスタ別に画像配置処理を行い、クラスタ別の複数の画像配置情報４０１１を画像配置情報記憶部４００６に生成する。すなわち、当該画像の所属クラスタに対応したＳＯＭモデル４０１０上の特徴量ベクトル群から当該画像より抽出された特徴量ベクトルとのユークリッド距離が最も小さい特徴量ベクトルを探し、当該特徴量ベクトルが配置された格子点を当該画像を配置する格子点と決定し、所属クラスタに対応した画像配置情報４０１１に当該格子点に対応付けて当該画像の画像識別情報を記録する。クラスタ別の各画像配置情報４０１１は、具体的には例えば、２次元空間の各格子点に１対１に対応付けられたエントリーを持つテーブル構造であり、ある格子点に配置された画像の画像識別情報が該格子点に対応したエントリーに書き込まれたものである。画像が配置されていない格子点に対応したエントリーの内容は、画像が配置されていないことを示す情報（”空”情報）である。なお、同じクラスタ内における画像の特徴量の差は小さいため、個々のクラスタ内の画像が配置される２次元空間の広さは全クラスタの画像が配置される２次元空間全体に比べ狭い。

各クラスタにおいて、複数の画像の特徴量ベクトルが極めて類似している場合には、それぞれの特徴量ベクトルとのユークリッド距離が最も小さいＳＯＭモデル上の特徴量ベクトルが同一となり、複数の画像が重複して同じ格子点に配置される。この場合、その複数の画像の画像識別情報が同じ格子点のエントリーに書き込まれることになる。

ステップＳ２０５： 制御部４００８は、入力対象の最後の画像まで入力されたか否かの判定を行い、入力すべき画像が残っている場合には画像入力部１００５に次の画像の入力を求め、その画像に対するステップＳ２０１〜Ｓ２０４の処理を実行する制御を行う。制御部４００８は最後の画像まで入力されたと判定した場合（ステップＳ２０５，Ｎｏ）、画像再配置処理部４００７に対し画像再配置処理（ステップＳ２０６の処理）の実行を指示する。

ステップＳ２０６： ＳＯＭモデルを利用して画像を配置した場合に、上に述べたように、同一の格子点に２個又はそれ以上の画像が重複して配置されることがある。このような画像が重複した画像配置情報に従って画像マップを表示した場合、２個以上の画像のサムネイルが重なってしまい、その中の最も上に表示される画像のサムネイル以外は見えない状態になる。画像再配置処理は、そのような複数の画像のサムネイルの重なりを排除するように画像の再配置を行って、最終的な画像配置データを生成する処理である。

なお、以上の一連の処理を終了後に、画像ストレージ１０００に閲覧対象となる新たな画像が追加された場合や、画像ストレージ１０００に蓄積されている一部の画像が新たに閲覧対象に追加された場合には、それら新たな閲覧対象画像についてステップＳ２０１〜Ｓ２０４の処理を行うことにより、画像配置情報記憶部４００６内のクラスタ別画像配置情報４０１１が更新される。そして、更新された画像配置情報４０１１に対してステップＳ２０６の画像再配置処理が実行され、更新された画像配置データが生成される。

次に、画像再配置処理部４００７の画像再配置処理（ステップＳ２０６）について説明する。図１９は画像再配置処理の概略処理フローを示す。

まず、１つのクラスタを選択する（ステップＳ２１１）。選択したクラスタに対応した画像配置情報４０１１に対し、所定の順序で格子点を辿りながら、格子点に対応した画像識別情報及び”空”情報に連続した順番を付与する処理（処理Ａ）を行う（ステップＳ２１２）。次に、全クラスタの画像が配置される２次元空間上の１つの格子点を当該クラスタの起点格子点として設定する（ステップＳ２１３）。次に、処理Ａにおけると同じ順序で起点格子点から格子点を辿りながら、画像識別情報及び”空”情報を、それに付与された順番に従って格子点に再配置し、最終的な画像配置データを生成する処理（処理Ｂ）を行う（ステップＳ２１４）。未処理のクラスタが有るか調べ（ステップＳ２１５）、それが有るならばステップＳ２１１に戻り、次のクラスタについて処理を実行する。このようにして全てのクラスタについて処理を終了すると、全クラスタに属する画像についての最終的な画像配置データが生成される。

以下、処理Ａ及び処理Ｂについて具体的に説明する。

（第１の実施例）
第１の実施例によれば、前記第１の実施形態に係る第１の実施例の場合と同様、処理Ａにおいて中心の格子点から渦巻き状に格子点を辿りながら順番付けが行われる。処理Ｂにおいても同様に渦巻き状に格子点を辿りながら画像の再配置が行われる。

この第１の実施例において、各クラスタについての処理Ａは図９に示した処理フローに従って実行することができる。また、処理Ｂは図１０に示した処理フローに従って実行することができる。ただし、図１０のステップＳ１２４では、当該クラスタの起点格子点と格子点カウンタの値に基づいて２次元空間上の格子点座標（位置情報）を計算する。

なお、図１０には示さないが、１つのクラスタに対する処理Ｂが終了した段階で、当該クラスタに対する処理Ａで用いられたキュー１の内容はクリアされる。最後のクラスタに対する処理Ｂが終了した段階のキュー２の内容が最終的な画像配置データである。

図２０に、最終的な画像配置データ（キュー２の内容）を模式的に示す。

図２１は本実施例における画像再配置の様子を示す模式図である。ここでは画像は３つのクラスタに分類されている。画像マップ上で各クラスタの画像のサムネイル（ハッチングを施した矩形）が重ならないように、各クラスタの起点格子点が設定され、この起点格子点から渦巻き状にクラスタ内の画像が再配置される。

各クラスタの起点格子点の設定方法であるが、クラスタの中心と、それから最も遠い画像との距離よりも、クラスタの中心間の距離が大きければ、異なったクラスタの画像のサムネイルが重なることはない。したがって、例えば、クラスタ内の画像数からクラスタ中心から最も遠い画像までの距離を計算し、その距離よりも各クラスタの中心間距離が大きくなるように、各クラスタの起点格子点を設定することができる。このような方法は、各クラスタにおける画像配置範囲の変動に柔軟に対応できる利点がある。ただし、より簡便に、クラスタ相互間で画像の重複が生じないような充分な間隔を空けて、予め各クラスタの起点格子点を固定する方法を採ることもできる。

（第２の実施例）
第２の実施例によれば、前記第１の実施形態に係る第２の実施例の場合と同様、処理Ａにおいて、クラスタ毎に、２次元空間の左上コーナーの格子点からラスタスキャン順に格子点を辿りながら順番が付与される。処理Ｂにおいても同様にラスタスキャン順に格子点を辿りながら画像の再配置が行われる。

この第２の実施例において、各クラスタについての処理Ａは図９に示した処理フローに従って実行することができる。ただし、ステップＳ１１１で左上コーナーの格子点を設定し、ステップＳ１１６で格子点をラスタスキャン順に一つ次の格子点に移動する。

また、処理Ｂは図１０に示した処理フローに従って実行することができる。ただし、図１０のステップＳ１２４では、当該クラスタの起点格子点と格子点カウンタの値に基づいて２次元空間上の格子点座標（位置情報）を計算する。

なお、図１０には示さないが、１つのクラスタに対する処理Ｂが終了した段階で、当該クラスタに対する処理Ａで用いられたキュー１の内容はクリアされる。最後のクラスタに対する処理Ｂが終了した段階のキュー２の内容が最終的な画像配置データである。

以上の２つの実施例では、処理Ａ（図１９のステップＳ２１２）において画像識別情報と”空”情報に連続した順番を付与したが、次に説明する第３の実施例及び第４の実施例では処理Ａにおいて画像識別情報のみに順番を付与する。

（第３の実施例）
第３の実施例によれば、前記第１の実施形態に係る第１の実施例の場合と同様、処理Ａにおいて中心の格子点から渦巻き状に格子点を辿りながら順番を付与するが、”空”情報には順番を付与しない。処理Ｂにおいても同様に渦巻き状に格子点を辿りながら画像の再配置が行われる。

この第３の実施例において、各クラスタについての処理Ａは図９に示した処理フローに従って実行することができる。ただし、ステップＳ１４はスキップされる。また、処理Ｂは図１０に示した処理フローに従って実行することができる。ただし、図１０のステップＳ１２４では、当該クラスタの起点格子点と格子点カウンタの値に基づいて２次元空間上の格子点座標（位置情報）を計算する。

なお、図１０には示さないが、１つのクラスタに対する処理Ｂが終了した段階で、当該クラスタに対する処理Ａで用いられたキュー１の内容はクリアされる。最後のクラスタに対する処理Ｂが終了した段階のキュー２の内容が最終的な画像配置データである。

あるクラスタの画像配置情報が図２２に示すような内容であり、画像識別情報ａの画像が配置された格子点が中心の格子点であるとする。処理Ａにより、画像識別情報に図２２に示すような順番が付与される。したがって、処理Ｂにより、図２３に示すように画像は隙間なく密集した形で再配置される。

このように、この実施例によれば、第１の実施例と違って、再配置の前後で画像の配置関係がかなり異なってしまう。しかし、クラスタ毎に画像が配置されるため、このような画像の配置関係の変動があっても目的の画像の探索に大きな支障とはならない。また、画像を密集させるため、より多くの画像のサムネイルを画像マップに表示することができるようになる。

（第４の実施例）
第４の実施例によれば、前記第１の実施形態に係る第２の実施例の場合と同様、処理Ａにおいて各クラスタの２次元空間の左上コーナーの格子点からラスタスキャン順に格子点を辿りながら順番付けが行われるが、”空”情報には順番を付与しない。処理Ｂにおいても同様にラスタスキャン順に格子点を辿りながら画像の再配置が行われる。

この第４の実施例において、各クラスタについての処理Ａは図９に示した処理フローに従って実行することができる。ただし、ステップＳ１１１で左上コーナーの格子点を設定し、ステップＳ１１６で格子点をラスタスキャン順に一つ先の格子点に移動する。ステップＳ１４はスキップされる。

また、処理Ｂは図１０に示した処理フローに従って実行することができる。ただし、図１０のステップＳ１２４では、当該クラスタの起点格子点と格子点カウンタの値に基づいて２次元空間上の格子点座標（位置情報）を計算する。

なお、図１０には示さないが、１つのクラスタに対する処理Ｂが終了した段階で、当該クラスタに対する処理Ａで用いられたキュー１の内容はクリアされる。最後のクラスタに対する処理Ｂが終了した段階のキュー２の内容が最終的な画像配置データである。

この実施例においても、前記第３の実施例の場合と同様、処理Ｂにより画像は隙間なく密集した形で再配置されるため、再配置の前後で画像配置がかなり異なってしまう。しかし、クラスタ毎に画像が配置されるため、このような画像の配置関係の変動があっても目的の画像の探索に大きな支障とはならない。また、より多くの画像のサムネイルを画像マップ上に表示することができる。

ここまでの説明から明らかなように、本実施形態は、請求項４乃至７に係る発明の一実施形態に相当する。そして、「画像入力手段」は画像入力部１００５に対応し、「特徴量抽出手段」は特徴量抽出部４００３に対応し、「クラスタリング手段」はクラスタリング部４００４に対応する。「画像配置情報生成手段」は画像配置処理部４００５とクラスタ別のＳＯＭモデル４０１０によって実現される。また、「画像再配置処理手段」は画像再配置処理４００７に対応する。

＜画像配置データ生成部１００６の第４の実施形態＞
図２４は、画像配置データ生成部１００６の第４の実施形態を説明するためのブロック図である。この実施形態に係る画像配置データ生成部１００６は、特徴量抽出部５００１、クラスタリング部５００２、画像配置処理部５００３、画像配置情報記憶部５００４、画像再配置処理部５００５及び制御部５００６から構成される。

本実施形態に係る画像配置データ生成動作の処理フローは、前記第３の実施形態と同様に図１８のように示すことができる。ただし、ステップＳ２０４の処理内容は前記第３の実施形態と異なる。以下、図１８の処理フローに沿って動作を説明する。

ステップＳ２０１： 画像ストレージ１０００に記憶されている１つの画像が、その画像識別情報（例えばファイル名）とともに画像入力部１００５により画像配置データ生成部１００６に入力される。なお、入力対象となる画像は、画像ストレージ１０００内の全部の画像である場合と、例えばキーワード検索等により絞り込まれた画像ストレージ１０００内の一部の画像である場合とがあることは前述した通りである。いずれにしても、クライアント１００３での閲覧対象となり得る画像が入力対象となる。

ステップＳ２０２： 入力された画像は制御部５００６を通じて特徴量抽出部５００１へ転送される。特徴量抽出部５００１では、その画像の彩度、色相、輝度、テクスチャ等のｎ次元の特徴量を抽出し、それら特徴量からなるｎ次元特徴量ベクトルを出力する。この特徴量ベクトルは、当該画像の画像識別情報とともに、制御部５００６を通じ画像配置処理部５００３及びクラスタリング部５００２へ転送される。

ステップＳ２０３： クラスタリング部５００２では、入力されたｎ次元特徴量ベクトルの一部次元の特徴量を用いたクラスタリングにより当該画像の所属クラスタを求める。この所属クラスタの情報は、制御部５００６を通じて画像配置処理部５００３へ入力される。なお、クラスタリング専用の別の特徴量を特徴量抽出部５００１で抽出し、この特徴量をクラスタリング部５００２で用いて所属クラスタを求めるようにしてもよい。

ステップＳ２０４： 画像配置処理部５００３では、クラスタ別に画像配置処理を行い、クラスタ別の複数の画像配置情報５０１１を画像配置情報記憶部５００４に生成する。すなわち、画像配置処理部５００３では、入力されたｎ次元の特徴量を主成分分析により２次元の特徴量ｘ，ｙに集約し、特徴量ｘ，ｙの値をそのまま２次元座標に置き換え、当該座標の格子点を当該画像を配置する格子点と決定し、所属クラスタに対応した画像配置情報５０１１に当該格子点に対応付けて当該画像の画像識別情報を記録する。クラスタ別の各画像配置情報５０１１は、具体的には例えば、２次元空間の各格子点に１対１に対応付けられたエントリーを持つテーブル構造であり、ある格子点に配置された画像の画像識別情報が該格子点に対応したエントリーに書き込まれたものである。画像が配置されていない格子点に対応したエントリーの内容は、画像が配置されていないことを示す情報（以下、”空”情報と記す）である。なお、同じクラスタ内における画像の特徴量の差は小さいため、個々のクラスタ内の画像が配置される２次元空間の広さは全クラスタの画像が配置される２次元空間全体に比べ狭い。

なお、各クラスタにおいて、複数の画像の特徴量ベクトルが極めて類似している場合には、複数の画像が重複して同じ格子点に配置されることがある。この場合、その複数の画像の画像識別情報が同じ格子点のエントリーに書き込まれることになる。

ステップＳ２０５： 制御部５００６は、入力対象の最後の画像まで入力されたか否かの判定を行い、入力すべき画像が残っている場合には画像入力部１００５に次の画像の入力を求め、その画像に対するステップＳ２０１〜Ｓ２０４の処理を実行する制御を行う。制御部５００６は、最後の画像まで入力されたと判定した場合（ステップＳ２０５，Ｎｏ）、画像再配置処理部５００５に対し画像再配置処理（ステップＳ２０６の処理）の実行を指示する。

ステップＳ２０６： 画像再配置処理部５００５で画像再配置処理が行われる。この画像再配置処理は前記第３の実施形態の画像再配置処理部４００７による処理と同様であるので、その説明は繰り返さない。

なお、以上の一連の処理を終了後に、画像ストレージ１０００に閲覧対象となる新たな画像が追加された場合や、画像ストレージ１０００に蓄積されている一部の画像が新たに閲覧対象に追加された場合には、それら新たな閲覧対象画像についてステップＳ２０１〜Ｓ２０４の処理を行うことにより、画像配置情報記憶部５００４内のクラスタ別画像配置情報５０１１が更新される。そして、更新された画像配置情報５０１１に対してステップＳ２０６の画像再配置処理が実行され、更新された画像配置データが生成される。

ここまでの説明から明らかなように、本実施形態は、請求項４乃至７に係る発明の一実施形態に相当する。そして、「画像入力手段」は画像入力部１００５に対応し、「特徴量抽出手段」は特徴量抽出部５００１に対応し、「クラスタリング手段」はクラスタリング部５００２に対応し、「画像配置情報生成手段」は画像配置処理部５００３に対応し、「画像再配置処理手段」は画像再配置処理５００５に対応する。

以上に説明した各実施形態に係る画像配置データ生成部１００６及び画像入力部１００５は、コンピュータのハードウェア資源を利用しプログラムにより実現することも可能であることは明らかである。そのようなプログラム、すなわち画像配置データ生成部１００６の各構成手段及び画像入力部１００５としてコンピュータを機能させるプログラムも本発明に包含される。そのようなプログラムが記録された半導体記憶素子、磁気ディスク、光ディスク、光磁気ディスク等のコンピュータが読み取り可能な各種情報記録（記憶）媒体も本発明に包含される。

また、以上説明した各実施形態における画像配置データ生成処理の説明は、請求項８乃至１４に係る発明の画像配置データ生成方法の処理手順の説明でもある。よって、本発明の画像配置データ生成方法の実施形態に関する説明は繰り返さない。

なお、以上においては画像が配置される格子点として直交座標系格子点を想定して説明したが、極座標系格子点を用いることも可能である。

本発明の一実施形態に係る画像処理システムのブロック図である。 画像のサムネイルを画像配置データに従って配置した画像マップを模式的に示す図である。 画像配置データ生成部の第１の実施形態を示すブロック図である。 ＳＯＭマップの概念図である。 画像配置データ生成部の第１の実施形態における画像配置データ生成動作の概略処理フローを示す図である。 画像再配置処理の処理フローを示す図である。 画像識別情報及び”空”情報への順番付与の説明図である。 画像再配置の説明図である。 画像識別情報及び”空”情報に順番をつける処理Ａの処理フローを示す図である。 画像を再配置して最終的な画像配置データを生成する処理Ｂの処理フローを示す図である。 処理Ａ後のキュー１の内容を示す図である。 処理Ｂ後のキュー２の内容を示す図である。 画像識別情報及び”空”情報への順番付与の説明図である。 画像再配置の説明図である。 画像配置データ生成部の第２の実施形態を示すブロック図である。 ｎ次元特徴量の主成分分析による２次元特徴量への集約と、２次元特徴量による画像配置の説明図である。 画像配置データ生成部の第３の実施形態を示すブロック図である。 画像配置データ生成部の第３の実施形態における画像配置データ生成動作の概略処理フローを示す図である。 画像再配置処理の概略処理フローを示す図である。 キュー２の内容（最終的な画像配置データ）の説明図である。 各クラスタの画像の再配置の説明図である。 画像識別情報への順番付与の説明図である。 画像再配置の説明図である。 画像配置データ生成部の第４の実施形態を示すブロック図である。

符号の説明

１０００ 画像ストレージ
１００１ 画像配置データサーバ
１００２ 画像配信サーバ
１００３ クライアント
１００５ 画像入力部
１００６ 画像配置データ生成部
１００７ 画像配置データ記憶部
１００８ 画像配置データ要求処理部
２００１ ＳＯＭモデル生成部
２００２ ＳＯＭモデル記憶部
２００３ 特徴量抽出部
２００４ 画像配置処理部
２００５ 画像配置情報記憶部
２００６ 画像再配置処理部
２００７ 制御部
２０１０ ＳＯＭモデル
２０１１ 画像配置情報
３００１ 特徴量抽出部
３００２ 画像配置処理部
３００３ 画像配置情報記憶部
３００４ 画像再配置処理部
３００５ 制御部
３００６ 画像配置情報
４００１ ＳＯＭモデル生成部
４００２ ＳＯＭモデル記憶部
４００３ 特徴量抽出部
４００４ クラスタリング部
４００５ 画像配置処理部
４００６ 画像配置情報記憶部
４００７ 画像再配置処理部
４００８ 制御部
４０１０ クラスタ別のＳＯＭモデル
４０１１ クラスタ別の画像配置情報
５００１ 特徴量抽出部
５００２ クラスタリング部
５００３ 画像配置処理部
５００４ 画像配置情報記憶部
５００５ 画像再配置処理部
５００６ 制御部
５０１１ クラスタ別の画像配置情報

Claims (14)

1. 画像を入力する画像入力手段と、
   前記画像入力手段により入力された各画像の特徴量を抽出する特徴量抽出手段と、
   画像入力手段により入力された各画像を、前記特徴量抽出手段で抽出された特徴量に基づき、類似した画像ほど近い距離になるように２次元空間の格子点に配置し、格子点に配置された画像の画像識別情報又は格子点に画像が配置されていないことを意味する”空”情報を格子点に対応付けて記録した画像配置情報を生成する画像配置情報生成手段と、
   前記画像配置情報生成手段で生成された画像配置情報に対し、所定の順序で格子点を辿りながら画像識別情報及び”空”情報に連続した順番を付与する第１の処理と、前記所定の順序で格子点を辿りながら、画像識別情報及び”空”情報を、それらに前記第１の処理で付与された順番に従って順に格子点に対応付けし直すことにより画像を再配置し、再配置後の画像識別情報とそれが対応付けられた格子点の位置情報のペアの集合からなる画像配置データを生成する第２の処理を行う画像再配置処理手段と、
   を有することを特徴とする画像配置データ生成装置。
2. 前記画像再配置処理手段は前記第１及び第２の処理において渦巻き状に格子点を辿ることを特徴とする請求項１に記載の画像配置データ生成装置。
3. 前記画像再配置処理手段は前記第１及び第２の処理において２次元空間の分割領域毎にラスタスキャン順に格子点を辿ることを特徴とする請求項１に記載の画像配置データ生成装置。
4. 前記画像入力手段により入力された各画像を、前記特徴量抽出手段で抽出された特徴量に基づき、複数のクラスタに分類するクラスタリング手段を有し、
   前記画像配置情報生成手段は、クラスタ別に画像の２次元空間の格子点への配置を行って、クラスタ別の画像配置情報を生成し、
   前記画像再配置処理手段は、クラスタ別に前記第１の処理を行い、前記第２の処理において、クラスタ別に設定された起点格子点から前記所定の順序で格子点を辿りながら、各クラスタについての画像識別情報及び”空”情報を、それらに前記第１の処理により付与された順番に従って順に格子点に対応付けし直すことにより画像を再配置することを特徴とする請求項１に記載の画像配置データ生成装置。
5. 前記画像再配置処理手段は前記第１及び第２の処理において渦巻き状に格子点を辿ることを特徴とする請求項４に記載の画像配置データ生成装置。
6. 前記画像再配置処理手段は前記第１及び第２の処理においてラスタスキャン順に格子点を辿ることを特徴とする請求項４に記載の画像配置データ生成装置。
7. 前記画像再配置処理手段は、前記第１の処理において画像識別情報のみに順番を付与し、前記第２の処理において画像識別情報のみを格子点に対応付けし直すことにより画像を再配置することを特徴とする請求項４に記載の画像配置データ生成装置。
8. 画像を入力する画像入力工程と、
   前記画像入力工程により入力された各画像の特徴量を抽出する特徴量抽出工程と、
   画像入力工程により入力された各画像を、前記特徴量抽出工程で抽出された特徴量に基づき、類似した画像ほど近い距離になるように２次元空間の格子点に配置し、格子点に配置された画像の画像識別情報又は格子点に画像が配置されていないことを意味する”空”情報を格子点に対応付けて記録した画像配置情報を生成する画像配置情報生成工程と、
   前記画像配置情報生成工程で生成された画像配置情報に対し、所定の順序で格子点を辿りながら画像識別情報及び”空”情報に連続した順番を付与する第１の処理と、前記所定の順序で格子点を辿りながら、画像識別情報及び”空”情報を、それらに前記第１の処理で付与された順番に従って順に格子点に対応付けし直すことにより画像を再配置し、再配置後の画像識別情報とそれが対応付けられた格子点の位置情報のペアの集合からなる画像配置データを生成する第２の処理を行う画像再配置処理工程と、
   を有することを特徴とする画像配置データ生成方法。
9. 前記画像再配置処理工程は前記第１及び第２の処理において渦巻き状に格子点を辿ることを特徴とする請求項８に記載の画像配置データ生成方法。
10. 前記画像再配置処理工程は前記第１及び第２の処理において２次元空間の分割領域毎にラスタスキャン順に格子点を辿ることを特徴とする請求項８に記載の画像配置データ生成方法。
11. 前記画像入力工程により入力された各画像を、前記特徴量抽出工程で抽出された特徴量に基づき、複数のクラスタに分類するクラスタリング工程を有し、
    前記画像配置情報生成工程は、クラスタ別に画像の２次元空間の格子点への配置を行って、クラスタ別の画像配置情報を生成し、
    前記画像再配置処理工程は、クラスタ別に前記第１の処理を行い、前記第２の処理において、クラスタ別に設定された起点格子点から前記所定の順序で格子点を辿りながら、各区ラスタについての画像識別情報及び”空”情報を、それらに前記第１の処理により付与された順番に従って順に格子点に対応付けし直すことにより画像を再配置することを特徴とする請求項８に記載の画像配置データ生成方法。
12. 前記画像再配置処理工程は前記第１及び第２の処理において渦巻き状に格子点を辿ることを特徴とする請求項１１に記載の画像配置データ生成方法。
13. 前記画像再配置処理工程は前記第１及び第２の処理においてラスタスキャン順に格子点を辿ることを特徴とする請求項１１に記載の画像配置データ生成方法。
14. 前記画像再配置処理工程は、前記第１の処理において画像識別情報のみに順番を付与し、前記第２の処理において画像識別情報のみを格子点に対応付けし直すことにより画像を再配置することを特徴とする請求項１１に記載の画像配置データ生成方法。

Images