JP2009110360A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像マップを利用した画像の検索に好適な画像処理技術を提供する。
【解決手段】属性識別部１０３Ａは、表示対象の画像を解析してこれを属性毎に分類する。特徴量ベクトル生成部１０３Ｃは、各画像について、属性情報及び画像特徴量を用いて、特徴量ベクトルを各々生成する。表示方法決定部１０３Ｄは、生成された特徴量ベクトルを可視平面上に射影することにより、サムネイルの表示サイズを決定する。表示画像生成部１０３Ｅは、表示対象の画像のサムネイルを各々生成し、表示方法決定部１０３Ｄが決定した表示位置に当該各サムネイルを配置したサムネイル一覧画像を生成してこれを表示部１０２に出力する。
【選択図】 図１

Description

本発明は、記憶装置に記憶された画像の中からユーザが所望の画像を検索するためにサムネイルを表示装置に表示させる画像処理装置及び画像処理方法に関するものである。

記憶装置にデータとして記憶されている大量の画像の中から、ユーザが希望する条件の画像を検索する場合、画像を大量に閲覧する必要がある。大量の画像をユーザが閲覧しやすくなるように、検索時に画像を縮小して表示するサムネイル表示が従来から知られている。サムネイルとは、静止画像の場合は画素数を間引いて画像サイズを縮小した画像のことである。このようなサムネイルを一覧形式で画面に複数表示することにより、ユーザは一度に複数の画像を閲覧することができる。このため、ユーザが希望する条件の画像を効率よく検索することができる。

また、サムネイル表示の際に、サムネイルの内容をユーザが容易に把握できるようにするために、表示方法を各種工夫した技術がある（例えば特許文献１〜２参照）。例えば、特許文献１に示される技術においては、ファイル名・作成日・更新日・セキュリティレベルといった元の画像に関する情報を付加情報としてそのサムネイルに対応付けて登録し、サムネイル表示時にその付加情報を呼び出し、サムネイルと一緒に重ねる等して表示する。また、特許文献２に示される技術においては、サムネイル表示におけるモードの一つとして、「人物」や「ナンバープレート」などの特定のオブジェクトを指定して部分画像をサムネイル表示するオブジェクト表示モードを有する。これにより、ユーザが、主に写真画像中に現れるオブジェクトを検索する際の手間と時間とを低減させることができる。

尚、このようなサムネイル表示により画像の検索を行う場合、ユーザは、画像の特徴を指定して問合せを行う検索クエリを用いる場合が多い。その場合、表示方法としては、サムネイルの内容をユーザが容易に把握できるようにするだけではなく、表示するサムネイル間の関係をユーザが把握し易いようにすることが望まれる。

このため、サムネイルを画像の特徴に基づいてマップ状に配置する（以後、画像マップという）ことにより、検索効率を向上させる技術がある。この画像マップによる表示の利点は、性質の似通ったサムネイル群が画面上にまとまって配置されるため、ユーザ自身が必要なサムネイルを視覚的に特定しやすくなることにある。サムネイルをマップ状に配置する方法としては特許文献３〜５に示されるものがある。特許文献３の方法では、例えば、表示対象の画像から色、形、大きさ、種類、用途キーワードなどの特徴量を抽出し、特徴量ベクトルを作成する。それを自己組織化マップなどを利用して２次元座標軸上へ射影し、かつ、情報の密度を変えて奥行き方向に複数の画面を並べることで視点を３次元的に移動させることにより、所望の画像を容易に探索できるようにする。

また、特許文献４の方法では、各表示対象の画像の属性を取得し、各属性値について画面上の中心点を設定する。その上で、表示対象の画像から属性を取得し、その属性値に係る中心点が配置されている近傍へ当該画像のサムネイルを配置する。これにより同じ属性値を持つ画像のサムネイルはまとまって表示されることになる。また、特許文献５の方法では、画像のデータからＮ次元の特徴量を抽出し、多変量統計分析処理により２次元の新たな特徴量を算出する。更にクラスタリング情報に基づいて表示位置と表示サイズとを決定する。

上述した画像マップにおいて重要なことは、ユーザが注目領域を容易にかつ正確に把握できる仕組みを提供することである。そのためには、画像マップ内のサムネイルは属性値ごとにクラスタリングされて表示されることが好ましい。

一方、上述した画像マップを利用して検索を行う場合に好適なブラウジング手法として、ユーザが画像マップ上の配置から注目領域を指定し、注目領域を中心にズームインを繰り返すことで検索対象の絞り込みを視覚的に行えるようにしたものが考えられる。このようなブラウジング機能を備えた画像マップ型検索システムでは、ユーザがズームインを繰り返すことにより、画像を検索する検索状態が段階的に切り替わる。このような画像マップ型検索システムにおける画像マップの作成には、更に、画面の遷移と共に段階的に切り替わる検索状態（検索段階）を考慮するべきである。つまり、上述の通り、画像マップの初期画面上で検索対象を絞り込むためには画像がある規則に基づいてクラスタリングされて表示されていることが必要であるが、更に、ズームインする度にユーザが戸惑うことなく次の注目領域を把握することができるようにする仕組みが必要である。

画像マップ型検索システムでは、ユーザの検索段階を大きく２つに分けることができる。まず、第１は注目領域を絞り込む段階である。初期画面のサムネイル数が多い場合、ユーザは１つ１つの画像を見比べるのではなく、どの辺りに目的の画像が存在するかといった観点で画像マップを眺め、注目領域をズーミングし、更に注目領域を絞り込む操作を繰り返す。この第１の絞り込み段階を経て、注目領域内のサムネイル数がある程度の数以下になった時に、ユーザは、１つ１つの画像を見比べて目的の画像を探索する第２の検索段階に移行する。

特開２００１−３３７９９４号公報 特開２００６−２７７４０９号公報 特許第３６１４２３５号公報 特開２００５−５５７４３号公報 特開２００５−２３５０４１号公報

しかしながら、特許文献３〜５に示される方法では、ブラウジングを含めた検索システムとしての利便性については何ら考慮されていないため、初期画面では有効であっても、ユーザが、段階的に注目領域を絞り込んでいくことが困難であり、目的の画像を見失ってしまう可能性が高い。

例えば、特許文献３に示される方法は、自己組織化マップ(Self-Organizing Maps, SOM)などを用いて特徴量ベクトルの類似度に応じたクラスタリングによるサムネイル表示を得る方法であるが、この方法によると、得られるクラスタの分類を予め指定することができない。このため、ユーザが検索しやすいクラスタに分類して表示することはできない。しかしながら、マップ状に配置されたサムネイル一覧表示画面上で注目領域の絞込みを行うには、クラスタの分類意図がユーザにとって視覚的に把握し易いものである必要がある。そのため、各クラスタの分類は、全体的な色や構図といった視覚的に把握しやすい特徴を利用したものが好ましい。

また、特許文献４に示される方法は、分類タイトルなどをクラスとして予め設定し、各サムネイルを、その画像の属するクラスの周辺に配置するという方法である。この方法ではクラスの分類意図はユーザに伝わりやすいが、各クラスの中心座標を予め設定する必要がある。又、各クラス内での画像の配置になんら規則性が無いため、ブラウジングの過程で注目領域を絞り込むことはできても、注目領域内の画像数が多い場合は注目領域内で目的の画像を探すことが困難である。

また、特許文献５に示される方法は、画像特徴量から主成分分析処理によって２次元の新たな特徴量（２次元特徴量）を算出し、各画像を２次元特徴量を２軸とした距離空間上の点とみなすことにより、ある数のクラスタ群にクラスタリングして表示する方法であるが、クラスタ数を予め指定することができても、クラスタの分類意図を予め指定することができない。このため、ユーザにクラスタの分類意図が明確に伝わらない恐れがある。

本発明は、上記に鑑みてなされたものであって、画像マップを利用した画像の検索に好適な画像処理装置及び画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、画像処理装置であって、表示対象の複数の画像を解析して、各画像を属性毎に分類する分類手段と、前記分類手段が分類した各画像の画像特徴を示す画像特徴情報を各々取得する取得手段と、前記画像に対して前記画像を分類した属性と前記取得手段が取得した画像特徴情報に示される画像特徴とを用いて特徴量ベクトルを生成する第１生成手段と、前記第１生成手段が生成した前記特徴量ベクトルを用いて、前記属性が同一であれば近く且つ前記画像特徴の類似度が高いほど近い距離となるように、前記画像のサムネイルの表示位置を決定する表示方法決定手段と、前記画像のサムネイルを生成し、前記表示方法決定手段が決定した表示位置に前記サムネイルを配置したサムネイル一覧画像を生成する第２生成手段とを備えることを特徴とする。

また、請求項２にかかる発明は、請求項１にかかる発明において、前記属性は、前記画像の概観を示すものであることを特徴とする。

また、請求項３にかかる発明は、請求項１又は２にかかる発明において、前記分類手段は、前記画像を解析して、予め設定された複数の属性の少なくとも１つに前記画像を分類することを特徴とする。

また、請求項４にかかる発明は、請求項１乃至３のいずれか一項にかかる発明において、前記第１生成手段は、前記分類手段が分類した属性をベクトル化したものと前記画像特徴をベクトル化したものとを合成することにより、前記特徴量ベクトルを生成することを特徴とする。

また、請求項５にかかる発明は、請求項１乃至４のいずれか一項にかかる発明において、前記属性間に関連性が予め設定されており、前記第１生成手段は、前記分類手段が分類した前記属性と他の属性との関連性に基づいて、前記特徴量ベクトルを生成することを特徴とする。

また、請求項６にかかる発明は、請求項１乃至５のいずれか一項にかかる発明において、前記属性は階層構造を有し、前記分類手段は、前記画像を各階層の属性毎に分類することを特徴とする。

また、請求項７にかかる発明は、請求項６にかかる発明において、前記属性は、前記画像を縮小した前記サムネイルに対する視認性を示すものであり、前記分類手段は、前記画像を解析して、縮小率がより高い前記サムネイルに対する視認性が高いほど上位階層となるよう、前記画像を各階層の属性毎に分類することを特徴とする。

また、請求項８にかかる発明は、請求項７にかかる発明において、前記属性間に関連性が予め設定されており、前記第１生成手段は、上位階層において同じ属性に属する２つの画像の特徴量ベクトル又は最上位階層で任意の属性に属する２つの画像の特徴量ベクトルについて、属性間の関連性が強い場合の特徴量ベクトル間の距離の平均値が、属性間の関連性が弱い場合の特徴量ベクトル間の距離の平均値よりも小さくなるように、前記特徴量ベクトルを生成することを特徴とする。

また、請求項９にかかる発明は、請求項７にかかる発明において、前記第１生成手段は、上位階層において同じ属性に属する２つの画像の特徴量ベクトル又は最上位階層で任意の属性に属する２つの画像の特徴量ベクトルについて、属性間の関連性が強い場合の特徴量ベクトル間の距離の最小値が、属性間の関連性が弱い場合の特徴量ベクトル間の距離の最小値よりも小さくなるように、前記特徴量ベクトルを生成することを特徴とする。

また、請求項１０にかかる発明は、請求項６乃至９のいずれか一項にかかる発明において、前記第１生成手段は、前記分類手段が分類した各階層の属性を各々ベクトル化したものと前記画像特徴情報によって示される画像特徴をベクトル化したものとを合成することにより、前記特徴量ベクトルを生成することを特徴とする。

また、請求項１１にかかる発明は、請求項６乃至１０のいずれか一項にかかる発明において、前記第１生成手段は、各階層の属性を各々ベクトル化したものに対して階層毎に異なるウェイトを加えて、前記特徴量ベクトルを生成することを特徴とする。

また、請求項１２にかかる発明は、請求項１乃至１１のいずれか一項にかかる発明において、前記第１生成手段は、前記属性に応じて、前記特徴量ベクトルの生成に用いる画像特徴の種類を決定し、当該属性と、当該画像特徴とを用いて、前記特徴量ベクトルを生成することを特徴とする。

また、請求項１３にかかる発明は、請求項１乃至１２のいずれか一項にかかる発明において、前記分類手段は、１つの前記画像が複数ページから構成されて１つの文書を構成する場合、前記画像を文書単位で属性毎に分類することを特徴とする。

また、請求項１４にかかる発明は、請求項１乃至１３のいずれか一項にかかる発明において、前記取得手段は、１つの前記画像が複数ページから構成されて１つの文書を構成する場合、前記画像の前記画像特徴情報を文書単位で取得することを特徴とする。

また、請求項１５にかかる発明は、請求項１乃至１４のいずれか一項にかかる発明において、前記表示方法決定手段は、前記画像のサムネイルの１次元空間、２次元空間及び３次元空間のうち少なくとも１つにおける表示位置を決定することを特徴とする。

また、請求項１６にかかる発明は、請求項１乃至１５のいずれか一項にかかる発明において、前記第２生成手段が生成したサムネイル一覧画像を表示する表示手段を更に備えることを特徴とする。

また、請求項１７にかかる発明は、分類手段と、取得手段と、第１生成手段と、表示方法決定手段と、第２生成手段とを備える画像処理装置において実現される画像処理方法であって、前記分類手段が、表示対象の複数の画像を解析して、各画像を属性毎に分類する分類ステップと、前記取得手段が、前記分類ステップで分類した各画像の画像特徴を示す画像特徴情報を各々取得する取得ステップと、前記第１生成手段が、前記画像に対して前記画像を分類した属性と前記取得手段が取得した画像特徴情報に示される画像特徴とを用いて特徴量ベクトルを生成する第１生成ステップと、前記表示方法決定手段が、前記生成ステップで生成した前記特徴量ベクトルを用いて、前記属性が同一であれば近く且つ前記画像特徴の類似度が高いほど近い距離となるように、前記画像のサムネイルの表示位置を決定する表示方法決定ステップと、前記第２生成手段が、前記画像のサムネイルを生成し、前記表示方法決定ステップで決定した表示位置に前記サムネイルを配置したサムネイル一覧画像を生成する第２生成ステップとを含むことを特徴とする。

本発明によれば、画像マップを利用した画像の検索を効率良く行うことが可能になる。

以下に添付図面を参照して、この発明にかかる画像処理装置及び画像処理方法の最良な実施の形態を詳細に説明する。

[第１の実施の形態]
（１）構成
図１は、本実施の形態にかかる画像処理装置の構成を例示する図である。画像処理装置１００は、入力部１０１と、表示部１０２と、制御部１０３と、記憶部１０４とを有する。入力部１０１は、キーボードやマウスなどのポインティングデバイスなどによって実現され、ユーザからの検索条件の指示入力や検索条件の追加や変更などの各種指示入力を受け付ける。表示部１０２は、液晶ディスプレイやＣＲＴなどによって実現され、画像群の中から検索条件に従って特定された画像のサムネイルや入力部１０１の指示依頼あるいは指示結果などを表示する。

記憶部１０４は、たとえばハードディスク装置などによって実現され、カメラなど撮像装置である画像取得装置１１０によって取得された画像や、その他スキャナから読み込まれた会議資料などの文書を表す画像をデータとして記憶する。また、記憶部１０４は、各画像のサムネイル及び各画像の画像特徴を示す画像特徴情報をそれぞれ画像フォルダＦ１〜ＦＮとして記憶する。画像特徴情報は、画像特徴を数値化した画像特徴量として、例えば、画像のテクスチャに関するテクスチャ情報や、画像における配色を示すカラーヒストグラム情報などを含む。

制御部１０３は、例えば、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）となどによって実現され、ＲＯＭに記憶された各種プログラムを実行することにより画像処理装置１００において各種機能を実現させる。画像処理装置１００において実現される機能は、同図に示される属性識別部１０３Ａと画像特徴取得部１０３Ｂと特徴量ベクトル生成部１０３Ｃと表示方法決定部１０３Ｄと表示画像生成部１０３Ｅとを含む。属性識別部１０３Ａは、表示対象の画像を記憶部１０４から読み出してこれを解析して各画像の属性を識別し、各画像を属性毎に分類する。また、属性識別部１０３Ａは、識別した属性を示す属性情報を画像と対応付けて上述の画像フォルダに記憶する。

尚、画像を解析してその属性を識別する方法としては、例えば、特開２００６−３９６５８号公報に記載されている方法を用いることができる。この方法によれば、画像を窓と呼ばれる、画像の大きさに比べて十分小さく予め定められた領域で被覆し、各窓から画像の小領域を切り出した部分画像の集合を作成し、切り出された全ての部分画像同士の間にそれらの間の非類似度に相当するような順序関係を設定する。そしてこの順序関係のみに基づいて各部分画像を任意の距離空間における点へと写像し、写像された距離空間における点の位置座標ベクトルの直積又はテンソル積を画像についての特徴量として用いて、画像のクラス分類学習及びクラス識別を行う。

図２は、属性識別部１０３Ａが識別する属性を例示する図である。一般的な文書画像の場合、例えば図、表、グラフや見出しなどの属性がある。写真画像やグラフィック画像の場合には、人物、自然、人工物、風景などの属性がある。ここでは、このように、画像の概観を示す属性を用いる。

画像特徴取得部１０３Ｂは、各画像の特徴情報を画像フォルダから取得する。特徴量ベクトル生成部１０３Ｃは、各画像について、記憶部１０４の各画像フォルダに記憶されている属性情報及び画像特徴量を用いて特徴量ベクトルを各々生成する。表示方法決定部１０３Ｄは、特徴量生成部１０３Ｃが生成した特徴量ベクトルを可視平面上に射影することにより、サムネイルの表示位置を決定する。表示画像生成部１０３Ｅは、表示対象の画像を各々縮小してサムネイルを生成し、表示方法決定部１０３Ｄが決定した表示位置に当該各サムネイルを配置したサムネイル一覧画像を生成してこれを表示部１０２に出力する。

（２）動作
次に、本実施の形態にかかる画像処理装置１００がサムネイル一覧画像を表示する処理の手順について図３を参照しながら説明する。画像処理装置１００の属性識別部１０３Ａは、表示対象の画像を記憶部１０４から読み出し（ステップＳ１）、これを解析して各画像の属性を識別し、各画像を属性毎に分類する（ステップＳ２）。即ち、属性識別部１０３Ａは、属性によって各画像をクラス別に分類する。そして、属性識別部１０３Ａは、識別した属性を示す属性情報を画像と対応付けて上述の画像フォルダに記憶する。次いで、画像特徴取得部１０３Ｂは、各画像の画像特徴量を取得する（ステップＳ３）。そして、特徴量ベクトル生成部１０３Ｃは、各画像について、各画像フォルダに記憶されている属性情報及びステップＳ３で取得した画像特徴量に基づいて特徴量ベクトルを各々生成する。（ステップＳ４）。

このとき、特徴量ベクトル生成部１０３Ｃは、属性情報に示される属性を数値化してベクトル化したものと画像特徴量をベクトル化したものとを合成することにより、特徴量ベクトルを生成する。図４は、特徴ベクトルを例示する図である。同図における特徴ベクトルは、属性（クラス）の異なる画像が互いに線形独立となる。特徴ベクトルＦＶ１＿１〜ＦＶ１＿３は、例えば、クラス１（例えば図２に示す「図」）に属する場合の特徴ベクトルを示している。特徴ベクトルＦＶ２＿１〜ＦＶ２＿３は、例えば、クラス２（例えば図２に示す「表」）に属する場合の特徴ベクトルを示している。この例では、属性数、即ち、クラス数を「２」とし、画像特徴量をベクトル化したものをそれぞれ「v1v2…vs」、「v’1v’2…v’ｔ」としている。クラス数が「２」であるため、ここでは属性を数値化して表現する次元数を２次元とし、画像特徴量をベクトル化した次元数「ｎ」と合成して「ｎ+２」次元の特徴量ベクトルを生成する。このように特徴量ベクトルを構成すると、一般にクラス数を「ｍ」とした場合は、合成後の特徴量ベクトルの次元数は「ｍ+ｎ」次元となる。この特徴量ベクトルにおいて、属性（クラス）の異なる特徴量ベクトルは互いに線形独立であることには明らかである。

ステップＳ４の後、表示方法決定部１０３Ｄは、ステッＳ４で生成された特徴量ベクトルを可視平面上へ射影し、各画像のサムネイルの表示位置を決定する。又、表示方法決定部１０３Ｄは、決定された表示位置に基づいて、各サムネイルの表示に適した表示サイズを決定する（ステップＳ５）。

ここでは、ステップＳ４で生成された高次元の特徴量ベクトルについて次元圧縮を行い、可視平面上への配置を決定する方法として、自己組織化マップ（SOM）を用いることができる。その場合、属性を数値化した部分の次元数（上記の例では「クラス数」と同じである）を大きくすると、表示方法決定部１０３Ｄは、各画像のうち、同じ属性に属する画像が近傍に配置されるように表示位置を決定する。更に、表示方法決定部１０３Ｄは、同じ属性に属する各画像については、画像特徴の類似度に従って表示位置を決定する。尚、画像特徴の類似度については、表示方法決定部１０３Ｄは、例えば、各画像の画像特徴量の分散を算出し、分散が小さいほど高くなるものとして類似度を求め、類似度が高いほど近くなるよう各画像の表示位置を決定する。

ステップＳ５の後、表示画像生成部１０３Ｅは、表示方法決定部１０３Ｄが決定した表示サイズのサムネイルを生成し、表示方法決定部１０３Ｄが決定した表示位置に当該各サムネイルを配置したサムネイル一覧画像を生成する。（ステップ６）。そして、表示画像生成部１０３Ｅは、全ての画像について処理が終わったか否かを判定し（ステップ7）、当該判定結果が肯定的である場合、サムネイル一覧画像を表示部１０２に出力して処理を終了する（ステップＳ８）。ステップＳ７の判定結果が否定的である場合、ステップＳ１に戻り、次の画像について処理を行う。

図５は、一般的な文書画像を表示対象とした場合のサムネイル一覧画像を例示する図である。各サムネイルは、その元画像の属性毎に分類されて表示され、同一の属性に属する画像は、画像特徴の類似度に従って配置される。同図においては、例えば、「図」という属性名ＺＭ１の周辺に、属性「図」に属する画像のサムネイルＳＭ１＿１〜ＳＭ１＿７が各々表示される。また、サムネイルＳＭ１＿１の元画像と、サムネイルＳＭ１＿２の元画像や、サムネイルＳＭ１＿７の元画像との類似度がより高いとして配置されている。

尚、サムネイル一覧画像の表示方法としては、単純な縮小画像を表示するようにしても良いし、注目したい属性（注目クラス）に属する画像群の表示サイズを大きくしたり、当該画像群を高解像度で表示したりハイライト表示したりしても良い。又、注目クラスに属する画像のみを表示するようにしても良い。又、画像特徴量に基づいてサムネイルの表示サイズを決定する方法としては、例えば特開２００６−３０３７０７号公報に開示されている方法を適用することができる。この方法によれば、拡大率を大きくしないと内容を把握し難いような細かい画像も予想される。その場合にも、この方法を用いれば、そのサムネイルの表示サイズとして、内容を把握するのに適切な表示サイズを決定することができる。

以上のようにして、表示対象の画像を属性毎に分類すると共に、同一の属性に属する画像のうち画像特徴が類似した画像同士を近傍に配置したサムネイル一覧画像を生成することができる。このような画像マップは、大量の画像の中から、ユーザが属性や画像特徴を検索キーとして目的の画像を検索する場合に有効である。例えば、まずその大まかな属性の分類から注目領域を絞り込み、その絞り込んだ領域をズームアップする場合に有効である。この場合、ズームアップして注目領域を絞り込んだ後、ユーザは、目的の画像がどのような色であったか、又どのようなテクスチャであったかといった視覚的な記憶をたよりに、サムネイル一覧画像にある目的の画像のサムネイルの表示位置を容易に予測することが可能である。また、画像マップ上における画像の配置意図がユーザに伝わりやすいため、ユーザは注目領域の絞り込みを容易に行うことができる。このため、ユーザは目的の画像を効率的に検索することができる。

また、画像の概観を示す属性を用いて画像を分類することにより、サムネイル一覧画像においてユーザがその分類意図を容易に視認可能となる。

また、属性の異なる画像の特徴量ベクトルが線形独立となるようにすることで、各属性に従属関係などの関連性がない場合にも好適な特徴ベクトルを生成することが可能となる。各属性に従属関係がない場合、表示時における各クラスの配置は属性以外の画像特徴量によって決定される。即ち、各属性において視覚的に性質の類似した画像のサムネイル同士が隣接して配置されることになり、ユーザが視覚的な情報に基づいて検索をするのに好適な配置を提供することができる。

また、属性情報を数値化してベクトル化したものと画像特徴量をベクトル化したものとの合成により特徴量ベクトルを算出するため、例えば自己組織化マップなどのような高次元から可視平面への次元圧縮を行うことにより、属性情報と画像特徴の類似度とを反映したサムネイルの配置を容易に実現することができる。

また、上述の実施の形態においては、表示対象を２次元の静止画像としたが、表示対象はこれらに限られるものではなく、３次元画像や動画像であっても良い。３次元画像の場合も上述と同様に、画像処理装置１００は、各オブジェクトの重心と元の画像の画像サイズとから、各オブジェクトを含むサムネイルの表示位置を決定し、３次元的に画像を表示領域に配置する。また、動画像の場合は、画像処理装置１００は、時間軸を加えた座標値（ｆx，ｆy，ｔ）を保持し、サムネイル一覧画像の表示時に、２次元画像の場合と同様の位置に動画像を表示して再生したり、３次元的に表示したりするようにしても良い。

[第２の実施の形態]
次に、画像処理装置の第２の実施の形態について説明する。なお、上述の第１の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。

本実施の形態においては、表示対象の画像の属性が階層構造を有する。この場合、画像処理装置１００の属性識別部１０３Ａは、表示対象の画像を記憶部１０４から読み出してこれを解析して各画像の階層毎の属性を識別し、各画像を各階層の属性毎に分類する。特徴量ベクトル生成部１０３Ｃは、各階層の属性毎に分類された各画像について、記憶部１０４の各画像フォルダに記憶されている属性情報及び画像特徴量に基づいて特徴量ベクトルを各々生成する。表示方法決定部１０３Ｄは、特徴量生成部１０３Ｃが生成した特徴量ベクトルを可視平面上に射影することにより、サムネイルの表示位置を決定する。尚、分類による各属性（クラス）には、関連性が設定されていないものとする。また、表示画像生成部１０３Ｅは、階層毎のサムネイル一覧画像を生成してこれを表示部１０２に適宜出力する。

図６は、写真画像の属性について、２階層まで設定された例を示す図である。同図に示されるように、第１階層は、属性として「people」、「nature」、「art」及び「landscape」の４つのクラスに分類されており、各クラスについて第２階層の分類が設定されている。

次に、本実施の形態にかかる画像処理装置１００がサムネイルを表示する処理の手順について図７を参照しながら説明する。画像処理装置１００の属性識別部１０３Ａは、表示対象の画像を記憶部１０４から読み出し（ステップＳ１）、これを解析して各画像の階層毎の属性を識別し、各画像を各階層の属性毎に分類する（ステップＳ２Ａ）。そして、属性識別部１０３Ａは、識別した階層毎の属性を各々示す属性情報を画像と対応付けて上述の画像フォルダに記憶する。属性識別部１０３Ａは、全ての階層についてステップＳ２Ａの処理を行う。そして、全ての階層について分類が終了すると（ステップＳ３Ａ）、ステップＳ３に進む。ステップＳ３は、第１の実施の形態と同様である。次いで、ステップＳ４Ａでは、特徴量ベクトル生成部１０３Ｃは、各階層の属性毎に分類された各画像について、各画像フォルダに記憶されている属性情報及びステップＳ３で取得した画像特徴量に基づいて特徴量ベクトルを各々生成する。

ステップＳ４では、特徴量ベクトル生成部１０３Ｃは、属性情報に示される属性を数値化してベクトル化したものと画像特徴量をベクトル化したものとを合成することにより、特徴量ベクトルを生成する。図８は、特徴ベクトルを例示する図である。同図における特徴ベクトルは、属性（クラス）の異なる画像が互いに線形独立となる。本実施の形態では、各属性（クラス）には、関連性が設定されていないため、同図における特徴ベクトルは、属性（クラス）の異なる画像が互いに線形独立となる。同図には、図６に示した階層構造に従って第１階層のクラス数を「４」、第２階層のクラス数の最大値を「５」とした場合の特徴ベクトルを示している。図８の特徴ベクトルＦＶ１＿１´〜ＦＶ１＿５´は、第１階層でクラス１（例えば図６に示した「nature」）に分類された画像の特徴ベクトルを示している。図８の特徴ベクトルＦＶ４＿１´〜ＦＶ４＿５´は、第１階層でクラス４（例えば図６に示した「art」）に分類された画像データの特徴ベクトルを示している。

特に、各階層の分類結果を数値化して表現する次元数について「次元数＝クラス数」とし、特徴量ベクトルの次元数「ｎ」と合成して「ｎ+（第１階層のクラス数）+（第２階層のクラス数の最大値）」次元の特徴量ベクトルを利用する。一般に階層の深さをｋ、各階層におけるクラスタ数の最大値を「ｍｋ」とすると、合成後の特徴量ベクトルの次元数は「（ｍ１＋ｍ２＋…ｍｋ）+ｎ」次元となる。第１階層の最大クラス数は「４」であるため、特徴ベクトルにおいて４次元が、第１階層の分類を数値化するために使用される。例えば、クラス１に属する場合は１次元目の値が「１」となり、クラス４に属する場合は４次元目の値が「１」となる。特徴ベクトルにおける５次元目〜９次元目は、第２階層の分類を数値化するために使用される。例えば、第２階層においてクラス１に属する場合５次元目の値が「１」となり、第２階層においてクラス５に属する場合９次元目の値が「１」となる。尚、特に留意すべき点は、この特徴ベクトルにおいて最も下位の階層においてもクラスの異なる特徴ベクトルは、互いに線形独立であることである。

更に、階層毎にウェイトを設定して特徴量ベクトルを生成することも可能である。図９は、このような特徴ベクトルを例示する図である。同図における特徴量ベクトルは、クラスの異なる画像が互いに線形独立となり、かつ階層構造を有する属性について、ウェイトを加味して生成した特徴量ベクトルである。特徴ベクトルＦＶ１＿１"〜ＦＶ１＿３"は、第１階層でクラス１（例えば図６に示した「nature」）に分類された画像の特徴ベクトルを示している。図８の特徴ベクトルＦＶ２＿１"〜ＦＶ２＿５"は、第１階層でクラス２（例えば図６に示した「people」）に分類された画像データの特徴ベクトルを示している。

この例では、第１階層のクラス数を「２」とし、第２階層のクラス数を「３」とし、第１階層のウェイトを「４」とし、第２階層のウェイトを「２」としている。図６に示した階層構造では、第１階層のクラス数が「４」であり、第２階層のクラス数の最大値は「５」である。この場合、各階層の分類結果を数値化して表現する次元数を「クラスタ数×ｗ（ｗはウェイト）」とし、特徴量ベクトルの次元数「ｎ」と合成して「ｎ+（第1階層のクラスタ数の最大値）×ｗ１+（第2階層のクラスタ数の最大値）×ｗ２」次元の特徴量ベクトルを利用する。一般に階層の深さをｋ、各階層におけるクラスタ数の最大値をｍｋ、各階層のウェイトをｗｋすると、合成後の特徴量ベクトルの次元数は「（ｗ１×ｍ1+ｗ2×ｍ2+…ｗｋ×ｍｋ）+ｎ」次元となる。この時、各階層で指定するウェイトに関して、「ｗ１＜ｗ2＜…＜ｗｋ」という大小関係が成立するように定めることにより、ウェイトの高い上位の階層の分類が、サムネイルの配置に大きな影響を与えることになる。尚、これらの特徴ベクトルにおいても、最も下位の階層についてもクラスの異なる特徴ベクトルは互いに線形独立であることは明らかである。

ステップＳ４以降は、第１の実施の形態と同様である。尚、ステップＳ８では、表示画像生成部１０３Ｅは、まず、第１階層の属性による分類で配置されたサムネイル一覧画像を生成してこれを表示部１０２に出力する。その後、ユーザの画像切り替えを指示する指示入力に応じて、表示画像生成部１０３Ｅは、第２階層以下の属性による分類で配置されたサムネイル一覧画像を生成してこれを表示部１０２に出力する。

図１０は、第２階層まで階層構造を有する属性の分類が設定された画像のサムネイル一覧画像が表示される場合のイメージ図である。まず、各階層の属性毎に分類されたサムネイルが配置された初期画面ＧＭ１が表示される。その後、ユーザが当該画面に表示される画像マップを眺めながら検索範囲を絞り込んで行くという検索段階が進むにつれて、下位階層の属性による分類で配置されたサムネイル群を拡大した表示画面ＧＭ２や、同一の属性に分類されたサムネイル群を拡大した表示画面ＧＭ３に切り替わる。図１１は初期画面ＧＭ１におけるサムネイル一覧画像を例示する図である。同図においては、サムネイルは第１階層の属性毎に分類され且つ第２階層の属性毎に分類されて表示されることが示されている。

以上のような構成によれば、表示対象の画像のサムネイルについて、属性の階層構造を反映した配置が可能となる。例えば、第Ｎ階層で同じ属性に属する画像のサムネイルを群状に配置し、かつ第Ｎ階層の更に下位の第Ｎ＋１階層の属性に属する画像のサムネイルを群状に配置して表示することができる。つまり、ユーザが上述のサムネイル一覧画像において画像を検索する場合、ズームアウトした状態（一覧表示）では上位階層の属性による分類により各サムネイルが表示され、ズームインした状態（部分表示）では下位階層の属性による分類により各サムネイルが表示される。従って、検索段階と属性の階層構造における階層数とが同時に進行するような検索ブラウジング方式を提供することが可能となる。ユーザ側の動作としては、検索対象領域の判定とズームインとを繰り返し行うことで、画像の階層的な分類構造を活かした効率的な検索が可能となる。

また、階層毎の各属性を全て用いて特徴量ベクトルを生成するため、全ての階層における属性による分類結果を反映した画像マップを提供することができる。

また、特徴量ベクトルの生成において画像特徴量として用いる画像特徴を、表示対象の画像の属性に応じて決定するようにしても良い。例えば、属性と、画像特徴の種類との対応関係を示す属性対応情報を記憶部１０４に予め記憶しておいたり、ユーザからの指示入力に応じてその対応関係を適宜設定したりする。そして、ステップＳ４では、特徴量ベクトル生成部１０３Ｃは、処理対象の画像の属性に対応する画像特徴の種類を決定し、当該種類の画像特徴を示す画像特徴量を用いて特徴量ベクトルを生成する。例えば、上位階層では全体的な色など画像の概観を把握するのに役立つ画像特徴を用い、階層が深くなるにつれてエッジ分布情報や構図情報などの細かい画像特徴を用いるようにしても良い。

このような構成によれば、各属性に含まれる画像群について表示上適する画像特徴によって配置を決定することが可能となる。例えば、ある属性に属する画像群がテクスチャの類似した画像ばかりで構成される場合、テクスチャ以外の画像特徴を用いて配置を決定した方が、ユーザは個々の画像の特徴をその配置から把握しやすい。このため、ユーザにとって好適な画像マップを提供することができる。

尚、このような画像マップにおいては、属性の階層が上位であるほど、縮小率が高いサムネイルにおいて分類が視認可能であることが望まれる。従って例えば、属性として、図６に示したようなものを用いるのではなく、サムネイルに対する視認性が階層に応じて考慮されたものを用いても良い。上述したように、ズームアウトした状態（一覧表示）では上位階層の分類が表現され、ズームインした状態（部分表示）では下位階層の分類が表現されることになる。ここで、留意すべきは、ズームアウトした状態では多くのサムネイルを表示する必要があるため、個々のサムネイルの表示サイズが小さくなる可能性が高く、ズームインを繰り返していくに従って個々のサムネイルの表示サイズを大きくすることが可能となる点である。各表示段階におけるサムネイルの表示サイズと分類の判別容易性とを考慮すると、例えば上位階層において「画像に含まれるオブジェクトによる分類」に基づいて分類を行ってサムネイルを表示すると、ユーザ側に分類意図が把握されない危険性が高い。そのため、上位階層では例えば「全体色による分類」や「テクスチャによる分類」などのように高倍率の縮小においても視覚的に判別可能な分類が有効であるといえる。

例えば、図１０においては、初期画面ＧＭ１では、各階層の属性毎に分類された全てのサムネイルを表示することになるため、結果的に高倍率で縮小したサムネイルを大量に配置して表示することになる。このような画面では、各サムネイルはクラス（属性）毎にまとまって配置されて表示されているが、この状態で、ユーザーが「どのクラス(属性)に自分の目的とする画像がありそうか」を判断するためにはクラス間の関係が視認可能な特徴で分類されていることが望まれる。サムネイルにおいて視認可能な特徴として、例えば「色」が考えられる。従って、例えば、第１階層の属性を分類するための特徴として、「色」を用いるようにし、例えば、赤っぽい画像を１つのクラス、青っぽい画像を１つのクラス、緑っぽい画像を１つのクラスとして属性の分類を予め定義するようにしても良い。このような分類によれば、ユーザはサムネイルの一覧表示であっても自分の目的とする画像の概観を覚えていれば、どのクラスに分類されているのかを判断可能である。それに対し、サムネイルにおいて視認しがたい特徴として「構図」が考えられる。このような特徴については、下位階層の属性を分類するために用いるようにすれば良い。即ち、例えば、第１階層の分類指標として「色」という画像特徴を用い、下位階層の分類指標として「構図」という画像特徴を用いることにより、ユーザはクラス間の関係を明確に視認することが可能になる。この場合、画像処理装置１００は、表示対象の画像を解析したり画像特徴量を用いたりして、「色」や「構図」などの画像特徴によって各階層の属性毎に画像を分類する。

このような構成によれば、検索段階と属性の階層構造における階層数とが同時に進行するような検索ブラウジング方式において、ユーザが注目領域を絞り込む場合に、各検索段階で分類意図を正確に且つ容易に把握することが可能な画像マップを提供することが可能となる。

[第３の実施の形態]
次に、画像処理装置の第３の実施の形態について説明する。なお、上述の第１の実施の形態又は第２の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。

本実施の形態においては、第２の実施形態において、分類による各属性には、関連性が予め設定されている場合について説明する。例えば、属性間の関連性が強いほど、関連性の度合（関連レベル）が高く、属性間の関連性が弱いほど、関連レベルが低いように設定される。そして、その関連レベルを示す関連レベル情報が、記憶部１０４に記憶されているものとする。特徴量ベクトル生成部１０３Ｃは、記憶部１０４に記憶された関連レベル情報によって示される属性間の関連レベルを更に用いて、特徴量ベクトルを生成する。そして、このような特徴量ベクトルを用いて、表示方法決定部１０３Ｄがサムネイルの表示位置を決定する。

次に、本実施の形態にかかる画像処理装置１００がサムネイルを表示する処理の手順について図１２を参照しながら説明する。ステップＳ１〜Ｓ４Ａまでは、第２の実施の形態と同様である。ステップＳ４Ｂでは、特徴量ベクトル生成部１０３Ｃが、各階層の属性毎に分類された各画像について、記憶部１０４に記憶された関連レベル情報を参照して、各画像の属性と他の属性との関連レベルを階層毎に取得する。そして、特徴量ベクトル生成部１０３Ｃは、各画像について、取得した関連レベル、記憶部１０４の各画像フォルダに記憶されている属性情報及び画像特徴量に基づいて特徴量ベクトルを各々生成する（ステップＳ５Ｂ）。

このとき、特徴量ベクトル生成部１０３Ｃは、例えば、上位階層において同じ属性に属する２つの画像の特徴量ベクトル又は最上位階層で任意の属性に属する２つの画像の特徴量ベクトルについて、属性間の関連性が強い場合の特徴量ベクトル間の距離の平均値（又は、最小値）が、属性間の関連性が弱い場合の特徴量ベクトル間の距離の平均値（又は、最小値）よりも小さくなるように、特徴量ベクトルを生成する。特徴量ベクトルの生成は、第２の実施の形態で例示した特徴量ベクトルに、各階層における各属性の関連レベルをベクトル化したものをさらに合成することにより行う。関連レベルのベクトル化は、関連レベルの値に応じて次元数を調整して行う。

ステップＳ５以降は、第１の実施の形態又は第２の実施の形態と同様である。

以上のように、属性間に関連性がある場合、その関連性に基づいて特徴量ベクトルを生成する。そして、関連性の強い属性同士が隣接するように配置することができ、属性間の関連性をサムネイルの表示に反映させることができる。このため、ユーザは、目的の画像が属する属性を、その周辺にある複数の属性の性質を把握することでより迅速にかつ効率的に発見できるようになる。ユーザが注目領域を迅速に把握することが可能になる。

[第４の実施の形態]
次に、画像処理装置の第４の実施の形態について説明する。なお、上述の第１の実施の形態、第２の実施の形態又は第３の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。

本実施の形態においては、画像処理装置１００は、表示対象の１つの画像が複数のページ（ページ画像）から構成されて、１つの文書を構成する場合について説明する。この場合、画像処理装置１００は、ページ画像のうち代表のページ画像（代表ページ画像）の属性により画像を文書単位で分類し、文書単位の属性と画像特徴量とを用いて特徴量ベクトルを生成する。

次に、本実施の形態にかかる画像処理装置１００がサムネイルを表示する処理の手順について図１３を参照しながら説明する。画像処理装置１００の属性識別部１０３Ａは、まず、表示対象の画像を記憶部１０４から読み出し、当該画像の代表ページ画像を取得する（ステップＳ１Ｃ）。尚、複数のページ画像のうちどのページ画像を代表ページ画像として取得するかの方法は、特に限定しない。例えば、予め設定された数のページ（例えば、１ページ目）のページ画像を代表ページ画像として取得するようにしても良い。また、ユーザからの設定入力に応じて代表ページ画像のページ数を設定するようにしてこのページ数を示す代表ページ情報を各画像に対応付けるようにし、当該代表ページ情報を参照して代表ページ画像を取得するようにしても良い。

そして、属性識別部１０３Ａは、取得した代表ページ画像を解析して当該画像の属性を識別し、各代表ページ画像の属性毎に文書単位で各画像を分類する（ステップＳ２Ｃ）。次いで、画像特徴取得部１０３Ｂは、文書単位で画像の画像特徴量を取得する（ステップＳ３Ｃ）。そして、特徴量ベクトル生成部１０３Ｃは、ステップＳ２Ｃで分類された属性と、ステップＳ３Ｃで取得された画像特徴量に基づいて、文書単位で画像の特徴量ベクトルを生成する（ステップＳ４Ｃ）。ステップＳ５以降は第１の実施の形態と同様である。

以上のような構成によれば、表示対象の画像について文書単位で配置を決定することができる。このため、ユーザが文書全体の記憶を頼りに検索を行う場合に好適な画像マップを提供することができる。

尚、上述の実施の形態においては、代表ページを解析して属性を識別したが、全てのページ画像を解析してその解析結果に基づいて、文書単位の属性を識別するようにしても良い。図１４は、このような構成において、画像処理装置１００がサムネイルを表示する処理の手順を示すフローチャートである。属性識別部１０３Ａは、表示対象の各画像について、まず、１ページ目から順にページ画像を取得して（ステップＳ１Ｄ）、当該画像を解析する（ステップＳ２Ｄ）。属性識別部１０３Ａは、全ての階層についてステップＳ２Ｄの処理を行う。そして、全てのページ画像の解析が終了すると（ステップＳ３Ｄ：ＹＥＳ）、次いで、属性識別部１０３Ａは、ステップＳ２Ｄでの解析結果に基づいて文書単位で画像を属性毎に分類し（ステップＳ４Ｄ）、画像特徴取得部１０３Ｂは、文書単位で画像特徴量を取得する（ステップＳ５Ｄ）。そして、特徴量ベクトル生成部１０３Ｃは、これらに基づいて、文書単位で特徴量ベクトルを生成する（ステップＳ４Ｃ）。ステップＳ５以降は第１の実施の形態と同様である。

以上のような構成によれば、表示対象の画像について、文書単位での属性及び画像特徴に応じて配置を決定することができる。このため、ユーザが文書の全体的な画像特徴に基づいて検索を行う場合に好適な画像マップを提供することができる。

[変形例]
なお、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。

＜変形例１＞
上述した各実施の形態において、画像処理装置１００が実行する各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また当該各種プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。

＜変形例２＞
上述した各実施の形態においては、表示対象の画像を記憶部１０４から読み出すことにより取得した。しかし、画像処理装置１００は、インターネット等のネットワークに接続されたコンピュータから当該画像を取得するようにしても良いし、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記憶された画像を取得するようにしても良い。

＜変形例３＞
上述した各実施の形態における画像処理装置は、コンピュータや、複写機、プリンタ、ファクシミリや、コピー機能、プリンタ機能、ファクシミリ機能を複合的に有する複合機等であっても良い。

また、上述の各位実施の形態においては、画像処理装置１００は、入力部１０１及び表示部１０２を有するように構成したが、これらを有するのではなく、有線又は無線により外部接続されるように構成しても良い。

第１の実施の形態にかかる画像処理装置の構成を例示する図である。 同実施の形態にかかる属性識別部１０３Ａが識別する属性を例示する図である。 同実施の形態にかかる画像処理装置１００がサムネイル一覧画像を表示する処理の手順を示すフローチャートである。 同実施の形態にかかる特徴ベクトルを例示する図である。 一般的な文書画像を表示対象とした場合のサムネイル一覧画像を例示する図である。 第２の実施の形態において、写真画像の属性について、２階層まで設定した例を示す図である。 同実施の形態にかかる画像処理装置１００がサムネイルを表示する処理の手順を示すフローチャートである。 同実施の形態にかかる特徴ベクトルを例示する図である。 同実施の形態にかかる特徴ベクトルを例示する図である。 同実施の形態にかかる第２階層まで階層構造を有する属性の分類が設定された画像のサムネイル一覧画像が表示される場合のイメージ図である。 同実施の形態にかかる図１１は初期画面ＧＭ１におけるサムネイル一覧画像を例示する図である。 第３の実施の形態にかかる画像処理装置１００がサムネイルを表示する処理の手順を示すフローチャートである。 第４の実施の形態にかかる画像処理装置１００がサムネイルを表示する処理の手順を示すフローチャートである。 同実施の形態の一変形例において画像処理装置１００がサムネイルを表示する処理の手順を示すフローチャートである。

符号の説明

１００ 画像処理装置
１０１ 入力部
１０２ 表示部
１０３ 制御部
１０３Ａ 属性識別部
１０３Ｂ 画像特徴取得部
１０３Ｃ 特徴量ベクトル生成部
１０３Ｄ 表示方法決定部
１０３Ｅ 表示画像生成部
１０４ 記憶部
１１０ 画像取得装置

Claims (18)

1. 表示対象の複数の画像を解析して、各画像を属性毎に分類する分類手段と、
   前記分類手段が分類した各画像の画像特徴を示す画像特徴情報を各々取得する取得手段と、
   前記画像に対して前記画像を分類した属性と前記取得手段が取得した画像特徴情報に示される画像特徴とを用いて特徴量ベクトルを生成する第１生成手段と、
   前記第１生成手段が生成した前記特徴量ベクトルを用いて、前記属性が同一であれば近く且つ前記画像特徴の類似度が高いほど近い距離となるように、前記画像のサムネイルの表示位置を決定する表示方法決定手段と、
   前記画像のサムネイルを生成し、前記表示方法決定手段が決定した表示位置に前記サムネイルを配置したサムネイル一覧画像を生成する第２生成手段とを備える
   ことを特徴とする画像処理装置。
2. 前記属性は、前記画像の概観を示すものである
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記分類手段は、前記画像を解析して、予め設定された複数の属性の少なくとも１つに前記画像を分類する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１生成手段は、前記分類手段が分類した属性をベクトル化したものと前記画像特徴をベクトル化したものとを合成することにより、前記特徴量ベクトルを生成する
   ことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記属性間に関連性が予め設定されており、
   前記第１生成手段は、前記分類手段が分類した前記属性と他の属性との関連性に基づいて、前記特徴量ベクトルを生成する
   ことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記属性は階層構造を有し、
   前記分類手段は、前記画像を各階層の属性毎に分類する
   ことを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記属性は、階層が上位になるほど、縮小率がより高い前記サムネイルにおける視認性が高くなるよう前記画像特徴に基づいて予め定義されている
   ことを特徴とする請求項６記載の画像処理装置。
8. 前記属性間に関連性が予め設定されており、
   前記第１生成手段は、上位階層において同じ属性に属する２つの画像の特徴量ベクトル又は最上位階層で任意の属性に属する２つの画像の特徴量ベクトルについて、属性間の関連性が強い場合の特徴量ベクトル間の距離の平均値が、属性間の関連性が弱い場合の特徴量ベクトル間の距離の平均値よりも小さくなるように、前記特徴量ベクトルを生成する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記第１生成手段は、上位階層において同じ属性に属する２つの画像の特徴量ベクトル又は最上位階層で任意の属性に属する２つの画像の特徴量ベクトルについて、属性間の関連性が強い場合の特徴量ベクトル間の距離の最小値が、属性間の関連性が弱い場合の特徴量ベクトル間の距離の最小値よりも小さくなるように、前記特徴量ベクトルを生成する
   ことを特徴とする請求項７に記載の画像処理装置。
10. 前記第１生成手段は、前記分類手段が分類した各階層の属性を各々ベクトル化したものと前記画像特徴情報によって示される画像特徴をベクトル化したものとを合成することにより、前記特徴量ベクトルを生成する
    ことを特徴とする請求項６乃至９のいずれか一項に記載の画像処理装置。
11. 前記第１生成手段は、各階層の属性を各々ベクトル化したものに対して階層毎に異なるウェイトを加えて、前記特徴量ベクトルを生成する
    ことを特徴とする請求項６乃至１０のいずれか一項に記載の画像処理装置。
12. 前記第１生成手段は、前記属性に応じて、前記特徴量ベクトルの生成に用いる画像特徴の種類を決定し、当該属性と、当該画像特徴とを用いて、前記特徴量ベクトルを生成する
    ことを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 前記分類手段は、１つの前記画像が複数ページから構成されて１つの文書を構成する場合、前記画像を文書単位で属性毎に分類する
    ことを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 前記取得手段は、１つの前記画像が複数ページから構成されて１つの文書を構成する場合、前記画像の前記画像特徴情報を文書単位で取得する
    ことを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理装置。
15. 前記表示方法決定手段は、前記画像のサムネイルの１次元空間、２次元空間及び３次元空間のうち少なくとも１つにおける表示位置を決定する
    ことを特徴とする請求項１乃至１４のいずれか一項に記載の画像処理装置。
16. 前記第２生成手段が生成したサムネイル一覧画像を表示する表示手段を更に備える
    ことを特徴とする請求項１乃至１５のいずれか一項に記載の画像処理装置。
17. 前記第１生成手段は、前記分類手段が異なる属性として分類した各画像の特徴量ベクトルが互いに線形独立となるように、前記特徴量ベクトルを生成する
    ことを特徴とする請求項１乃至１６のいずれか一項に記載の画像処理装置。
18. 分類手段と、取得手段と、第１生成手段と、表示方法決定手段と、第２生成手段とを備える画像処理装置において実現される画像処理方法であって、
    前記分類手段が、表示対象の複数の画像を解析して、各画像を属性毎に分類する分類ステップと、
    前記取得手段が、前記分類ステップで分類した各画像の画像特徴を示す画像特徴情報を各々取得する取得ステップと、
    前記第１生成手段が、前記画像に対して前記画像を分類した属性と前記取得手段が取得した画像特徴情報に示される画像特徴とを用いて特徴量ベクトルを生成する第１生成ステップと、
    前記表示方法決定手段が、前記生成ステップで生成した前記特徴量ベクトルを用いて、前記属性が同一であれば近く且つ前記画像特徴の類似度が高いほど近い距離となるように、前記画像のサムネイルの表示位置を決定する表示方法決定ステップと、
    前記第２生成手段が、前記画像のサムネイルを生成し、前記表示方法決定ステップで決定した表示位置に前記サムネイルを配置したサムネイル一覧画像を生成する第２生成ステップとを含む
    ことを特徴とする画像処理方法。

Images