JP2009105594A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像に含まれるオブジェクトのうち特定のオブジェクトに注目した検索を効率的に行うことが可能な画像処理技術を提供する。
【解決手段】オブジェクト解析部１０３Ａは、記憶部１０４から読み出した各画像を解析し、各画像に含まれるオブジェクトをオブジェクト属性毎に分類する。表示方法決定部１０３Ｂは、オブジェクト解析部１０３Ａが分類したオブジェクト属性毎に、各オブジェクトを含む画像のサムネイルの表示位置を決定する。サムネイル生成部１０３Ｃは、各オブジェクトを含む画像のサムネイルを生成し、表示方法決定部１０３Ｂが決定した表示位置に当該各サムネイルを配置したサムネイル一覧画像を出力する。
【選択図】 図１

Description

本発明は、複数の画像が記憶された画像データベースの中から所望の画像を検索するためにサムネイルを表示装置に表示させる画像処理装置及び画像処理方法に関する。

記憶装置にデータとして蓄積されている大量の画像の中から、ユーザが希望する条件の画像を検索する場合、画像を大量に閲覧する必要がある。大量の画像をユーザが閲覧しやすくなるように、検索時に画像を縮小して表示するサムネイル表示が従来から知られている。サムネイルとは、静止画像の場合は画素数を間引いて画像サイズを縮小した画像のことである。このようなサムネイルを一覧形式で画面に複数表示することにより、ユーザは一度に複数の画像を閲覧することができる。このため、ユーザが希望する条件の画像を効率よく検索することができる。

また、サムネイル表示の際に、サムネイルの内容をユーザが容易に把握できるようにするために、表示方法を各種工夫した技術がある（例えば特許文献１〜２参照）。例えば、特許文献１に示される技術においては、ファイル名・作成日・更新日・セキュリティレベルといった元の画像に関する情報を付加情報としてそのサムネイルに対応付けて登録し、サムネイル表示時にその付加情報を呼び出し、サムネイルと一緒に重ねる等して表示する。また、特許文献２に示される技術においては、サムネイル表示におけるモードの一つとして、「人物」や「ナンバープレート」などの特定のオブジェクトを指定して部分画像をサムネイル表示するオブジェクト表示モードを有する。これにより、ユーザが、主に写真画像中に現れるオブジェクトを検索する際の手間と時間とを低減させることができる。

尚、このようなサムネイル表示により画像の検索を行う場合、ユーザは、画像の特徴を指定して問合せを行う検索クエリを用いる場合が多い。その場合、表示方法としては、サムネイルの内容をユーザが容易に把握できるようにするだけではなく、表示するサムネイル間の関係をユーザが把握し易いようにすることが望まれる。

このため、サムネイルを画像の特徴に基づいてマップ状に配置する（以後、画像マップという）ことにより、検索効率を向上させる技術がある。この画像マップによる表示の利点は、性質の似通ったサムネイル群が画面上にまとまって配置されるため、ユーザ自身が必要なサムネイルを視覚的に特定しやすくなることにある。サムネイルをマップ状に配置する方法としては特許文献３〜５に示されるものがある。特許文献３の方法では、例えば、表示対象の画像から色、形、大きさ、種類、用途キーワードなどの特徴量を抽出し、特徴量ベクトルを作成する。それを自己組織化マップなどを利用して２次元座標軸上へ射影し、かつ、情報の密度を変えて奥行き方向に複数の画面を並べることで視点を３次元的に移動させることにより、所望の画像を容易に探索できるようにする。

また、特許文献４の方法では、各表示対象の画像の属性を取得し、各属性値について画面上の中心点を設定する。その上で、表示対象の画像から属性を取得し、その属性値に係る中心点が配置されている近傍へ当該画像のサムネイルを配置する。これにより同じ属性値を持つ画像のサムネイルはまとまって表示されることになる。また、特許文献５の方法では、画像のデータからＮ次元の特徴量を抽出し、多変量統計分析処理により２次元の新たな特徴量を算出する。更にクラスタリング情報に基づいて表示位置と表示サイズとを決定する。

一般的に、写真画像やグラフィック画像を検索する場合、サムネイル表示を利用して視覚的な画像の特徴を頼りにするケースが多い。しかし、検索対象の画像数が多い場合は、その部分画像に注目することで検索対象を絞り込みながら効率的に検索を行うことが可能となる。一方、論文やビジネス文書を検索する場合、ユーザの入力操作により設定されたりＯＣＲ（Optical Character Reader）に読み取られて設定されたりする検索キーワードを手がかりにテキスト検索を行うのが一般的である。しかし、適切なキーワードを設定できなかったり、ＯＣＲに失敗したりすることも多い。そのような場合、「図や表、見出し等のオブジェクトが含まれる」という視覚的な特徴を活かしてサムネイルの一覧から検索することが可能である。このような検索手法は、特に所望の画像が特定のオブジェクトを含む文書の場合などは、テキスト検索よりも効率的な検索手法といえる。このように画像の検索を行う場合、画像に含まれる特定のオブジェクトを利用した検索手法が有効な場合が多い。

特開２００１−３３７９９４号公報 特開２００６−２７７４０９号公報 特許第３６１４２３５号公報 特開２００５−５５７４３号公報 特開２００５−２３５０４１号公報

しかし、特許文献３〜特許文献５に示される画像マップにおいては、画像単位で表示位置を決定する。このため、検索対象の特定のオブジェクトが画像に含まれるオブジェクトのうち主要のオブジェクトでない場合、画像の特徴として抽出されにくいという問題があった。

本発明は、上記に鑑みてなされたものであって、画像に含まれるオブジェクトのうち、見出し、文書に添付されている図表やグラフ、写真画像内の部分的画像など特定のオブジェクトに注目した検索を効率的に行うことが可能な画像処理装置及び画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、画像処理装置であって、表示対象の画像を解析して、当該画像に含まれる少なくとも１つのオブジェクトを属性毎に分類する分類手段と、前記分類手段が分類した各オブジェクトに関する特徴を示す特徴情報を各々取得する取得手段と、前記取得手段が取得した前記特徴情報に基づいて、前記オブジェクトを含む前記画像のサムネイルの表示位置及び表示サイズのうち少なくとも一方を決定する表示方法決定手段と、前記画像のサムネイルを生成する生成手段とを備え、前記生成手段は、前記表示方法決定手段が表示サイズを決定した場合、当該表示サイズのサムネイルを生成し、前記表示方法決定手段が表示位置を決定した場合、当該表示位置に前記サムネイルを配置したサムネイル一覧画像を生成することを特徴とする。

また、請求項２にかかる発明は、請求項１にかかる発明において、前記特徴情報は、前記オブジェクトを含む前記画像における当該オブジェクトの位置を示す位置情報、前記オブジェクトの画像特徴を示す画像特徴情報、前記オブジェクトのレイアウトを示すレイアウト情報及び前記オブジェクトの構成を示す構成情報のうち少なくとも１つであることを特徴とする。

また、請求項３にかかる発明は、請求項１又は２にかかる発明において、検索条件に該当する画像を取得する第１画像取得手段を更に備え、前記分類手段は、前記第１画像取得手段が取得した画像を解析して、当該画像に含まれる少なくとも１つのオブジェクトを属性毎に分類することを特徴とする。

また、請求項４にかかる発明は、画像処理装置であって、表示対象の画像を解析して、当該画像に含まれる少なくとも１つのオブジェクトを属性毎に分類する分類手段と、前記属性の優先度を決定する優先度決定手段と、前記優先度決定手段が決定した前記優先度に基づいて、前記オブジェクトを含む前記画像のサムネイルの表示位置及び表示サイズのうち少なくとも一方を決定する表示方法決定手段と、前記画像のサムネイルを生成する生成手段とを備え、前記生成手段は、前記表示方法決定手段が表示サイズを決定した場合、当該表示サイズのサムネイルを生成し、前記表示方法決定手段が表示位置を決定した場合、当該表示位置に前記サムネイルを配置したサムネイル一覧画像を生成することを特徴とする。

また、請求項５にかかる発明は、請求項４にかかる発明において、前記表示方法決定手段は、前記優先度が所定の値より大きい前記属性に分類された前記オブジェクトを含まない画像のサムネイルを表示しないことを決定することを特徴とする。

また、請求項６にかかる発明は、請求項４にかかる発明において、前記表示方決定手段は、前記属性の優先度が高いほど中央位置近傍となるよう前記表示位置を決定することを特徴とする。

また、請求項７にかかる発明は、請求項４にかかる発明において、前記表示方法決定手段は、前記属性の前記優先度が高いほど大きくなるよう前記表示サイズを決定することを特徴とする。

また、請求項８にかかる発明は、請求項４にかかる発明において、前記表示方法決定手段は、前記属性の前記優先度が高いほど上位になるよう前記サムネイルの表示順序を決定することを特徴とする。

また、請求項９にかかる発明は、請求項４乃至８のいずれか一項にかかる発明において、ユーザからの指示入力を受け付ける入力受付手段を更に備え、前記優先度決定手段は、前記入力受付手段が受け付けた、前記属性に対する優先度を設定する指示入力に応じて、前記属性の優先度を決定することを特徴とする。

また、請求項１０にかかる発明は、請求項４にかかる発明において、類似画像を検索するための検索キーとなるクエリ画像を取得する第２画像取得手段を更に備え、前記優先度決定手段は、前記クエリ画像に含まれるオブジェクトに基づいて、前記属性の優先度を決定することを特徴とする。

また、請求項１１にかかる発明は、請求項１０にかかる発明において、前記優先度決定手段は、前記クエリ画像に含まれる、前記属性毎のオブジェクト数に応じて、前記属性の優先度を決定することを特徴とする。

また、請求項１２にかかる発明は、請求項１０にかかる発明において、前記分類手段が分類した各オブジェクトに関する特徴を示す特徴情報を各々取得する取得手段を更に備え、前記優先度決定手段は、前記クエリ画像に含まれる前記オブジェクトの属性のうち、前記取得手段が取得した特徴情報に基づいた分散が小さい属性ほど高い優先度として決定することを特徴とする。

また、請求項１３にかかる発明は、請求項１乃至１２のいずれか一項にかかる発明において、前記生成手段が生成したサムネイル一覧画像を表示する表示手段を更に備えることを特徴とする。

また、請求項１４にかかる発明は、分類手段と、取得手段と、表示方法決定手段とを備える画像処理装置において実現される画像処理方法であって、前記分類手段が、表示対象の画像を解析して、当該画像に含まれる少なくとも１つのオブジェクトを属性毎に分類する分類ステップと、前記取得手段が、前記分類ステップで分類した各オブジェクトに関する特徴を示す特徴情報を各々取得する取得ステップと、前記表示方法決定手段が、前記取得ステップで取得した前記特徴情報に基づいて、前記オブジェクトを含む前記画像のサムネイルの表示位置及び表示サイズのうち少なくとも一方を決定する表示方法決定ステップと、前記生成手段が、前記画像のサムネイルを生成する生成ステップとを含み、前記生成ステップでは、前記表示方法決定ステップで表示サイズが決定された場合、当該表示サイズのサムネイルを生成し、前記表示方法決定手段で表示位置が決定された場合、当該表示位置に前記サムネイルを配置したサムネイル一覧画像を生成することを特徴とする。

また、請求項１５にかかる発明は、分類手段と、優先度決定手段と、表示方法決定手段とを備える画像処理装置において実現される画像処理方法であって、前記分類手段が、表示対象の画像を解析して、当該画像に含まれる少なくとも１つのオブジェクトを属性毎に分類する分類ステップと、前記優先度決定手段が、前記属性の優先度を決定する優先度決定ステップと、前記表示方法決定手段が、前記優先度決定ステップで決定した前記優先度に基づいて、前記オブジェクトを含む前記画像のサムネイルの表示位置及び表示サイズのうち少なくとも一方を決定する表示方法決定ステップと、前記生成手段が、前記画像のサムネイルを生成する生成ステップとを含み、前記生成ステップでは、前記表示方法決定ステップで表示サイズが決定された場合、当該表示サイズのサムネイルを生成し、前記表示方法決定ステップで表示位置が決定された場合、当該表示位置に前記サムネイルを配置したサムネイル一覧画像を生成することを特徴とする。

本発明によれば、画像に含まれるオブジェクトのうち、見出し、文書に添付されている図表やグラフ、写真画像内の部分的画像など特定のオブジェクトに注目した検索を効率的に行うことが可能になる。

以下に添付図面を参照して、この発明にかかる画像処理装置及び画像処理方法の最良な実施の形態を詳細に説明する。

[第１の実施の形態]
（１）構成
図１は、第１の実施の形態にかかる画像処理装置の構成を例示する図である。画像処理装置１００は、入力部１０１と、表示部１０２と、制御部１０３と、記憶部１０４とを有する。入力部１０１は、キーボードやマウスなどのポインティングデバイスなどによって実現され、検索条件の指示入力や検索条件の追加や変更などの指示入力を受け付ける。表示部１０２は、液晶ディスプレイやＣＲＴなどによって実現され、画像群の中から検索条件に従って特定された画像のサムネイルや入力部１０１の指示依頼あるいは指示結果などを表示する。

記憶部１０４は、たとえばハードディスク装置などによって実現され、カメラなど撮像装置である画像取得装置１１０によって取得された画像や、その他スキャナから読み込まれた会議資料などの文書を表す画像をデータとして記憶する。また、記憶部１０４は、各画像のサムネイル及びオブジェクト情報をそれぞれフォルダＦ１〜Ｆｎとして記憶する。オブジェクト情報とは、画像に含まれる見出し、文書に添付されている図表やグラフなどのオブジェクトや、写真画像内の部分画像などのオブジェクトに関する情報であり、オブジェクトに関する各特徴を示す特徴情報を各々含む。特徴情報とは、例えば、オブジェクトの位置を示す位置情報や、オブジェクトの画像特徴を示す画像情報として当該画像特徴を数値化した画像特徴量や、オブジェクトの画像サイズとして縦の大きさと横の大きさをと示す縦横サイズなどである。また、各画像には、各画像の縦横サイズや、画像ＩＤや画像名などの当該画像を特定する画像特定情報が予め付与されて記憶部１０４に記憶されている。

制御部１０３は、例えば、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）となどによって実現され、ＲＯＭに記憶された各種プログラムを実行することにより画像処理装置１００において各種機能を実現させる。画像処理装置１００において実現される機能は、同図に示されるオブジェクト解析部１０３Ａと表示方法決定部１０３Ｂとサムネイル生成部１０３Ｃとを含む。オブジェクト解析部１０３Ａは、表示対象の画像を記憶部１０４から読み出してこれを解析し、画像に含まれるオブジェクトを抽出してオブジェクトの属性（オブジェクト属性）を判別し、オブジェクトをオブジェクト属性毎に分類する。また、オブジェクト解析部１０３Ａは、判別したオブジェクト属性を示す属性情報をオブジェクトと対応付けて上述のオブジェクト情報に含ませて記憶する。

画像を解析しオブジェクトを抽出する方法としては、例えば、特開２００５−７８１４９号公報に記載されている方法を用いることができる。この方法によれば、オブジェクト解析部１０３Ａは、解析対象の画像を大きい範囲から徐々に縮小しながら粗い領域分割を行った後、空間周波数領域におけるマルコフ確率場モデルによって画素単位で領域境界の最適化を図る。具体的には、オブジェクト解析部１０３Ａは、様々なスケールのテクスチャ特徴を抽出し、抽出したテクスチャ特徴を利用して画像の領域分割を行う。又、オブジェクト解析部１０３Ａは、所定の領域に着目することにより、テクスチャ特徴が優位なオブジェクトの領域を切り出す。加えて、切り出された領域とその周辺の領域とにマルコフ確率場モデルを導入し、当該領域間の境界形状を最適化する。

また、オブジェクト属性を判別する方法としては、例えば、特開２００６−３９６５８号公報に記載されている方法を用いることができる。この方法は、画像の属性を判別する方法であるが、ここでは、オブジェクトを対象としてその属性を判別するようにする。

図２は、オブジェクト解析部１０３Ａが分類するオブジェクト属性を例示する図である。文書画像の場合、オブジェクト属性としては、例えば、図、表、グラフや見出しなどがある。写真画像やグラフィック画像の場合、当該画像の部分画像となるオブジェクト属性としては、例えば、人物／植物／動物／モノなどがある。

表示方法決定部１０３Ｂは、オブジェクト解析部１０３Ａが分類したオブジェクト属性毎に、各オブジェクトを含む画像のサムネイルの表示位置を決定する。サムネイル生成部１０３Ｃは、各オブジェクトを含む画像のサムネイルを生成し、表示方法決定部１０３Ｂが決定した表示位置に当該各サムネイルを配置したサムネイル一覧画像を処理結果として表示部１０２に出力する。

（２）動作
次に、本実施の形態にかかる画像処理装置１００がサムネイル一覧画像を表示する処理の手順について図３を参照しながら説明する。画像処理装置１００のオブジェクト解析部１０３Ａは、表示対象の画像を記憶部１０４から読み出し（ステップＳ１）、当該画像を解析して各オブジェクトを抽出し、抽出したオブジェクトのオブジェクト属性を判別し、オブジェクトをオブジェクト属性毎に分類する(ステップＳ２)。そして、オブジェクト解析部１０３Ａは、分類した各オブジェクトについて元画像における位置を示す位置情報を取得する（ステップＳ３）。例えば、ステップＳ２で画像処理装置１００は、オブジェクトを矩形領域により抽出する場合、当該領域の左上の座標値及び右下の座標値からオブジェクトの重心を求め、その重心の座標値を位置情報として取得する。

次いで、表示方法決定部１０３Ｂは、各オブジェクトを含むサムネイルの表示位置を決定する（ステップＳ４）。例えばあるオブジェクト属性のオブジェクトの表示領域が縦ｍ×横ｎの矩形領域である場合、この矩形領域の左上が原点座標であるとすると、当該オブジェクトを含むサムネイルの表示位置（x，y）は、当該オブジェクトを含む元の画像の縦横サイズ（縦Ｍ×横Ｎとする）とステップＳ３で取得した位置情報としてオブジェクトの重心の座標値（ｆx，ｆy）とを用いて以下の式１により定義することができる。

そして、表示方法決定部１０３Ｂは、画像に含まれる全てのオブジェクトについて処理が終了したか否かを判定し（ステップＳ５）、当該判定結果が否定的である場合、ステップＳ３〜Ｓ５の処理を繰り返す。ステップＳ５の判定結果が肯定的となった場合、次に、サムネイル生成部１０３Ｃがサムネイルを生成する（ステップＳ６）。そして、サムネイル生成部１０３Ｃは、全ての画像について処理が終わったか否かを判定し（ステップ７）、当該判定結果が肯定的である場合、ステップＳ６で生成した各サムネイルを、ステップＳ４で決定された表示位置に配置したサムネイル一覧画像を生成してこれを表示部１０２に出力して終了する（ステップＳ８）。ステップＳ７の判定結果が否定的である場合には、ステップＳ１に戻る。

尚、画像マップ上では、各オブジェクトについてオブジェクト属性毎に表示領域が確保され配置されているものとする。ステップＳ８では、サムネイル生成部１０３Ｃは、この画像マップに各サムネイルを配置してサムネイル一覧画像を生成する。尚、画像マップにおけるオブジェクト属性毎の表示領域は予め指定されるようにしても良いし、表示対象の画像が変わる度にその画像数や画像の特徴やオブジェクト属性などに応じて切り替えるようにしても良い。

図４は、一般的な文書画像を表示対象とした場合のサムネイル一覧画像を例示する図である。各サムネイルは、オブジェクト属性毎に分類されて表示され、各オブジェクト属性を示す属性名の周辺には、そのオブジェクト属性のオブジェクトを含む画像のサムネイルが各々表示される。同図においては、「図」という属性名ＺＭ１の周辺に、オブジェクト属性「図」に属するオブジェクトを各々含む画像のサムネイルＳＭ１＿１〜ＳＭ１＿７が各々表示される。図５は、図４に示した「図」という属性名ＺＭ１の周辺にある各サムネイルを拡大した表示例を示す図である。各サムネイルＳＭ１＿１〜ＳＭ１＿７の表示位置は、該当のオブジェクト属性に属するオブジェクトが元の画像内のどの位置に存在するかによって決定されている。

尚、表示対象の画像がオブジェクト属性の異なる複数のオブジェクトを含んでいる場合、表示部１０２上には同一の画像のサムネイルが複数表示されることになる。例えば、ある画像がオブジェクト属性「図」であるオブジェクトとオブジェクト属性「テキスト」であるオブジェクトとの両方に属する場合、表示部１０２にはオブジェクト属性「図」とオブジェクト属性「テキスト」との両方のオブジェクト属性を示す属性名の近傍に当該画像のサムネイル（例えば、図４のサムネイルＳＭ１＿６）が１つずつ配置されることになる。

以上のようにしてサムネイル一覧画像を表示することにより、ユーザがあるオブジェクトを検索キーとして検索したい場合、オブジェクトの大まかなオブジェクト属性から検索対象を絞り込むことができる。また、ユーザが、オブジェクトが画像内のどのあたりの位置に存在していたかという記憶を元に、画像マップから目的の画像の表示位置を容易に予測することが可能である。従って、ユーザの検索作業をより効率化することができる。

尚、サムネイル一覧画像の表示方法としては、単純な縮小画像を表示するようにしても良いし、対象のオブジェクトのみを高解像度で表示したり、対象のオブジェクトをハイライト表示したりしても良い。また、対象のオブジェクトのみを表示しても良いし、そのオブジェクトが画像内にどのようなレイアウトで存在しているかという情報を伝えるためにその画像の枠組みとオブジェクトとを表示するようにしても良い。

また、上述の処理においては、自己組織化マップの方式を取り入れることも可能である。その場合、画像処理装置１００は、表示対象の各画像についてオブジェクト属性及びオブジェクトの位置情報を取得し、これらに基づいて特徴量ベクトルを作成する。次に画像処理装置１００は、特徴量空間から２次元平面へ自己組織化マップを用いて射影することで、上述したオブジェクトの表示位置を決定する処理を自動化することができる。

また、上述の実施の形態においては、表示対象を２次元の静止画像としたが、表示対象はこれらに限られるものではなく、３次元画像や動画像であっても良い。３次元画像の場合も上述と同様に、画像処理装置１００は、各オブジェクトの重心と元の画像の画像サイズとから、各オブジェクトを含むサムネイルの表示位置を決定し、３次元的に画像を表示領域に配置する。また、動画像の場合は、画像処理装置１００は、時間軸を加えた座標値（ｆx，ｆy，ｔ）を保持し、サムネイル一覧画像の表示時に、２次元画像の場合と同様の位置に動画像を表示して再生したり、３次元的に表示したりするようにしても良い。

また、ステップＳ１で取得される画像自体が、検索条件に従って特定されるものであっても良く、ステップＳ１では、オブジェクト解析部１０３Ａは、入力部１０１を介して指示入力された検索条件に応じて表示対象の画像を特定してこれを取得する。

[第２の実施の形態]
次に、画像処理装置の第２の実施の形態について説明する。なお、上述の第１の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。

上述の実施の形態においては、画像処理装置１００の表示方法決定部１０３Ｂは、オブジェクトの位置を用いてサムネイルの表示位置を決定した。本実施の形態においては、表示方法決定部１０３Ｂは、オブジェクトの画像特徴量を用いてオブジェクトを含むサムネイルの表示位置及び表示サイズを決定する。画像特徴量は、例えば、テクスチャや配色、エッジ分布などの特徴を数値化したものである。尚、画像特徴量は、上述のオブジェクト属性共通である必要はなく、各オブジェクトの分散が大きくなるような画像特徴量を用いることが好ましい。

次に、本実施の形態にかかる画像処理装置１００がサムネイルを表示する処理の手順について図６を参照しながら説明する。尚、上述の第１の実施の形態と共通する部分についてはその説明を省略する。ステップＳ１〜Ｓ２については上述の第１の実施の形態と同様である。ステップＳ３Ａでは、画像処理装置１００の表示方法決定部１０３Ｂは、オブジェクト解析部１０３Ａがオブジェクト属性毎に分類したオブジェクトについて、記憶部１０４に記憶されたオブジェクト情報に含まれる画像特徴量を取得する（ステップＳ３Ａ）。そして、表示方法決定部１０３Ｂは、当該画像特徴量を用いて、各オブジェクトを含むサムネイルの表示位置及びサムネイルの表示サイズを決定する（ステップＳ４Ａ）。

サムネイルの表示位置を決定する方法としては、例えば、オブジェクト属性や画像特徴量を特徴ベクトル化し、特徴量空間から２次元平面へ射影する自己組織化マップ等の方法を用いても良い。また、各オブジェクト属性の配置位置を予め定義し、オブジェクト属性毎の配置位置内において、そのオブジェクト属性に属するオブジェクトを含む画像の画像特徴量を、当該画像のサムネイルの表示位置に反映させるようにしても良い。また、画像特徴量に基づいてサムネイルの表示サイズを決定する方法としては、例えば特開２００６−３０３７０７号公報に開示されている方法を適用することができる。この方法によれば、例えば、表示拡大率を大きくしないと内容を把握し難いようなオブジェクトを含む画像であっても、そのサムネイルの表示サイズとして、当該オブジェクトの内容をユーザが把握するのに適切な表示サイズを決定することができる。

ステップＳ５以降は上述の第１の実施の形態と同様であるためその説明と省略する。図７は、一般的な文書画像を表示対象の画像として入力した場合のサムネイル一覧画像を例示する図である。同図においては、サムネイルはオブジェクト属性毎に分類されて表示されており、各オブジェクト属性の周辺には、そのオブジェクト属性に属するオブジェクトを含む画像のサムネイルが表示される。同図においては、例えば、「図」という属性名ＺＭ１´の周辺に、オブジェクト属性「図」に属するオブジェクトを各々含む画像のサムネイルＳＭ１＿１´〜ＳＭ１＿７´が各々表示される。図８は、図７に示した「図」という属性名ＺＭ１´の周辺にある各サムネイルを拡大した表示例を示す図である。同図においては、各サムネイルＳＭ１＿１´〜ＳＭ１＿７´の表示位置は、対象のオブジェクトの配色の濃度に応じた位置となっている。また、各サムネイルの表示サイズは、オブジェクトの画像特徴量に基づいて、上述したようにユーザが各オブジェクトの内容を把握するのに適当な表示サイズとなっている。このため、同図に示される各サムネイルＳＭ１＿１´〜ＳＭ１＿７´の表示サイズは、図５に示した各サムネイルＳＭ１＿１〜ＳＭ１＿７の表示サイズとは異なっている。

以上のような構成によれば、検索キーとなるオブジェクトと画像特徴が類似するオブジェクト同士を近くに配置したり、周波数データなどの画像特徴に応じて表示サイズを調整することが可能となる。このため、ユーザはオブジェクト属性及び画像特徴量を頼りにサムネイル一覧画像から所望の画像データを効率良く見つけることができる。

尚、上述した画像特徴量の他、オブジェクトのレイアウトを示すレイアウト情報や、オブジェクトをより細かい粒度で再分類した時のオブジェクト構成を数値化したデータ（構成情報）などのデータを用いて、サムネイルの表示位置を決定するようにしても良い。

[第３の実施の形態]
次に、画像処理装置の第３の実施の形態について説明する。なお、上述の第１の実施の形態又は第２の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。

本実施の形態においては、オブジェクト属性に優先度を設定し、表示方法決定部１０３Ｂは、優先度に応じてオブジェクトを含むサムネイルの表示又は非表示を切り替える。オブジェクト属性の優先度は、例えば、入力部１０１を介してユーザの指示入力により設定され、オブジェクト情報に含まれるものとして記憶部１０４に記憶される。

次に、本実施の形態にかかる画像処理装置１００がサムネイルを表示する処理の手順について図９を参照しながら説明する。ステップＳ１〜Ｓ２，Ｓ３Ａについては上述の第２の実施の形態と同様である。次いで、ステップＳＢ１では、表示方法決定部１０３Ｂは、記憶部１０４に記憶されるオブジェクト情報に含まれる、オブジェクト属性の優先度を取得する。次いで、表示方法決定部１０３Ｂは、取得した優先度が「α」より大か否かを判定する（ステップＳＢ２）。「α」は、予め設定された１以上の整数であり、記憶部１０４に予め記憶される。ステップＳＢ２の判定結果が肯定的である場合、表示方法決定部１０３Ｂは、当該優先度に基づいて、各オブジェクトを含む画像のサムネイルの表示位置及び表示サイズを決定する（ステップＳ４Ａ）。ここでは、表示方法決定部１０３Ｂは、例えば、優先度が高いほど中央部に位置したり又は表示順序が上になるよう表示位置を決定したり、優先度の高いオブジェクト属性のオブジェクトを含む画像ほどそのサムネイルの表示サイズが大きくなるように表示サイズを決定する。以降のステップＳ５〜Ｓ８の処理については上述の第２の実施の形態と同様である。ステップＳＢ１の判定結果が否定的である場合、次の処理対象のオブジェクトについて、ステップＳ３Ａ以降の処理を行う。

図１０は、優先度に応じてサムネイルの表示サイズを変更して表示する場合のサムネイル一覧画像を例示する図である。同図においては、オブジェクト属性毎にカテゴリ分けされて表示され、各オブジェクト属性を示す属性名の周辺には、そのオブジェクト属性のオブジェクトを含む画像のサムネイルが各々表示される。更に、優先度の高いオブジェクト属性のオブジェクトを含む画像ほどそのサムネイルの表示サイズが大きくなるように各サムネイルが表示される。また、サムネイルが重なった場合には優先度が高いほど表示順序が上位になるようにすることもできる。

以上のような構成によれば、優先度の高低に応じたサムネイル表示を実現することが可能となる。また、検索時の優先度の高いオブジェクトを含まない画像のサムネイルを非表示とすることにより、検索対象の絞り込みを容易にすることができる。また、表示するサムネイルの表示サイズを大きくするなど、検索により好適なサムネイル一覧画像を生成することが可能となる。

また、優先度の高いオブジェクトを含む画像のサムネイルを、サムネイル一覧画像において、例えば、ユーザの視野に入りやすい中央部（中央位置近傍）に配置することが可能になる。このため、ユーザはより迅速に所望の画像を見つけ出すことが可能になる。

また、優先度に応じてサムネイルの表示サイズを調整することが可能になる。このため、例えば優先度の高いオブジェクトを含む画像のサムネイルを強調表示することによって検索対象を見つけやすくするなど、ユーザの検索意図に沿った表示サイズでサムネイルを表示することが可能となる。

また、優先度に応じてサムネイルの表示順序を決定することが可能になる。このため、例えば優先度の高いオブジェクトを含む画像のサムネイルから順に表示していくことによって検索にかかる時間を短縮するなど、ユーザの検索意図に沿った順序でサムネイルを表示することが可能になる。

尚、表示方法決定部１０３Ｂは、ステップＳＢ２の処理を行わず、表示対象の画像に含まれる全てのオブジェクトに対して、優先度に応じて表示位置及び表示サイズを決定するようにしても良い。

また、上述のステップＳ３Ａの処理を行わず、ステップＳ２の後、ステップＳＢ１の処理を行うようにしても良い。この場合にも、優先度に応じて表示位置及び表示サイズのうち少なくとも一方を決定することができる。

[第４の実施の形態]
次に、画像形成装置の第４の実施の形態について説明する。なお、上述の第１の実施の形態、第２の実施の形態又は第３の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。

本実施の形態においては、類似の画像を検索する場合の検索キーとして指定されるクエリ画像に基づいてオブジェクト属性の優先度を決定し、その優先度に応じてサムネイルの表示位置及び表示サイズを決定する。ここでは、指定されるクエリ画像は１つであるとする。具体的には、表示方法決定部１０３Ｂは、クエリ画像に含まれるオブジェクトのうち縦横サイズが大きいオブジェクトほどそのオブジェクト属性の優先度が高いとして優先度を決定する。

また、ここでは、クエリ画像となる画像は記憶部１０４に予め記憶されており、当該クエリ画像となる画像をユーザが入力部１０１を介して指定するものとする。具体的には、例えば、入力部１０１を介して指示入力された画像特定情報に応じて、オブジェクト解析部１０３Ａは対象の画像を特定する。そして、オブジェクト解析部１０３Ａは、特定した画像をクエリ画像として取得する。

次に、本実施の形態にかかる画像処理装置１００がサムネイルを表示する処理の手順について図１１を参照しながら説明する。画像処理装置１００のオブジェクト解析部１０３Ａは、クエリ画像を取得すると(ステップＳＣ１)、当該クエリ画像を解析して各オブジェクトを抽出し、抽出したオブジェクトをオブジェクト属性毎に分類する（ステップＳＣ２）。そして、オブジェクト解析部１０３Ａは、各オブジェクトの画像特徴量を取得する（ステップＳＣ３）。ここでは、オブジェクト解析部１０３Ａは、画像特徴量として、例えば、クエリ画像に含まれる各オブジェクトの縦横サイズを取得する。そして、オブジェクト解析部１０３Ａは、画像に含まれる全てのオブジェクトについて処理が終了したか否かを判定し（ステップＳＣ４）、当該判定結果が否定的である場合、ステップＳＣ２〜ＳＣ３の処理を繰り返す。ステップＳＣ４の判定結果が肯定的となった場合、次いで、オブジェクト解析部１０３Ａは、全てのクエリ画像について処理が終わったか否かを判定し（ステップＳＣ５）、当該判定結果が肯定的である場合、表示方法決定部１０３Ｂは、オブジェクト解析部１０３ＡがステップＳＣ３で取得した縦横サイズの大きい方から順に優先度が高くなるようオブジェクト属性の優先度を決定する（ステップＳＣ６）。尚、クエリ画像内に同一のオブジェクト属性のオブジェクトが複数存在する場合は、縦横サイズの最も大きいオブジェクトをそのオブジェクト属性に関する代表オブジェクトとして優先度を決定する。

そして、ステップＳＣ６以降については、図示を省略しているが、上述の第３の実施の形態と同様に、ステップＳ４Ａ，Ｓ５〜８の処理を行う。ステップＳ４Ａでは、表示方法決定部１０３Ｂは、例えば、優先度が高いほど中央部に位置したり又は表示順序が上になるよう表示位置を決定したり、優先度の高いオブジェクトを含む画像ほどそのサムネイルの表示サイズが大きくなるように表示サイズを決定する。

このような構成によれば、クエリ画像から優先度を決定することが可能となり、ユーザがあいまいな画像特徴に基づいて検索を行うことが容易になる。また、優先度の高いオブジェクト属性に属するオブジェクトを含む画像のサムネイルを強調表示することにより、ユーザは所望のサムネイルを見つけやすくなる。このため、ユーザの検索意図により効果的に応じたサムネイルを表示することができる。

また、クエリ画像に含まれるオブジェクトに基づいてオブジェクト属性の優先度を決定する方法はこれらに限らず、クエリ画像に多く含まれるオブジェクトのオブジェクト属性ほど優先度が高くなるよう優先度を決定するようにしても良い。

また、クエリ画像が複数ある場合は、クエリ画像に含まれるオブジェクトに総合的に優先度を判定する必要がある。このため、表示方法決定部１０３Ｂは、ステップＳＣ６では、例えば、以下の(a),(b)のいずれかの方法によりオブジェクト属性の優先度を決定すれば良い。
(a)クエリ画像に最も多く含まれるオブジェクトのオブジェクト属性ほど優先度が高くなるようオブジェクト属性の優先度を決定する
(b)クエリ画像に含まれるオブジェクトのうち最も分散の小さいオブジェクト（つまり、クエリ画像中で最も似通った画像特徴を有するオブジェクト）のオブジェクト属性ほど優先度が高くなるようオブジェクト属性の優先度を決定する

具体的には、上述の(b)の方法では、表示方法決定部１０３Ｂは、ステップＳＣ６で、オブジェクト属性毎に、クエリ画像に含まれる各オブジェクトの画像特徴量についてその分散を算出し、最も分散の小さいオブジェクトのオブジェクト属性ほど優先度が高くなるようオブジェクト属性の優先度を決定する。

このように、クエリ画像に含まれる各オブジェクトとの類似性に基づいてオブジェクト属性の優先度を決定することにより、ユーザの検索意図により効果的に応じたサムネイルを表示することができる。

[変形例]
なお、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。

＜変形例１＞
上述した各実施の形態において、画像処理装置１００が実行する各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また当該各種プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。

＜変形例２＞
上述した各実施の形態においては、表示対象の画像やクエリ画像を記憶部１０４から読み出すことにより取得した。しかし、画像処理装置１００は、インターネット等のネットワークに接続されたコンピュータから当該画像を取得するようにしても良いし、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記憶された画像を取得するようにしても良い。

＜変形例３＞
上述した各実施の形態における画像処理装置は、コンピュータや、複写機、プリンタ、ファクシミリや、コピー機能、プリンタ機能、ファクシミリ機能を複合的に有する複合機等であっても良い。

また、上述の各位実施の形態においては、画像処理装置１００は、入力部１０１及び表示部１０２を有するように構成したが、これらを有するのではなく、有線又は無線により外部接続されるように構成しても良い。

第１の実施の形態にかかる画像処理装置の構成を例示する図である。 同実施の形態にかかるオブジェクト解析部１０３Ａが分類するオブジェクト属性を例示する図である。 同実施の形態にかかる画像処理装置１００がサムネイル一覧画像を表示する処理の手順を示すフローチャートである。 同実施の形態にかかる一般的な文書画像を表示対象の画像として入力した場合のサムネイル一覧画像を例示する図である。 同実施の形態にかかる図４に示した「図」という属性名ＺＭ１の周辺にある各サムネイルを拡大した表示例を示す図である。 第２の実施の形態にかかる画像処理装置１００がサムネイルを表示する処理の手順を示すフローチャートである。 同実施の形態にかかる一般的な文書画像を表示対象の画像として入力した場合のサムネイル一覧画像を例示する図である。 同実施の形態にかかる図７に示した「図」という属性名ＺＭ１´の周辺にある各サムネイルを拡大した表示例を示す図である。 第３実施の形態にかかる画像処理装置１００がサムネイルを表示する処理の手順を示すフローチャートである。 同実施の形態にかかる優先度に応じてサムネイルの表示サイズを変更して表示する場合のサムネイル一覧画像を例示する図である。 第４の実施の形態にかかる画像処理装置１００がサムネイルを表示する処理の手順を示すフローチャートである。

符号の説明

１００ 画像処理装置
１０１ 入力部
１０２ 表示部
１０３ 制御部
１０３Ａ オブジェクト解析部
１０３Ｂ 表示方法決定部
１０３Ｃ サムネイル生成部
１０４ 記憶部
１１０ 画像取得装置

Claims (15)

1. 表示対象の画像を解析して、当該画像に含まれる少なくとも１つのオブジェクトを属性毎に分類する分類手段と、
   前記分類手段が分類した各オブジェクトに関する特徴を示す特徴情報を各々取得する取得手段と、
   前記取得手段が取得した前記特徴情報に基づいて、前記オブジェクトを含む前記画像のサムネイルの表示位置及び表示サイズのうち少なくとも一方を決定する表示方法決定手段と、
   前記画像のサムネイルを生成する生成手段とを備え、
   前記生成手段は、前記表示方法決定手段が表示サイズを決定した場合、当該表示サイズのサムネイルを生成し、前記表示方法決定手段が表示位置を決定した場合、当該表示位置に前記サムネイルを配置したサムネイル一覧画像を生成する
   ことを特徴とする画像処理装置。
2. 前記特徴情報は、前記オブジェクトを含む前記画像における当該オブジェクトの位置を示す位置情報、前記オブジェクトの画像特徴を示す画像特徴情報、前記オブジェクトのレイアウトを示すレイアウト情報及び前記オブジェクトの構成を示す構成情報のうち少なくとも１つである
   ことを特徴とする請求項１に記載の画像処理装置。
3. 検索条件に該当する画像を取得する第１画像取得手段を更に備え、
   前記分類手段は、前記第１画像取得手段が取得した画像を解析して、当該画像に含まれる少なくとも１つのオブジェクトを属性毎に分類する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 表示対象の画像を解析して、当該画像に含まれる少なくとも１つのオブジェクトを属性毎に分類する分類手段と、
   前記属性の優先度を決定する優先度決定手段と、
   前記優先度決定手段が決定した前記優先度に基づいて、前記オブジェクトを含む前記画像のサムネイルの表示位置及び表示サイズのうち少なくとも一方を決定する表示方法決定手段と、
   前記画像のサムネイルを生成する生成手段とを備え、
   前記生成手段は、前記表示方法決定手段が表示サイズを決定した場合、当該表示サイズのサムネイルを生成し、前記表示方法決定手段が表示位置を決定した場合、当該表示位置に前記サムネイルを配置したサムネイル一覧画像を生成する
   ことを特徴とする画像処理装置。
5. 前記表示方法決定手段は、前記優先度が所定の値より大きい前記属性に分類された前記オブジェクトを含まない画像のサムネイルを表示しないことを決定する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記表示方決定手段は、前記属性の優先度が高いほど中央位置近傍となるよう前記表示位置を決定する
   ことを特徴とする請求項４に記載の画像処理装置。
7. 前記表示方法決定手段は、前記属性の前記優先度が高いほど大きくなるよう前記表示サイズを決定する
   ことを特徴とする請求項４に記載の画像処理装置。
8. 前記表示方法決定手段は、前記属性の前記優先度が高いほど上位になるよう前記サムネイルの表示順序を決定する
   ことを特徴とする請求項４に記載の画像処理装置。
9. ユーザからの指示入力を受け付ける入力受付手段を更に備え、
   前記優先度決定手段は、前記入力受付手段が受け付けた、前記属性に対する優先度を設定する指示入力に応じて、前記属性の優先度を決定する
   ことを特徴とする請求項４乃至８のいずれか一項に記載の画像処理装置。
10. 類似画像を検索するための検索キーとなるクエリ画像を取得する第２画像取得手段を更に備え、
    前記優先度決定手段は、前記クエリ画像に含まれるオブジェクトに基づいて、前記属性の優先度を決定する
    ことを特徴とする請求項４に記載の画像処理装置。
11. 前記優先度決定手段は、前記クエリ画像に含まれる、前記属性毎のオブジェクト数に応じて、前記属性の優先度を決定する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記分類手段が分類した各オブジェクトに関する特徴を示す特徴情報を各々取得する取得手段を更に備え、
    前記優先度決定手段は、前記クエリ画像に含まれる前記オブジェクトの属性のうち、前記取得手段が取得した特徴情報に基づいた分散が小さい属性ほど高い優先度として決定する
    ことを特徴とする請求項１０に記載の画像処理装置。
13. 前記生成手段が生成したサムネイル一覧画像を表示する表示手段を更に備える
    ことを特徴とする請求項１乃至請求項１２のいずれか一項に記載の画像処理装置。
14. 分類手段と、取得手段と、表示方法決定手段とを備える画像処理装置において実現される画像処理方法であって、
    前記分類手段が、表示対象の画像を解析して、当該画像に含まれる少なくとも１つのオブジェクトを属性毎に分類する分類ステップと、
    前記取得手段が、前記分類ステップで分類した各オブジェクトに関する特徴を示す特徴情報を各々取得する取得ステップと、
    前記表示方法決定手段が、前記取得ステップで取得した前記特徴情報に基づいて、前記オブジェクトを含む前記画像のサムネイルの表示位置及び表示サイズのうち少なくとも一方を決定する表示方法決定ステップと、
    前記生成手段が、前記画像のサムネイルを生成する生成ステップとを含み、
    前記生成ステップでは、前記表示方法決定ステップで表示サイズが決定された場合、当該表示サイズのサムネイルを生成し、前記表示方法決定手段で表示位置が決定された場合、当該表示位置に前記サムネイルを配置したサムネイル一覧画像を生成する
    ことを特徴とする画像処理方法。
15. 分類手段と、優先度決定手段と、表示方法決定手段とを備える画像処理装置において実現される画像処理方法であって、
    前記分類手段が、表示対象の画像を解析して、当該画像に含まれる少なくとも１つのオブジェクトを属性毎に分類する分類ステップと、
    前記優先度決定手段が、前記属性の優先度を決定する優先度決定ステップと、
    前記表示方法決定手段が、前記優先度決定ステップで決定した前記優先度に基づいて、前記オブジェクトを含む前記画像のサムネイルの表示位置及び表示サイズのうち少なくとも一方を決定する表示方法決定ステップと、
    前記生成手段が、前記画像のサムネイルを生成する生成ステップとを含み、
    前記生成ステップでは、前記表示方法決定ステップで表示サイズが決定された場合、当該表示サイズのサムネイルを生成し、前記表示方法決定ステップで表示位置が決定された場合、当該表示位置に前記サムネイルを配置したサムネイル一覧画像を生成する
    ことを特徴とする画像処理方法。

Images