JP2010073194A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】自由度の高いキーワード登録を効率的に行い、検索時におけるキーワード忘れを予防し、検索効率を上げる画像処理装置を提供する。
【解決手段】入力部を介してユーザーは１つ又は複数のファイルにキーワードを付与する。付与されたキーワード情報を取得し（Ｓ２０）、記憶部３に画像ごとに記録されている配置データを参照して指定されたファイルとその他のファイル群の配置距離を算出する（Ｓ２１）。キーワードと得られた配置距離をタグ情報として生成し（Ｓ２２）、全ての画像を処理したか否かを判定し（Ｓ２３）、全ての画像を処理していなければ、ステップＳ２０に戻り処理を繰り返す。タグ情報は入力されたキーワードと、指定されたファイルとの配置距離とから構成される。
【選択図】図３

Description

本発明は、コンピュータ上の動画及び静止画ファイルについて、それぞれのファイルに付与された情報に基づいて効率的にファイルを検索可能とする装置、方法およびプログラムに関する。

近年、インターネットの普及やデジタル技術の発展に伴い、動画や静止画などの画像情報をネットワークを介して取得し、所定のメモリ等に蓄積して保持することが広く行われている。このように、大量の画像データが蓄積されると、それらを分類、検索することが必要となる。

画像検索、及び分類に関する技術として、一般のデータベースにおけるキーワード付与を基本とした方法がある。これは、画像登録者が任意のキーワードを付与するか、もしくは、予めキーワードとなる言葉を決めておき、登録時にこれらのキーワード群を参照して適切なキーワードを付与する手法である。

検索の際には、検索者の意図によるキーワードもしくはキーワード群から適切な用語を選び検索を実行する、単語の一致を基本とした検索手法である。この手法は検索装置の構成が容易であり、検索者の意図するキーワードが登録してありさえすれば容易にかつ高速に検索できるという利点がある。

しかし、一方で画像登録時に登録者がキーワードを付与する必要があり手間がかかるため、近年ではこれら登録処理を自動化する方法が種々提案されている。このような技術として、以下の特許文献をあげることができる。

特許文献１には、スキャン画像の検索性・再利用性を高めるために予め準備されたタグ集合の中からユーザーが適当なタグを選択し、そのタグをスキャン画像と関連付けて登録し、検索時には登録されたタグ情報を利用して検索を行う方法等が開示されている。

特許文献２には、画像データを解析して各領域から画像特徴を抽出し、オブジェクトとオブジェクトの位置関係を対象画像のキーワードとして抽出する方法等が開示されている。

特許文献３には、画像登録時に、画像中の人物の数等を認識することで自動的にキーワードが付けられる方法等が開示されている。基本的に人物が１人の時は「ポートレート」、２人の時は「ペア」、３人以上の時は「集合写真」、それ以上の時は「風景写真」の要領でキーワードが付与される。これらのキーワードは検索時にも分かりやすく、撮影された人物の数の情報を元に所望の画像を絞り込めそうな場合は有効である。

特許文献４には、各ファイルから付属情報（撮影被写体の氏名、名称等や撮影時刻や撮影場所）を抽出し、その後スケジューラや地図データベース、個人辞書などのテーブルを利用して前述の付属情報と個人キーワードを対応付け、そして、抽出された個人キーワードを付属情報に付加しておき、検索時にはこの個人キーワードを利用して目的のファイルを検索する方法等が開示されている。個人キーワードを対応付けるには個人キーワードが登録された何らかのテーブルが必要である。

ところで、特許文献１から特許文献４記載の発明では、自動でキーワードを設定することが可能であるがオブジェクトの解釈に個人差が生じる可能性があったり、適切なキーワードというものが検索対象全体の様態にも影響を受けることが多く、より具体的なキーワードが必要とされることとなったりする。また、参照先の個人キーワードを設定する段階では、それぞれの目的に沿ってキーワードを設定するため、検索キーワードとして使用する際に適切で無い場合が想定されたりする。

上述のように、タグの自動登録には以下の課題がある。
（１）自分にとって覚えやすい、好ましいキーワードが設定されるとは限らない。
（２）データベースの内容によってタグ設定方法を切り替えることが不可能または容易でない。
（３）キーワードの粒度（詳細さ、具体性）が予め決められている。
（４）ファイルによって重要度（検索で必ずヒットさせたい）が異なる場合、重要度に応じたタグ付与が不可能である。
（５）検索結果がうまくいかない場合にキーワードの付け替えをすることができない、または容易でない。

従って、登録時に与えたキーワードを忘れてしまったり、データベースの中身によってはほとんどのファイルに同じタグが設定されてしまい検索効率が低下してしまったりといった問題が生じていた。

本発明は上述の課題に鑑みてなされたものであり、自由度の高いキーワード登録を効率的に行うことができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、複数の画像と、ｎ次元空間（ｎは１以上の整数）での前記画像それぞれの位置を表し、前記画像の特徴を表す画像特徴量が相互に類似する前記画像ほど前記位置間の距離が小さい配置データと、を記憶する記憶手段と、表示部の前記ｎ次元空間で表される表示領域の前記配置データが表す前記位置に前記画像を表示する表示制御手段と、表示された前記画像のうち少なくとも１つの前記画像に対して入力される登録キーワードを受付けるキーワード受付手段と、複数の前記画像それぞれについて、前記登録キーワードと、前記登録キーワードを受付けた前記画像との間の前記ｎ次元空間での距離とを含むタグ情報を生成するタグ情報生成手段と、前記タグ情報を前記記憶手段の前記画像に対応づけて保存する記憶制御手段と、を備えたことを特徴とする。

また、本発明は、上記装置で実行することができる方法およびプログラムである。

本発明によれば、自由度の高いキーワード登録を効率的に行うことができるという効果を奏する。

第１の実施の形態に係る画像処理装置の基本構成を示すブロック図である。 第１の実施の形態に係る配置データを生成する処理手順を示したフローチャートである。 第１の実施の形態に係るタグ情報を生成する処理手順を示したフローチャートである。 タグ情報の構成を示した表である。 第１の実施の形態に係る検索処理を行う手順を示したフローチャートである。 第１の実施の形態に係る登録時の表示画面を作成する処理手順を示したフローチャートである。 第１の実施の形態に係るキーワード登録時の表示画面例を示した図である。 第１の実施の形態に係るキーワード登録例を示した図である。 第１の実施の形態に係る検索時の結果表示画面例を示した図である。 第２の実施の形態に係る切り替え表示画面（色で配置）を示した図である。 第２の実施の形態に係る切り替え表示画面（アクセス回数で配置）を示した図である。 第３の実施の形態に係る画像分類を行うための処理手順を示したフローチャートである。 第３の実施の形態に係る画像分類を行うための処理手順を示したフローチャートである。

以下、本発明の好適な実施形態について図１ないし図１３を参照して、詳細に説明する。

（第１の実施の形態）
図１は、第１の実施の形態における画像処理装置１００の構成を示したブロック図である。画像処理装置１００は、入力部１、表示部２、制御部２０及び記憶部３を備えている。

入力部１は、キーボードやマウスなどのポインティングデバイスなどによって実現される。ユーザーは、入力部１を用いて、登録時のキーワード入力や検索時の検索条件の指示入力や検索条件の追加・変更の指示入力を行う。

キーワード受付部２７は、入力部１により入力された各種キーワードを受付ける。例えば、キーワード受付部２７は、画像（画像ファイル）に対応づけて登録するキーワード（登録キーワード）、および、画像を検索するためのキーワード（検索キーワード）などを受付ける。

表示部２は、液晶ディスプレイやＣＲＴなどによって実現される。表示部２は、蓄積されている画像群の一覧、画像群の中から検索条件に従って特定された画像のサムネイル画像、および、上述した入力部１の指示依頼あるいは指示結果などを表示出力する。

記憶部３は、例えばハードディスク装置などによって実現される。記憶部３は、カメラなどの撮像装置である画像取得装置１１によって取得された画像、その他の写真画像、および、スキャナから読み込まれた資料類などを画像データとして保持する。、特に画像データが複数ページから構成される場合、サムネイルデータや各ページに関する情報がそれぞれ記憶部３のフォルダＦ１からフォルダＦｎに格納される。また、記憶部３は、各画像、あるいは各ページに対応してタグ情報を記録する。

制御部２０は、画像処理装置１００の各種処理を制御する。例えば、制御部２０は、表示部２に対する表示処理を制御する表示制御手段、および、記憶部３に対するデータ保存処理等を制御する記憶制御手段として機能する。制御部２０は、メタデータ取得部２１と、画像特徴取得部２２と、配置データ生成部２３と、表示方法決定部２４と、表示画像生成部２５と、タグ情報生成部２６と、キーワード受付部２７と、検索部２８と、を備えている。

メタデータ取得部２１は、各画像ファイル（以下、単にファイルという場合がある）から作成者、更新日、およびアクセス履歴などの情報（メタデータ）を取得する。

画像特徴取得部２２は、各画像データのテクスチャ情報およびカラーヒストグラム情報などの画像特徴量を取得する。画像特徴取得部２２は、取得した画像特徴量をベクトル化した特徴ベクトルを作成する。例えば、画像特徴取得部２２は、特許文献５と同様の方法により特徴ベクトルを作成することができる。

メタデータ取得部２１により取得されるメタデータ及び画像特徴取得部２２で取得される画像特徴量（特徴ベクトル）は、記憶部３に画像ごとに格納される。

配置データ生成部２３は、記憶部３に格納されているメタデータ及び画像特徴量に基づいて配置データを生成する。配置データとは、ｎ次元空間（ｎは１以上の整数）での画像の位置を表すデータを意味する。生成された配置データは記憶部３に画像ごとに保存される。

例えば、配置データ生成部２３は、上記特許文献５と同様の方法により、画像特徴量から配置データを作成することができる。具体的には、配置データ生成部２３は、画像特徴取得部２２により作成された特徴ベクトルを自己組織化マップ（ＳＯＭ（Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ）などを利用して２次元座標軸上へ射影し、かつ、情報の密度を変えて奥行き方向に複数の画面を並べることで視点を３次元的に移動させ、所望の画像データを容易に探索できるようにする。

画像マップ（各サムネイル画像を配置データに基づいて一覧表示したもの）において重要なことは、ユーザーが全体の様態を容易かつ正確に把握できる仕組みを提供することである。そのためには、画像マップ内のサムネイル画像は、画像的な類似性と配置が呼応しているのみならず、属性値ごとにクラスタリングされて配置されることが好ましい。

このような画像マップを作成するために、属性分類情報と画像特徴量とに基づいて特徴ベクトルを構成し、自己組織化マップを利用して２次元又は３次元空間上における配置データを生成する特許文献６の方法が適用できる。すなわち、画像特徴取得部２２および配置データ生成部２３が、特許文献６と同様の方法により、それぞれ特徴ベクトルおよび配置データを作成するように構成してもよい。

この結果、表示対象画像データが属性ごとにまとまりを形成し、かつそのまとまりの中で画像特徴量の類似した画像が近傍に配置された画像表示が可能となる。

特許文献６の方法では、クラスタの異なる画像データが互いに線形独立となり、かつクラスタ情報と画像特徴量を合成した特徴ベクトルとして、例えば以下の（１）式および（２）式に示すように各画像データの特徴ベクトルを構成することが可能である。

この例では、クラスタ数を２、各クラスタの特徴ベクトルをそれぞれｖ_１ｖ_２・・・ｖ_ｓ、ｖ’_１ｖ’_２・・・ｖ’_ｔとしている。クラスタ数が２であるため、ここでは分類結果を数値化して表現する次元数を２次元とし、特徴ベクトルの次元数ｎと合成してｎ＋２次元の特徴ベクトルを生成している。このようにベクトルを構成すると、一般にクラスタ数をｍとした場合は、合成後の特徴ベクトルの次元数はｍ＋ｎ次元となる。このベクトルにおいて、クラスタの異なる特徴ベクトルは互いに線形独立であることには明らかである。

上記のようにして作成された高次元の特徴ベクトルについて次元圧縮を行い、可視平面上への配置を決定する方法として自己組織化マップ（ＳＯＭ）を用いることができる。その場合、分類結果を数値化した部分の次元数（上記の例では「＝クラスタ数」とした）を大きくすると、各画像データのうち、同じクラスタに属する画像データが近傍に配置されるような画像データ配置（配置データ）が得られる。更に、クラスタ分類ごとに形成されるまとまりの内部は画像特徴量の類似度に従って画像データが配置されることになる。

表示方法決定部２４は、タグ情報登録時、検索実行時、および検索結果提示時に、表示対象画像、表示画像サイズ、および表示位置などを決定する。

表示画像生成部２５は、表示部２に表示するための表示画像用データを作成する。例えば、表示画像生成部２５は、決定された表示画像サイズで決定された表示位置に表示するサムネイル画像を生成する。

タグ情報生成部２６は、ユーザーからの入力情報、及び配置データ生成部２３において生成された配置データに基づいて各画像についてタグ情報を生成する。具体的には、タグ情報生成部２６は、ユーザーにより入力された登録キーワードと、登録キーワードが指定された画像との間のｎ次元空間上での距離とを含むタグ情報を生成する。生成されたタグ情報は、記憶部３に蓄積される。

検索部２８は、入力された検索キーワードを含むタグ情報が対応づけられた画像ファイルを記憶部３から検索する。

以下、第１の実施の形態の処理手順を図面を参照して説明する。

図２は、第１の実施の形態に係る配置データ生成の処理手順を示したフローチャートである。

まず、制御部２０は、画像取得装置１１から画像を入力する（ステップ１０）。次に、メタデータ取得部２１が、入力された画像からメタデータを取得する（ステップ１１）。次に、画像特徴取得部２２が、入力された画像から画像特徴量を取得する（ステップ１２）。

次に、配置データ生成部２３が、データベース（記憶部３）内のファイル群の相関関係を示す配置データを生成する（ステップ１３）。次に、制御部２０は、全ての画像を処理したか否かを判定し（ステップ１４）、全ての画像処理が完了していなければ（ステップ１４；Ｎｏ）、ステップ１０に戻り処理を繰り返す。全ての画像処理が完了していれば（ステップ１４；Ｙｅｓ）、処理を終了する。

図３は、タグ情報生成の処理手順を示したフローチャートである。

まず、ユーザーが入力部１を介して１つ又は複数のファイルにキーワード（登録キーワード）を付与する。キーワード受付部２７は、付与された登録キーワードを受付ける。タグ情報生成部２６は、受付けられた登録キーワードを取得する（ステップ２０）。そして、タグ情報生成部２６は、記憶部３に画像ごとに記録されている配置データを参照して指定されたファイル（登録キーワードが受付けられたファイル）とその他のファイル群の配置距離を算出する（ステップ２１）。配置距離とは、登録キーワードが付与されたファイルに対するｎ次元空間上での距離を表す。

次に、タグ情報生成部２６は、登録キーワードと算出した配置距離とをタグ情報として生成する（ステップ２２）。その後、タグ情報生成部２６は、全ての画像を処理したか否かを判定し（ステップ２３）、全ての画像を処理していなければ（ステップ２３；Ｎｏ）、ステップ２１に戻り処理を繰り返す。全ての画像を処理していれば（ステップ２３；Ｙｅｓ）、処理を終了する。

さらに、タグ情報の構成について、図４において、生成されたタグ情報の例を示して説明する。

基本的に、タグ情報は入力されたキーワード（登録キーワード）と、指定されたファイル（登録キーワードが付与されたファイル）との間の配置距離とから構成される。複数のファイルに登録キーワードが入力された場合、配置距離の小さい登録キーワード及び配置距離だけを記録しても良い。この場合、図３では、登録キーワードが入力された複数の画像それぞれに対して配置距離を算出し（Ｓ２１）、配置距離が小さい登録キーワードと当該配置距離とを含むタグ情報を生成すればよい（Ｓ２２）。また、配置距離に予め閾値を設けて閾値以下となる画像ファイルに対してのみタグ情報を生成しても良い。

図４は、ユーザーが３つ以上のファイルに登録キーワード（「旅行」、「夏休み」、および「運動会」）を入力した場合に生成されるタグ情報の一例を示している。また、図４は、配置距離が５０以下であるファイルにタグ情報が記録され、配置距離の小さい順に複数の登録キーワードが記録される場合の例を示している。

ここで、配置距離が０とは、そのファイルが、登録キーワードが付与されたファイル（または付与されたファイルと同位置に配置されたファイル）であることを示している。

図５は、検索処理の手順を示したフローチャートである。

まず、ユーザーが入力部１を介して検索キーワードを入力する。キーワード受付部２７は、入力された検索キーワードを受付ける。検索部２８は、受付けられた検索キーワード情報を取得し（ステップ３０）、記憶部３に記録されているタグ情報を１つずつ読込む（ステップ３１）。検索部２８は、読み込んだタグ情報内に検索キーワードと一致するキーワード（登録キーワード）があるか否かを判定する（ステップ３２）。一致するキーワードがあれば（ステップ３２；Ｙｅｓ）、検索部２８は、検索キーワードをタグ情報として含む画像ＩＤ、及び一致するキーワードに対応する配置距離を取得する（ステップ３３）。一致するキーワードがなければ（ステップ３２；Ｎｏ）、ステップ３１に戻り処理を繰り返す。

全てのタグ情報の検索が終了したら（ステップ３４；Ｙｅｓ）、表示方法決定部２４が、表示方法（表示位置・表示画像サイズ）を決定する（ステップ３５）。次に、表示画像生成部２５が、ヒットした画像のサムネイル画像を生成する（ステップ３６）。そして、制御部２０は、生成されたサムネイル画像を含む検索結果を表示部２に表示して終了する（ステップ３７）。全てのタグ情報の検索が終了していなければ（ステップ３４；Ｎｏ）、ステップ３１に戻り処理を繰り返す。

図６は、第１の実施の形態に係る登録時の表示画面作成の処理手順を示したフローチャートである。

ここでは、各画像から取得したメタデータ、及び画像特徴量に基づいて特徴ベクトルを作成し、ＳＯＭなどの次元圧縮方法を利用して配置データ（例えば１次元から３次元のうちいずれかの次元の配置データ）を生成する処理について説明する。

まず、制御部２０は、画像取得装置１１から画像を入力する（ステップ４０）。次に、メタデータ取得部２１が、入力画像からメタデータを取得する（ステップ４１）。その後、画像特徴取得部２２が入力された画像から画像特徴量を取得し（ステップ４２）、取得した画像特徴量を含む特徴ベクトルを作成する（ステップ４３）。

次に、制御部２０は、全ての画像を処理したか否かを判定し（ステップ４４）、全ての画像処理が完了していなければ（ステップ４４；Ｎｏ）、ステップ４０に戻り処理を繰り返す。全ての画像処理が完了していれば（ステップ４４；Ｙｅｓ）、配置データ生成部２３が、作成された各ファイルの特徴ベクトルを次元圧縮することで、１次元から３次元のいずれかの次元の配置データを生成する（ステップ４５）。

配置データ生成部２３は、次元圧縮方法として、例えば自己組織化マップ（ＳＯＭ）を利用できる。ＳＯＭは入力された高次元の特徴ベクトル群の特徴空間における性質を保持しながら次元圧縮を行うため、各ファイルの性質の違いを反映した配置データを生成することが可能である。

次に、表示方法決定部２４が、表示する画像数、配置密度に基づいて表示画像サイズ、表示位置を決定する（ステップ４６）。例えば、ある面積における配置データ数を密度と考える。密度が高い領域で表示画像サイズを大きくしてしまうと、互いにサムネイル画像が重複して見づらい表示となってしまうため、密度が高い領域では表示画像サイズを小さくするなどの工夫がされることが望ましい。

続いて、表示画像生成部２５が、サムネイル画像を生成する（ステップ４７）。次に、制御部２０が、生成されたサムネイル画像を、決定された表示画像サイズおよび表示位置に表示するサムネイル一覧を表示部２に表示して終了する（ステップ４８）。

更に、画像マップ（サムネイル一覧）の作成方法について詳細に説明する。

画像マップとは、一覧表示画面上で配色やテクスチャの似た（サムネイル）画像がそれぞれ固まって配置されるなど、画像特徴量に基づいてクラスタリング表示されたもののことである。

配置決定方法の際、特徴量としては、画像を数値化したデータ（特徴ベクトル）を使用する。特徴量としては、画像特徴量（色ヒストグラム，テクスチャ，エッジなどのデータ）、およびメタデータ（撮影日，更新日，撮影位置情報などＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）に含まれるようなデータ）などを利用することができる。

また、画像特徴量空間から２次元平面への射影方法として、例えば、同様の技術群の中でも処理が簡単で、初期条件への依存性が低いことが知られている自己組織化マップ（ＳＯＭ）を利用することができる。

ＳＯＭの学習アルゴリズムは教師無し競合近傍学習であり、学習により高次元のデータを低次元（例えば２次元）に圧縮することができる技術である。特に圧縮時に、高次元から成るベクトル空間上でのデータ構造や分布構造をなるべく壊さない形で低次元空間への射影を定義する。そのため、例えば色情報に基づいて特徴量を生成し、ＳＯＭによる学習を行った場合、似た色情報を持つ画像データは近くに、そうでないものは遠くに配置されるような配置データを生成する。これにより、ＳＯＭは高次元の情報の視覚化を実現し、データ同士の関係が人間にとって直感的に理解しやすくなる。

最も単純なＳＯＭを利用した配置決定手順は以下の通りである。
（１）配置したい画像群から特徴ベクトルを算出する。
（２）ＳＯＭ学習により各画像の表示画面上での位置（ｘ，ｙ）を得る。

一方、ＳＯＭの学習には時間がかかるため、データベース（記憶部３）内の画像を更新する度に画像配置を決定するのは負荷が大きい作業である。そこで、予めＳＯＭ学習によって得られた配置データを利用して、新たに登録される画像の配置を決定する方法が考えられる。これは、ＳＯＭ学習結果をモデルとして保持しておくことで実現される。ＳＯＭモデルは、２次元平面の各格子点とベクトルがペアになって保存されている（このモデル内のベクトルを特に「参照ベクトル」と呼ぶ）。配置を決定する際は、画像から特徴ベクトルを算出し、ＳＯＭモデル内の参照ベクトルのうち最も距離の小さいベクトルを探し（つまり全ての格子点にペアとして定義される参照ベクトルと比較する）、その参照ベクトルが存在する格子上に配置する。この場合の配置決定手順は以下の通りである。
（１）学習用の画像群から特徴ベクトルを算出する。
（２）ＳＯＭ学習により特徴ベクトルから２次元平面上への射影を定義する（＝ＳＯＭモデルの作成）。
（３）配置したい画像群から特徴ベクトルを算出する。
（４）ＳＯＭモデルを基に、最も距離の小さい参照ベクトルが存在する格子上へ射影することで、各画像の表示画面上での位置（ｘ，ｙ）を得る。

既にＳＯＭモデルが作成されている場合、新たに追加した画像データの配置は、（３）、（４）の処理を行うことで決定される。

図７は、キーワード登録時の表示画面例を示した図である。

配置データに基づいて表示画面上にはサムネイル一覧が表示されており、画像選択ツールを利用してタグ付けをしたい画像ファイルを選択し、キーワード（登録キーワード）を入力して登録する。

図８は、キーワード登録例を示した図である。図８は、３つの異なるサムネイル画像に対して、それぞれ異なる登録キーワードである「運動会」、「旅行」、および「夏休み」が付与された例を示している。

図９は、検索時の結果表示画面例を示した図である。

検索結果表示時には、検索キーワードをユーザーが入力し、その検索キーワードを有する画像ファイルが表示される。

その際、配置距離が０の画像は、登録時にキーワード（登録キーワード）が指定された画像ファイルであり、ユーザーにとって重要なデータである可能性が高い。そのため、結果表示時にはその画像を中心に配置して、そこからの相対位置によりサムネイル画像を配置して表示する。

全てのサムネイル画像を表示する必要はなく、例えば配置距離に閾値などを設け、閾値以下となる画像群をサムネイル一覧として表示しても良い。

ユーザーにとって利便性の高いタグ付けがなされているかは、実際に検索を利用しないと判断できない。

従って、検索結果を受けて更に細かくキーワード（登録キーワード）を設定したい場合や満足する検索結果が得られなかったのでタグ付けを修正したい場合などに対応する必要がある。

本方式では、更に登録キーワードを入力して、より正確に細分類することが可能である。また、検索結果表示時の閾値（表示する画像の配置距離の閾値）を調整して検索結果を効率的に表示させたり、更に、登録時の閾値（タグ情報を付与する画像の配置距離の閾値）を調整してより適性にタグ情報を設定することが可能である。

以上のように、第１の実施の形態の画像処理装置によれば、登録キーワードを受付けた画像ファイルだけでなく、表示された他の画像にも登録キーワードを含むタグ情報を付与することができる。このため、個々のファイルに手動でタグ付けを行う際の手間を省き、かつタグ登録を全て自動化した場合に生じる検索効率の低下を回避することができる。また、自動ではなくユーザにより指定されたキーワードを登録するため、検索時におけるキーワード忘れを予防し、検索効率を上げることができる。

また、特徴量に基づいて配置されて画像ファイルが表示されるため、ファイル全体の様態をユーザーが俯瞰しながらタグ情報を設定することができる。また、画像検索時には距離情報の近い順に検索結果として画像ファイルが提示されるため、特に重要な（検索でヒットさせたい）ファイルに登録キーワードを付与すれば、重要度の強弱をタグ情報に反映させることができる。

また、登録キーワードが付与されたファイルのうち配置データ上、最も距離の近いファイルの登録キーワードをタグ情報として登録する構成では、保存すべき登録データ数を低減することができる。

また、検索結果表示時に配置データに基づいて各ファイルのサムネイルを表示するため、ヒットした画像ファイルを整列して表示する通常の形式よりも直感的に検索結果を視認することが可能である。また、検索結果に満足できなかった場合であっても、より効果的なタグ情報を簡単な操作で生成することが可能である。

（第２の実施の形態）
第２の実施の形態では、複数の配置データからユーザーが所望の配置データを選択し、選択された配置データを元に画像を表示可能とする。以下、第２の実施の形態について図面を参照して説明する。

ユーザーが何を指標に検索したいかという要望は様々であり、例えばアクセス回数／更新日／作成者などのメタデータを使用したいという場合もあれば、色／テクスチャ／構図情報などの画像特徴量を使用したいという場合も考えられる。これらの指標を決定する主な要素としては、ユーザーの主観と蓄積データの様態が挙げられる。

そこで、配置データを作成する時にはいくつかの指標について複数の配置データを用意しておくことが有効である。

図１０は、複数の配置データのうち、「色で配置」する配置データに切り替えた切り替え画面を示した図である。

すなわち、図１０は、配置データを色特徴に基づいて配置してユーザーに提示した例を示している。

似た色特徴をもつ画像のサムネイル画像が互いに近傍に配置される。

この配置は、見た目の印象に基づいてタグ付けを行いたい場合に有効であり、ファイルにキーワード（登録キーワード）を付与すれば、この配置データ上で近傍にあるファイルに自動で同じキーワードがタグ情報として設定される。

図１１は、「アクセス回数で配置」する配置データに切り替えた切り替え画面を示した図である。

すなわち、図１１は、配置データをアクセス回数に基づいて配置してユーザーに提示した例を示している。

この図に示したように、左右でアクセス回数の多少を示しても良いが、アクセス回数の高い画像はユーザーにとって重要である可能性が高いため、画面中心部に固めて配置するなど見やすい位置に表示することが好ましい。この配置は、アクセス回数に基づいてタグ付けを行いたい場合に有効であり、ファイルにキーワード（登録キーワード）を付与すれば、この配置データ上で近傍にあるファイルに自動で同じキーワードがタグ情報として設定される。

以上のように、第２の実施の形態の画像処理装置によれば、予め複数パターンの配置データを用意しておくことにより、ユーザーの要望に応じた様々なケースに対応することが可能となる。

（第３の実施の形態）
第３の実施の形態では、生成されたタグ情報を元に画像ファイルを複数のフォルダのいずれかに分類して保存する。以下、第３の実施の形態について図面を参照して説明する。

図１２は、画像分類の処理手順を示したフローチャートである。

まず、第１の実施の形態と同様の処理で画像ファイル群の相関を表す配置データを生成する（図２参照）。

次に、制御部２０は、記憶部３に記憶された画像を入力し（ステップ５０）、タグ情報を取得する（ステップ５１）。制御部２０は、タグ情報の配置距離を比較し、配置距離が最も小さいキーワードを分類キーワードとする（ステップ５２）。分類キーワードとは、画像をフォルダに分類する基準とするキーワードを意味する。制御部２０は、決定した分類キーワードに対応するフォルダに画像を分類して保存する。

次に、制御部２０は、全ての画像で処理が終了したか否かを判定し（ステップ５３）、全ての画像の処理が完了していれば（ステップ５３；Ｙｅｓ）、画像分類処理を終了する。全ての画像の処理が完了していなければ（ステップ５３；Ｎｏ）、ステップ５０に戻り処理を繰り返す。

図１２では、データベース（記憶部３）に蓄積されている全てのファイルが必ずあるフォルダに分類される構成を説明した。

しかし、この方法では、タグ設定時にユーザーが一部のデータ（画像ファイル）のみを対象にキーワード（登録キーワード）を指定した場合、ユーザーの対象としなかったファイルも指定された登録キーワードをもとに分類されてしまうことになる。そのような場合の対応策として、例えば「ＥＴＣフォルダ」を用意し、あるタグ情報における配置距離の中で閾値以上となるファイル群は、まとめてこのＥＴＣフォルダに分類することにしても良い。ユーザーはＥＴＣフォルダにアクセスすれば、分類未処理のファイル群を閲覧でき、それらのファイルを分類したい場合は同様にキーワード（登録キーワード）を付与して細分類すれば良い。このような手法を用いると、分類整理作業を段階的に行うことが可能となる。

図１３は、このように構成した場合の画像分類の処理手順を示したフローチャートである。

まず、制御部２０は記憶部３に記憶された画像を入力し（ステップ６０）、タグ情報を取得する（ステップ６１）。制御部２０は、タグ情報の配置距離のうち最も小さい値を閾値Ｔｈと比較し、Ｔｈより小さくなるキーワードがあるか否かを判定する（ステップ６２）。

Ｔｈより小さくなるキーワードがあれば（ステップ６２；Ｙｅｓ）、制御部２０は、そのキーワードを分類クラス（分類キーワード）とする（ステップ６３）。Ｔｈより小さくなるキーワードがなければ（ステップ６２；Ｎｏ）、制御部２０は、分類クラス（分類キーワード）をＥＴＣとする（ステップ６４）。次に、制御部２０は、全ての画像で処理が終了したか否かを判定し（ステップ６５）、全ての画像の処理が終了していれば（ステップ６５；Ｙｅｓ）、処理を終了する。全ての画像の処理が終了していなければ（ステップ６５；Ｎｏ）、ステップ６０に戻り、処理を繰り返す。

作成されたフォルダ名には例えばキーワード名を設定することができる。また、複数のフォルダを並べて表示する際、いくつかの代表サムネイルを表示し、ユーザーがフォルダの中身を簡単に認識できるようにする機能を備えてもよい。その際の代表画像としては、キーワード（登録キーワード）が設定されたファイル、及びそのファイルとの配置距離が近い順に規定個を選択して使用することが可能である。

また、フォルダを開いて中を閲覧する際には、画像ファイルの相関を分かりやすくユーザーに提示するために、１次元から３次元のうちいずれかの次元の配置データを生成し、この配置の通りにサムネイル一覧を表示するのが効果的である。ユーザーは全体の様態を認識した上で、適切にデータを整理し分類して保存することが可能となる。

以上のように、第３の実施の形態の画像処理装置によれば、いくつかのファイルにタグを設定するだけで自動的にファイル群をフォルダに分類して蓄積することができる。これにより、個々のファイルを手動で分類、整理する際の手間を省き、かつ上記処理を全て自動化した場合に生じる分類効率の低下を回避することができる。

また、ファイル全体の様態を俯瞰しながらタグ情報を設定することができるため、分類、整理に好適なキーワード付与が可能である。また、分類後の各フォルダに、どのようなファイルが保存されているかを分かりやすくユーザーに提示することができ、かつＵＩ的な観点からタグ情報を利用することが可能となる。例えば複数のフォルダを並べて表示する際、タグ情報に含まれる配置距離の小さい順に指定された数だけ代表画像として選択してサムネイル表示できるため、自分の見たいあるいはアクセスしたいファイルがどのフォルダに含まれているかを簡単に視認することが可能となる。

１ 入力部
２ 表示部
３ 記憶部
１１ 画像取得装置
２０ 制御部
２１ メタデータ取得部
２２ 画像特徴取得部
２３ 配置データ生成部
２４ 表示方法決定部
２５ 表示画像生成部
２６ タグ情報生成部
２７ キーワード受付部
２８ 検索部
１００ 画像処理装置

特開２００７−１８８４７９号公報 特開２００５−１４１７７６号公報 特開２００６−３５０５５２号公報 特開２００６−０７２６１４号公報 特許第３６１４２３５号公報 特開２００９−１１０３６０号公報

Claims (12)

1. 複数の画像と、ｎ次元空間（ｎは１以上の整数）での前記画像それぞれの位置を表し、前記画像の特徴を表す画像特徴量が相互に類似する前記画像ほど前記位置間の距離が小さい配置データと、を記憶する記憶手段と、
   表示部の前記ｎ次元空間で表される表示領域の前記配置データが表す前記位置に前記画像を表示する表示制御手段と、
   表示された前記画像のうち少なくとも１つの前記画像に対して入力される登録キーワードを受付けるキーワード受付手段と、
   複数の前記画像それぞれについて、前記登録キーワードと、前記登録キーワードを受付けた前記画像との間の前記ｎ次元空間での距離とを含むタグ情報を生成するタグ情報生成手段と、
   前記タグ情報を前記記憶手段の前記画像に対応づけて保存する記憶制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記キーワード受付手段は、さらに、前記記憶手段に記憶された前記画像を検索する検索キーワードを受付け、
   前記検索キーワードと一致する前記登録キーワードを含む前記タグ情報に対応する前記画像を前記記憶手段から検索する検索手段と、をさらに備え、
   前記表示制御手段は、さらに、検索された前記画像を、前記表示領域の前記配置データが表す前記位置に表示すること、
   を特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、検索された前記画像のうち、対応づけられた前記タグ情報に含まれる前記距離が予め定められた第１閾値より小さい前記画像を、前記表示領域の前記配置データが表す前記位置に表示すること、
   を特徴とする請求項２に記載の画像処理装置。
4. 前記表示制御手段は、検索された前記画像のうち、対応づけられた前記タグ情報に含まれる前記距離が最も小さい前記画像を、前記表示領域の略中心に表示すること、
   を特徴とする請求項２に記載の画像処理装置。
5. 前記キーワード受付手段は、前記検索手段により検索されて前記表示領域に表示された前記画像に対してさらに入力される前記登録キーワードを受付け、
   前記タグ情報生成手段は、前記記憶手段に記憶された複数の前記画像それぞれについて、さらに入力された前記登録キーワードと、さらに入力された前記登録キーワードを受付けた前記画像との間の前記ｎ次元空間での距離とを含む前記タグ情報をさらに生成し、
   前記記憶制御手段は、さらに入力された前記登録キーワードを含む前記タグ情報を、前記記憶手段の前記画像にさらに対応づけて保存すること、
   を特徴とする請求項２に記載の画像処理装置。
6. 前記タグ情報生成手段は、複数の前記画像に対して入力された複数の前記登録キーワードが受付けられた場合に、複数の前記登録キーワードそれぞれについて、前記登録キーワードを受付けた前記画像との間の距離を算出し、算出した距離が最も小さい前記登録キーワードと、算出した距離とを含む前記タグ情報を生成すること、
   を特徴とする請求項１に記載の画像処理装置。
7. 複数の前記画像それぞれについて前記画像特徴量を取得する特徴取得手段と、
   取得された前記画像特徴量に基づいて前記配置データを生成し、前記記憶手段に保存する配置データ生成手段と、をさらに備えること、
   を特徴とする請求項１に記載の画像処理装置。
8. 前記記憶手段は、複数の前記画像特徴量に応じた複数の前記配置データを記憶し、
   前記表示制御手段は、複数の前記配置データのうち、選択された前記配置データが表す前記位置に前記画像を表示すること、
   を特徴とする請求項１記載の画像処理装置。
9. 前記記憶制御手段は、さらに、前記タグ情報に含まれる前記登録キーワードが一致する前記画像を、前記登録キーワードごとに定められるフォルダに分類して保存すること、
   を特徴とする請求項１に記載の画像処理装置。
10. 前記タグ情報生成手段は、複数の前記画像それぞれについて、前記登録キーワードを受付けた前記画像との間の前記距離を算出し、算出した前記距離が予め定められた第２閾値より大きい場合に、前記登録キーワードと前記距離とを含む前記タグ情報を生成すること、
    を特徴とする請求項１に記載の画像処理装置。
11. 複数の画像と、ｎ次元空間（ｎは１以上の整数）での前記画像それぞれの位置を表し、前記画像の特徴を表す画像特徴量が相互に類似する前記画像ほど前記位置間の距離が小さい配置データと、を記憶する記憶手段を備える画像処理装置で実行される画像処理方法であって、
    表示制御手段が、表示部の前記ｎ次元空間で表される表示領域の前記配置データが表す前記位置に前記画像を表示する表示制御ステップと、
    キーワード受付手段が、表示された前記画像のうち少なくとも１つの前記画像に対して入力される登録キーワードを受付けるキーワード受付ステップと、
    タグ情報生成手段が、複数の前記画像それぞれについて、前記登録キーワードと、前記登録キーワードを受付けた前記画像との間の前記ｎ次元空間での距離とを含むタグ情報を生成するタグ情報生成ステップと、
    記憶制御手段が、前記タグ情報を前記記憶手段の前記画像に対応づけて保存する記憶制御ステップと、
    を備えることを特徴とする画像処理方法。
12. 複数の画像と、ｎ次元空間（ｎは１以上の整数）での前記画像それぞれの位置を表し、前記画像の特徴を表す画像特徴量が相互に類似する前記画像ほど前記位置間の距離が小さい配置データと、を記憶する記憶手段を備えるコンピュータを、
    表示部の前記ｎ次元空間で表される表示領域の前記配置データが表す前記位置に前記画像を表示する表示制御手段と、
    表示された前記画像のうち少なくとも１つの前記画像に対して入力される登録キーワードを受付けるキーワード受付手段と、
    複数の前記画像それぞれについて、前記登録キーワードと、前記登録キーワードを受付けた前記画像との間の前記ｎ次元空間での距離とを含むタグ情報を生成するタグ情報生成手段と、
    前記タグ情報を前記記憶手段の前記画像に対応づけて保存する記憶制御手段、
    として機能させるためのプログラム。

Images