JP2008165701A - 画像処理装置、電子機器、画像処理方法、及び、プログラム - Google Patents

Abstract

【課題】多数の画像を簡単かつ効率よく管理することが可能な画像処理装置、電子機器、
画像処理方法、及び、プログラムを提供する。
【解決手段】画像処理装置１０は、画像取得部２１によって撮影画像の画像データを取得
し、撮影画像に含まれる人物を顔認識部２３によって認識し、認識した人物を示す人物タ
グ情報を画像データに対応づけて画像格納部３２に記憶し、この人物タグ情報に基づいて
撮影頻度算出部２５によって各人物の撮影頻度を算出し、算出した撮影頻度に基づいて、
判定部２６によって各人物と撮影者との関連を判定し、判定された関連に基づく表示態様
で表示部２８による表示を行う。
【選択図】図３

Description

本発明は、画像データを管理するための画像処理装置、電子機器、画像処理方法、及び
、プログラムに関する。

近年、デジタルカメラの普及等によって、個人レベルでも多数の画像を管理する必要が
生じている。多数の画像データを整理する作業は非常に面倒であり、例えば一つ一つの画
像を見ながら分類する作業には非常に時間がかかる。そこで従来、画像を整理する作業の
負担を軽減すべく、不要な画像を自動的に削除する装置が提案されている（例えば、特許
文献１参照）。この装置は、予め指定した条件を満たす画像を削除するものであり、例え
ばピントのずれ、ブレ、露出の異常などが生じた画像を削除することが可能である。

特開２００５−１４１５８４号公報

しかしながら、必要な画像と不要な画像とを分ける基準を明確に定めることは困難であ
る。そもそも画像を分類する際には、撮影の日付だけではなく、その画像がどのような状
況で撮影され、或いは被写体が誰であるかといった情報を総合的に判断する必要がある。
このような情報を多数の画像について把握するだけでも大変な作業であり、画像の管理に
係る労力負担は依然として大きかった。
そこで、本発明の目的は、多数の画像を簡単かつ効率よく管理することが可能な画像処
理装置、電子機器、画像処理方法、及び、プログラムを提供することにある。

〔形態１〕 上記課題を解決するため、形態１の画像処理装置は、撮影画像の画像デー
タを取得する画像取得手段と、予め登録されたオブジェクトの画像に基づき、前記画像取
得手段により取得された画像データに対応する撮影画像に含まれるオブジェクトを認識す
る認識手段と、前記認識手段により認識されたオブジェクトを示すオブジェクト情報を前
記画像データに対応づけて記憶する認識結果記憶手段と、前記認識結果記憶手段に記憶さ
れたオブジェクト情報をもとに、予め登録されたオブジェクトのそれぞれについて撮影頻
度を算出する撮影頻度算出手段と、前記撮影頻度算出手段により算出された撮影頻度に基
づいて、予め登録されたオブジェクトのそれぞれと撮影者の関連を判定する判定手段と、
前記画像取得手段により取得された画像データに対し、それぞれの画像データに対応する
撮影画像に含まれるオブジェクトについて前記判定手段により判定された撮影者との関連
に基づき、表示態様を設定する画像処理手段と、前記画像処理手段により設定された表示
態様に従って表示を行う表示手段と、を備えることを特徴とする。
この構成によれば、取得した撮影画像の画像データを取得するとともに撮影画像に含ま
れるオブジェクトを認識し、認識したオブジェクトを示すオブジェクト情報を画像データ
に対応づけて記憶し、このオブジェクト情報に基づいて各オブジェクトの撮影頻度を算出
し、算出した撮影頻度に基づいて各オブジェクトと撮影者との関連を判定し、判定された
関連に基づく表示態様で表示を行う。これにより、撮影画像の撮影データに関し、撮影画
像に写っているオブジェクトと撮影者との関連に応じた表示態様で表示がなされるので、
実質的に、被写体となったオブジェクトと撮影者との関連に応じて画像データが分類され
る。このため、撮影者との関連が小さいオブジェクトの画像のみを削除し、或いは、撮影
者との関連が大きいオブジェクトの画像のみを抽出する等の操作を簡単に行うことができ
、画像データを容易に管理することができ、画像データの管理に要する作業負担を大幅に
軽減できる。
ここで、撮影頻度算出手段は、例えば、予め登録されたオブジェクトのそれぞれを含む
画像の画像データの数を、画像取得手段により取得された全ての画像データの数で除算す
ることによって、予め登録されたオブジェクトのそれぞれについて撮影頻度を算出するも
のとしてもよい。この場合、画像データの数を計数して除算する処理によって撮影頻度を
簡単かつ正確に求めることができる。

〔形態２〕 さらに、形態２の画像処理装置は、形態１の画像処理装置において、前記
画像取得手段は、撮影画像の画像データとともに撮影日時を示す情報を取得し、前記撮影
頻度算出手段は、複数の画像データに対応づけて前記認識結果記憶手段に記憶されたオブ
ジェクト情報と、これら複数の画像データとともに前記画像取得手段によって取得された
撮影日時を示す情報とをもとに、予め登録されたオブジェクトのそれぞれについて複数の
期間における撮影頻度を算出し、前記判定手段は、前記撮影頻度算出手段により算出され
た複数の期間における撮影頻度から撮影頻度の時間的な推移を求め、この撮影頻度の時間
的な推移に基づいて、予め登録されたオブジェクトのそれぞれと撮影者の関連を判定する
こと、を特徴とする。
この構成によれば、予め登録された各々のオブジェクトについて撮影頻度の時間的な推
移を求め、この推移に基づいて各オブジェクトと撮影者との関連を判定するので、オブジ
ェクトと撮影者との関連を、より正確に判定できる。

〔形態３〕 さらにまた、形態３の画像処理装置は、形態２の画像処理装置において、
前記画像取得手段は、撮影画像の画像データと撮影日時を示す情報とともに、撮影場所を
示す情報を取得するものであり、前記画像取得手段により取得された画像データを撮影場
所毎のグループに分類する分類手段を備え、前記表示手段は、前記分類手段により分類さ
れたそれぞれのグループに属する画像データに対して前記画像処理手段によって設定され
た表示態様に基づいて、グループ毎の表示態様を定め、このグループ毎の表示態様に従っ
て表示を行うこと、を特徴とする。
この構成によれば、撮影場所毎に撮影画像の画像データをグループに分類し、各グルー
プに属する画像データの表示態様に基づいてグループ毎の表示態様を定め、この表示態様
に従ってグループ毎に表示がなされる。これにより、オブジェクトの撮影頻度に基づいて
表示態様が定められた画像データとともに、同じ場所で撮影された画像データが、同様の
表示態様で表示される。このため、同じ場所で撮影された撮影画像の画像データをまとめ
て操作することができるので、画像データをより一層容易に管理できる。

〔形態４〕 形態４の画像処理装置は、形態３の画像処理装置において、前記表示手段
は、前記分類手段により分類されたそれぞれのグループを表すシンボルと、それぞれのグ
ループに属する画像データの撮影場所とを対応づけて表示させること、を特徴とする。
この構成によれば、それぞれのグループを表すシンボルと、それぞれのグループに属す
る画像データの撮影場所とが対応づけて表示されるので、各グループの撮影場所を容易に
把握できる。これにより、各グループに属する画像データが、どの場所で撮影された撮影
画像なのかを一目で把握することができ、画像データの管理が極めて容易になる。

〔形態５〕 形態５の画像処理装置は、形態１から４のいずれかの画像処理装置におい
て、前記画像処理手段は、前記判定手段により撮影者との関連が小さいと判定されたオブ
ジェクトの画像を含む撮影画像に対応する画像データを非表示設定し、前記表示手段は、
前記画像取得手段により取得された画像データのうち、前記画像処理手段により非表示設
定された画像データを除く画像データを表示画面上に表示すること、を特徴とする。
この構成によれば、撮影者との関連が小さいオブジェクトに係る画像データが表示され
ず、撮影者にとって重要度の高い画像データのみが表示されるので、実質的に重要度の高
い画像データのみが抽出された状態となる。これにより、重要な画像データのみについて
作業を行うことが可能となり、画像データの管理が極めて容易になる。

〔形態６〕 形態６の画像処理装置は、形態１から５のいずれかの画像処理装置におい
て、前記画像処理手段は、前記判定手段により撮影者との関連が小さいと判定されたオブ
ジェクトの画像を含む撮影画像に対応する画像データを削除設定するものであり、前記画
像取得手段により取得された画像データのうち、前記画像処理手段により削除設定された
画像データを削除する削除手段をさらに備えること、を特徴とする。
この構成によれば、撮影者との関連が小さいオブジェクトに係る画像データが削除され
るので、実質的に重要度の高い画像データのみが抽出された状態となる。これにより、重
要でない画像データを簡単に削除することができ、重要な画像データのみを管理すればよ
いので、画像データの管理がより一層容易になる。

〔形態７〕 上記課題を解決するため、形態７の画像処理装置は、撮影画像の画像デー
タと前記撮影画像の撮影場所を示す情報とを取得する画像取得手段と、前記画像取得手段
により取得された撮影場所を示す情報に基づいて、前記画像取得手段により取得された画
像データを撮影場所毎のグループに分類する分類手段と、前記分類手段により分類された
それぞれのグループを表すシンボルと、それぞれのグループに属する画像データの撮影場
所とを対応づけて示す画像分類表示画面を表示させる表示手段と、を備えることを特徴と
する。
この構成によれば、取得した撮影画像の画像データを撮影場所毎のグループに分類し、
それぞれのグループを表すシンボルと、それぞれのグループに属する画像データの撮影場
所とを対応づけて示す画像分類表示画面を表示する。これにより、撮影画像の画像データ
が撮影場所毎にまとめられ、画像分類表示画面を見れば、各グループに属する画像データ
に対応する撮影画像がどの場所で撮影されたのかを一目で把握することができるので、画
像データの管理に要する作業負担を大幅に軽減できる。

〔形態８〕 さらに、形態８の画像処理装置は、形態７の画像処理装置において、前記
表示手段は、前記画像分類表示画面に、前記分類手段によって分類されたそれぞれのグル
ープを表すシンボルとともに、それぞれのグループに属する画像データの数を表示させる
こと、を特徴とする。
この構成によれば、画像分類表示画面に、各グループを表すシンボルとともに各グルー
プに属する画像データの数が、直接的または模式的に表示されるので、画像分類表示画面
を見れば、撮影場所と、撮影場所毎の撮影画像の数とを容易に把握できる。これにより、
画像データをより一層容易に管理できる。

〔形態９〕 形態９の画像処理装置は、形態７または８の画像処理装置において、前記
表示手段は、前記画像分類表示画面に地図を表示させ、前記分類手段によって分類された
それぞれのグループが対応する撮影場所を前記地図上の位置として表すこと、を特徴とす
る。
この構成によれば、画像分類表示画面に表示された地図により、撮影画像の画像データ
が属するグループの撮影場所が表示されるので、画像分類表示画面を見れば、撮影場所を
極めて容易に把握することができ、画像データをより一層容易に管理できる。

〔形態１０〕 形態１０の画像処理装置は、形態７から９のいずれかの画像処理装置に
おいて、予め登録されたオブジェクトの画像に基づき、前記画像取得手段により取得され
た画像データを展開した画像中のオブジェクトを認識する認識手段と、前記認識手段によ
り認識されたオブジェクトを示すオブジェクト情報を前記画像データに対応づけて記憶す
る認識結果記憶手段と、を備え、前記表示手段は、予め登録されたオブジェクトのいずれ
かが指定された場合に、指定されたオブジェクトの画像を含む撮影画像に対応する画像デ
ータが属するグループのみを、前記画像分類表示画面に表示させること、を特徴とする。
この構成によれば、指定されたオブジェクトの画像を含む撮影画像に対応する画像デー
タとともに、この画像データと同じグループに属する画像データのみが抽出され、画像分
類表示画面に表示される。これにより、オブジェクト毎に、撮影場所と撮影画像との対応
等を容易に把握できるので、画像データをより一層容易に管理できる。

ここで、形態７から１０の画像処理装置において、前記表示手段は、前記画像分類表示
画面に、前記分類手段によって分類されたそれぞれのグループを表すシンボルとして、そ
れぞれのグループに属する画像データのうち少なくとも一の画像データに対応する撮影画
像を表示させるものとしてもよい。この構成によれば、画像分類表示画面に、各グループ
を表すシンボルとして、そのグループに属する画像データが表示されるので、画像分類表
示画面を見れば、それぞれの撮影場所で撮影された撮影画像の内容を端的に把握でき、画
像データをより一層容易に管理できる。

〔形態１１〕 上記課題を解決するため、形態１１の電子機器は、形態１から１０のい
ずれかの画像処理装置を備えたことを特徴とする。
この電子機器によれば、形態１から１０の画像処理装置と同等の効果が得られる。

〔形態１２〕 上記課題を解決するため、形態１２の画像処理方法は、撮影画像の画像
データを取得する画像取得工程と、予め登録されたオブジェクトの画像に基づき、前記画
像取得工程で取得された画像データに対応する撮影画像に含まれるオブジェクトを認識す
る認識工程と、前記認識工程で認識されたオブジェクトを示すオブジェクト情報を前記画
像データに対応づけて記憶する認識結果記憶工程と、前記認識結果記憶工程で記憶された
オブジェクト情報をもとに、予め登録されたオブジェクトのそれぞれについて撮影頻度を
算出する撮影頻度算出工程と、前記撮影頻度算出工程で算出された撮影頻度に基づいて、
予め登録されたオブジェクトのそれぞれと撮影者の関連を判定する判定工程と、前記画像
取得工程で取得された画像データに対し、それぞれの画像データに対応する撮影画像に含
まれるオブジェクトについて前記判定工程で判定された撮影者との関連に基づき、表示態
様を設定する画像処理工程と、前記画像処理工程で設定された表示態様に従って表示を行
う表示工程と、を含むことを特徴とする。
この画像処理方法によれば、形態１の画像処理装置と同等の効果が得られる。

〔形態１３〕 上記課題を解決するため、形態１３の画像処理方法は、撮影画像の画像
データと前記撮影画像の撮影場所を示す情報とを取得する画像取得工程と、前記画像取得
工程で取得された撮影場所を示す情報に基づいて、前記画像取得工程で取得された画像デ
ータを撮影場所毎のグループに分類する分類工程と、前記分類工程で分類されたそれぞれ
のグループを表すシンボルと、それぞれのグループに属する画像データの撮影場所とを対
応づけて示す画像分類表示画面を表示させる表示工程と、を含むことを特徴とする。
この画像処理方法によれば、形態７の画像処理装置と同等の効果が得られる。

〔形態１４〕 上記課題を解決するため、形態１４のプログラムは、コンピュータを、
撮影画像の画像データを取得する画像取得手段と、予め登録されたオブジェクトの画像に
基づき、前記画像取得手段により取得された画像データに対応する撮影画像に含まれるオ
ブジェクトを認識する認識手段と、前記認識手段により認識されたオブジェクトを示すオ
ブジェクト情報を前記画像データに対応づけて記憶させる認識結果記憶手段と、前記認識
結果記憶手段によって記憶されたオブジェクト情報をもとに、予め登録されたオブジェク
トのそれぞれについて撮影頻度を算出する撮影頻度算出手段と、前記撮影頻度算出手段に
より算出された撮影頻度に基づいて、予め登録されたオブジェクトのそれぞれと撮影者の
関連を判定する判定手段と、前記画像取得手段により取得された画像データに対し、それ
ぞれの画像データに対応する撮影画像に含まれるオブジェクトについて前記判定手段によ
り判定された撮影者との関連に基づき、表示態様を設定する画像処理手段と、前記画像処
理手段により設定された表示態様に従って表示を行う表示手段と、して機能させることを
特徴とするプログラムである。
このプログラムによれば、コンピュータによってプログラムが読み取られ、読み取られ
たプログラムにしたがってコンピュータが処理を実行すると、形態１の画像処理装置と同
等の作用及び効果が得られる。

〔形態１５〕 上記課題を解決するため、形態１５のプログラムは、コンピュータを、
撮影画像の画像データと前記撮影画像の撮影場所を示す情報とを取得する画像取得手段と
、前記画像取得手段により取得された撮影場所を示す情報に基づいて、前記画像取得手段
により取得された画像データを撮影場所毎のグループに分類する分類手段と、前記分類手
段により分類されたそれぞれのグループを表すシンボルと、それぞれのグループに属する
画像データの撮影場所とを対応づけて示す画像分類表示画面を表示させる表示手段と、し
て機能させることを特徴とするプログラムである。
このプログラムによれば、コンピュータによってプログラムが読み取られ、読み取られ
たプログラムにしたがってコンピュータが処理を実行すると、形態７の画像処理装置と同
等の作用及び効果が得られる。

〔形態１６〕 上記課題を解決するため、形態１６の記録媒体は、コンピュータを、撮
影画像の画像データを取得する画像取得手段と、予め登録されたオブジェクトの画像に基
づき、前記画像取得手段により取得された画像データに対応する撮影画像に含まれるオブ
ジェクトを認識する認識手段と、前記認識手段により認識されたオブジェクトを示すオブ
ジェクト情報を前記画像データに対応づけて記憶させる認識結果記憶手段と、前記認識結
果記憶手段によって記憶されたオブジェクト情報をもとに、予め登録されたオブジェクト
のそれぞれについて撮影頻度を算出する撮影頻度算出手段と、前記撮影頻度算出手段によ
り算出された撮影頻度に基づいて、予め登録されたオブジェクトのそれぞれと撮影者の関
連を判定する判定手段と、前記画像取得手段により取得された画像データに対し、それぞ
れの画像データに対応する撮影画像に含まれるオブジェクトについて前記判定手段により
判定された撮影者との関連に基づき、表示態様を設定する画像処理手段と、前記画像処理
手段により設定された表示態様に従って表示を行う表示手段と、して機能させることを特
徴とするプログラムを、コンピュータ読取可能に記録した記録媒体である。
この記録媒体によれば、コンピュータによってプログラムが記録媒体から読み取られ、
読み取られたプログラムにしたがってコンピュータが処理を実行すると、形態１の画像処
理装置と同等の作用及び効果が得られる。

〔形態１７〕 上記課題を解決するため、形態１７の記録媒体は、コンピュータを、撮
影画像の画像データと前記撮影画像の撮影場所を示す情報とを取得する画像取得手段と、
前記画像取得手段により取得された撮影場所を示す情報に基づいて、前記画像取得手段に
より取得された画像データを撮影場所毎のグループに分類する分類手段と、前記分類手段
により分類されたそれぞれのグループを表すシンボルと、それぞれのグループに属する画
像データの撮影場所とを対応づけて示す画像分類表示画面を表示させる表示手段と、して
機能させることを特徴とするプログラムを、コンピュータ読取可能に記録した記録媒体で
ある。
この記録媒体によれば、コンピュータによってプログラムが記録媒体から読み取られ、
読み取られたプログラムにしたがってコンピュータが処理を実行すると、形態７の画像処
理装置と同等の作用及び効果が得られる。

ここで、形態１６及び形態１７でいう記録媒体とは、ＲＡＭ、ＲＯＭ等の半導体記録媒
体、ＦＤ、ＨＤ等の磁気記憶型記録媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方
式記録媒体、ＭＯ等の磁気記録型／光学的読取方式記録媒体であって、電子的、磁気的、
光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記録媒体
であれば、どのような記録媒体であってもよい。

次に図面を参照して本発明の好適な実施の形態について説明する。
図１は、実施形態の画像処理装置の概要構成ブロック図である。
画像処理装置１０は、画像処理装置全体を制御するＣＰＵ１１と、ＣＰＵ１１により実
行される各種プログラムを格納するＲＯＭ１２と、各種データを一時的に格納するＲＡＭ
１３と、各種インタフェース動作を行うインタフェース１４と、を備え、ＣＰＵ１１、Ｒ
ＯＭ１２、ＲＡＭ１３及びインタフェース１４は、バス１５を介して互いに接続されてい
る。

さらに、インタフェース１４には、ユーザが各種データを入力するためのキーボード、
マウス、画像をスキャンするためのスキャナ、画像を撮像するためのデジタルカメラ、デ
ジタルビデオなどの各種の入力装置１６が接続されている。
また、インタフェース１４には、ディスプレイ、プリンタなどの出力装置１７が接続さ
れている。この出力装置１７には、ＬＣＤ（液晶表示）パネル等からなる表示画面２０が
接続されており、出力装置１７は、ＣＰＵ１１の制御に従って表示画面２０に映像信号を
出力して、表示画面２０に後述する各種画面を表示させる。
さらに、インタフェース１４には、フレキシブルディスク、ハードディスクなどの磁気
記録媒体に記録を行う磁気記録装置、光ディスクなどの光記録媒体に記録を行う光ディス
ク記録装置、半導体メモリカードなどの半導体記録媒体に記録を行うメモリ記録装置など
の補助記憶装置１８が接続されている。
なお、入力装置１６としては、通信インタフェースを介してネットワーク（ＬＡＮ、イ
ンターネットなど）から画像データを入力するように構成することも可能である。

図２は、画像処理装置１０の動作の概要を示す図である。
画像処理装置１０には、入力装置１６またはインタフェース１４を介して接続された外
部の機器（図示略）から、画像データが入力される。この画像データは、画像それ自体の
データに、撮影場所のＧＰＳ情報（緯度、経度など）や撮影日時を示すメタデータが、例
えばExif（Exchangeable Image File Format）形式で付加されたものである。
画像処理装置１０は、インタフェース１４を介して画像データが入力されると（ステッ
プＳ１）、入力された画像データに対応する画像から人間の顔に相当する領域を検出する
顔検出処理を行い、検出した領域を顔画像データとして抽出する（ステップＳ２）。
続いて、画像処理装置１０は、抽出した顔画像データについて顔認識処理を実行し、顔
画像データが、予め登録された人物のうち、誰の顔の画像かを特定する。さらに、画像処
理装置１０は、特定された人物、すなわち被写体として写っている人物を示す人物タグ情
報を生成し、この人物タグ情報と、顔画像データを抽出した元の画像データに対応づけて
記憶する。そして、画像処理装置１０は、被写体として写った人物毎に、画像データを分
類する（ステップＳ３）。

続いて、画像処理装置１０は、各々の画像データに対応づけられた人物タグ情報をもと
に、予め登録された各々の人物について、被写体として写った回数（以下、出現回数と呼
ぶ）を集計する。また、画像処理装置１０は、出現回数を画像データの数で除算して、各
人物が撮影された頻度（以下、撮影頻度と呼ぶ）を算出する（ステップＳ４）。ここで、
画像処理装置１０は、撮影頻度をグラフ化して表示画面２０に表示させることも可能であ
る。
その後、画像処理装置１０は、登録された各人物の撮影頻度が所定の条件に該当するか
否かを判定し、条件に該当する人物（例えば、撮影頻度がしきい値を下回った人物）が写
っている画像データを非表示設定する。とともに、画像処理装置１０は、画像データを撮
影場所毎にグループ化し、非表示設定された画像データを含まないグループについて、各
グループを示すシンボルと撮影場所とを対応させた画像分類表示画面を表示する（ステッ
プＳ５）。

画像処理装置１０は、人物が写った画像に限らず、画像データを撮影場所に従って分類
するとともにオブジェクト毎の撮影頻度を求め、撮影頻度がしきい値を下回ったオブジェ
クトが写っている画像の画像データを非表示設定することが可能である。このオブジェク
トとは、人だけでなく物（ペット等の動物および静物を含む）を含み、自動車、バイク、
自転車、建物、施設等、認識対象となる全てのものを含んでいる。本実施形態では、あく
まで一例として、オブジェクトが人物である場合について説明する。

図３は、実施形態の画像処理装置の機能ブロック図である。この図３に示す各機能ブロ
ックは、ＣＰＵ１１がＲＯＭ１２（図１）に記憶されたプログラムを実行することで、図
１に示した各部によって実現される機能を表す。このため、図３の各機能ブロックは物理
的に独立したハードウェアとして実装されるとは限らない。

以下に説明する本実施形態の画像取得部２１は、画像取得手段に相当し、入力された画
像を取得するものである。また、顔認識部２３は認識手段に相当し、撮影頻度算出部２５
は撮影頻度算出手段に対応し、判定部２６は判定手段および画像処理手段に相当し、グル
ープ分類部２７は分類手段に対応し、表示部２８は表示手段に対応し、画像削除処理部２
９は削除手段に相当する。また、画像格納部３２は認識結果記憶手段に対応する。
また、本実施形態の人物タグ情報はオブジェクト情報に対応しており、画像データに対
応する撮影画像に含まれるオブジェクトを特定する情報として、具体的には、人物や物の
名前、予め人物や物に付与された固有のＩＤなどである。また、本実施形態では、画像デ
ータまたはグループの表示態様として、表示／非表示のいずれかを選択して実行する。ま
た、撮影日時を示す情報としては、撮影された年、月、日、時、分、秒のうち、少なくと
も月および日を含み、好ましくは年を含み、さらに好ましくは分および秒を含んでいる情
報を用いる。撮影場所を示す情報としては、例えば、撮影場所の緯度及び経度を含むＧＰ
Ｓ情報を用いることができる。これら撮影日時を示す情報および撮影場所を示す情報は、
例えば、上記のExif形式で画像データに付加されているものとする。

画像処理装置１０は、大別すると、外部より入力された画像データを取得する画像取得
部２１と、入力された画像データに対応する画像から、オブジェクトとしての顔の領域を
検出する顔検出部２２と、予め登録情報保持部３１に格納された情報に基づいて、検出さ
れた顔が誰の顔であるかを認識する顔認識部２３と、顔認識部２３により認識された人物
を示す情報を含む人物タグ情報を生成するタグ付け部２４と、タグ付け部２４により生成
された人物タグ情報と画像データとを格納する画像格納部３２と、画像格納部３２に格納
された人物タグ情報をもとに各人物の撮影頻度を算出する撮影頻度算出部２５と、各人物
の撮影頻度が所定の条件に該当するか否かを判定する判定部２６と、画像格納部３２に格
納された画像データを撮影場所毎のグループに分類するグループ分類部２７と、グループ
分類部２７によってグループ分けされた状態を記憶するグループ情報格納部３３と、グル
ープ分類部２７によって分類されたグループのうち、判定部２６により所定の条件に該当
しないと判定された画像データを含まないグループを表示する表示部２８と、判定部２６
により所定の条件に該当しないと判定された画像データを画像格納部３２から削除する画
像削除処理部２９と、を備えて構成されている。

以下、各機能についてより詳細に説明する。
画像取得部２１は、入力装置１６（図１）の操作によりユーザが指定した画像データを
取り込む機能を有し、各種データフォーマットに対応するほか、圧縮フォーマットの画像
データを取り込んだ後に展開する機能を備える。
顔検出部２２は、画像データを解析して、画像中の顔領域を検出する機能を有している
。登録情報保持部３１には、画像から人物の顔を検出する具体的な手法としては、例えば
、予め収集した多数の顔画像に基づいて、特定の大きさの画像を顔領域と顔以外の領域と
に識別する顔検出器を構成する方法がある。この顔検出器は、例えば、明度やエッジをも
とに生成される画像特徴量を用いて、顔領域と顔以外の領域とを識別する。また、顔検出
器は多層ニューラルネットワーク、サポートベクトルマシンや判別分析等の統計的な手法
により実現することが出来る。
この他の顔領域を検出する手法として、参考文献を挙げる。
「背景と顔の方向に依存しない顔の検出と顔方向の推定」信学技報、ＰＲＭＵ２００１
−２１７，ｐｐ．８７−９４（２００２−０１）、荒木祐一、島田伸敬、白井良明。
本文献記載の技術は、顔の部位を確率付きで求め、弛緩法を用いて顔の検出を行い、さ
らに、部位の検出結果を用いて、顔方向の検出を行うものであるが、本実施形態における
顔検出部２２には、上記文献記載の顔の検出に係る技術を適用すれば足りる。
そして、顔検出部２２は、検出した顔領域に相当する画像データを、顔画像データとし
て出力する。

顔認識部２３は、顔検出部２２から出力された顔画像データを処理して、検出された顔
画像（オブジェクト）が誰の顔かを認識する。ここで、人物の顔画像が誰の顔かを認識す
る方法としては、公知技術を用いることが可能である。一例としては、予め顔画像を収集
し、この収集した顔画像を元に判別分析等の統計的な手法により個人を特定する手法が適
用可能である。また、ニューラルネットワークを用いた学習により、個人を特定する識別
器を実現するようにしてもよい。
さらに、他の手法としては、特開平９−２５１５３４号公報に示されている「人物認証
装置及び人物認証方法」が挙げられる。具体的には、分離度フィルタを用いて人物の顔画
像から顔の各特徴点候補を抽出し、顔の構造的な制約を用いて特徴点セット候補を絞り込
む。次いで、予め登録してある目、鼻、口領域などのテンプレートとの類似度を計算して
その加重和の整合度を求め、絞り込みをした特徴点セット候補の中から最も高い整合度を
持つ特徴点セットを特定する。さらに、特定した特徴点セットから正規化画像を生成する
とともに、生成した正規化画像と予め登録されている複数人物の顔画像との類似度を計算
し、類似度が高い画像を表す人物を当人と識別する。この特許文献に開示の技術によれば
、明度変化などに影響されずに、入力画像から目、鼻などの特徴点を安定に抽出して人物
認証を高精度に行うことが可能となっている。
上記のいずれの方法においても、予め登録された顔画像、或いは、予め登録された顔画
像の特徴を示す情報が用いられる。顔認識部２３は、これらの情報を格納する登録情報保
持部３１から必要な情報（顔画像または顔画像の特徴を示す情報）を読み出し、顔検出部
２２によって検出された顔画像の人物を特定する。
そして、顔認識部２３は、顔検出部２２から出力された顔画像データが誰の顔画像のデ
ータかを認識し、認識した人物の名前を示す情報（テキストデータ等）を出力する。

タグ付け部２４は、顔認識部２３から出力された情報に基づいて、顔認識部２３により
認識された人物を特定するための情報（例えば、名前または各人物に固有のＩＤ）を含む
人物タグ情報を生成し、画像取得部２１により取得した画像データと人物タグ情報とを対
応づけて画像格納部３２に格納させる。
ここで、タグ付け部２４は、画像取得部２１により取得した画像データに付加されてい
るメタデータに、人物タグ情報の内容を追加してメタデータを更新してもよい。

撮影頻度算出部２５は、画像格納部３２に格納された人物タグ情報を参照し、予め登録
情報保持部３１に登録された各々の人物について、その人物の名前やＩＤを含む人物タグ
情報の数を計数することで、各人物が写っている画像の数、すなわち出現回数を計数し、
この出現回数を全画像データの数で除算することで、各人物の撮影頻度を算出する。
撮影頻度算出部２５は、全ての画像データの数に基づく撮影頻度を算出することも可能
であるし、指定された期間における撮影頻度を算出することもできる。
例えば、２００２年の１年間における撮影頻度を算出する場合、撮影頻度算出部２５は
、画像格納部３２に格納された各画像データのメタデータを検索し、撮影日時が２００２
年中の日時になっている画像データを抽出する。続いて、撮影頻度算出部２５は、抽出し
た画像データに対応する人物タグ情報を抽出し、登録された各々の人物について、その人
物の名前を含む人物タグ情報の数を計数することで、２００２年の各人物の出現回数を求
める。さらに、撮影頻度算出部２５は、各人物の出現回数を、抽出した全ての人物タグ情
報の数で除算することで、２００２年の各人物の撮影頻度を求めることができる。
撮影頻度算出部２５が撮影頻度を求める期間は任意であり、予め設定された期間を撮影
頻度算出部２５が記憶する構成としてもよいし、入力装置１６の操作により指定できるも
のとしてもよい。
本実施形態では、撮影頻度算出部２５は、１年毎の撮影頻度を算出するものであり、指
定された全ての年度における撮影頻度を算出して出力する。
判定部２６は、撮影頻度算出部２５により出力された撮影頻度について、人物毎、年度
毎に、所定のしきい値を下回ったか否かを判定し、判定結果を示すデータを生成する。
さらに、判定部２６は、所定のしきい値を下回った人物について、非表示または削除す
る旨の設定を行う。この設定は、例えば、画像格納部３２に格納された各々の画像データ
に対応する人物タグ情報をもとに、所定のしきい値を下回った人物が写っている画像デー
タを特定し、特定した画像データに対応づけて、非表示または削除する旨のタグを画像格
納部３２に格納することで行われる。

グループ分類部２７は、画像格納部３２に格納された画像データのメタデータに含まれ
る撮影場所の情報（ＧＰＳ情報等）に基づき、画像データを撮影場所毎のグループに分類
する。この分類により、同じ場所で撮影された画像データは同じグループに分類される。
グループ分類部２７は、どのグループにどの画像データが属するかを示すグループ情報を
生成して、グループ情報格納部３３に格納させる。ここで、グループ分類部２７は、撮影
場所のＧＰＳ情報が完全に一致していなくても、撮影場所が所定距離以内の画像データで
あれば同じグループに分類する。
グループ分類部２７は、同じ撮影場所で撮影された画像データを、さらに撮影日時に基
づいて複数のグループに分類することができる。この場合、グループ分類部２７は、撮影
日時の差が所定時間（例えば、３日間）以内の画像データが同じグループに属するように
分類する。これにより、例えばユーザが複数回の旅行中に撮影した画像データについて、
訪れた観光地ごとに分類することができ、さらに、１回の訪問で撮影された画像データを
一つのグループに分類できる。つまり、数年間の間に同じ場所を複数回訪れ、撮影を行っ
た場合、この場所で撮影された画像データは撮影場所が同じ場所であるから一つのグルー
プに分類されるが、撮影日時に基づいて分類すれば、１回の訪問ごとに別のグループに分
類できる。
換言すれば、グループ分類部２７は、画像データをイベント毎にグループに分類するこ
とが可能であり、このグループ分類部２７の機能によって、画像データがイベント単位で
管理される。

表示部２８は、グループ分類部２７によって分類された画像データを、グループ毎に表
示画面上に表示する。ここで、表示部２８は、判定部２６によって非表示設定された画像
データ、及び、この画像データと同じグループに分類された画像データを表示しない。す
なわち、表示部２８は、画像格納部３２に格納された画像データのうち、非表示または削
除する旨のタグが対応づけて格納されている画像データを検出し、この画像データを含む
グループ、及び、このグループに属する全ての画像データを表示しない。
表示部２８がグループ毎に画像データを表示する画面は、例えば後述する画像分類表示
画面４０のように、地図と、各グループの撮影場所を地図上で示すシンボルとが表示され
た画面である。
画像削除処理部２９は、画像格納部３２に格納された画像データのうち、削除する旨の
タグが対応づけて格納されている画像データを検出し、この画像データ、及び、この画像
データと同じグループに属する全ての画像データを画像格納部３２から削除する。この画
像削除処理部２９によって画像を削除するか、削除を実行しないで待機するかは、予め設
定され、或いは、入力装置１６の操作により指定される。

図４は、登録情報保持部３１に格納される情報の一構成例を示す図である。
この図４に示す情報は、顔認識部２３によって顔画像を認識する際に利用される。この
情報は、人物を特定する情報としての人物ＩＤに、その人物の認識に用いる顔画像の画像
番号（画像Ｎｏ．）、及び、顔認識に用いる特徴量を対応づけたものである。人物の認識
に用いる顔画像は、過去に撮影された画像であり、どの人物の顔画像であるかが明確な画
像であって、好ましくは顔が明瞭に写っていて複雑な背景のない画像である。
登録情報保持部３１には、図４に例示するように、複数の人物について、顔画像および
顔画像の特徴量が格納されている。これら複数の人物は、画像処理装置１０を使用するユ
ーザがよく撮影する人物であり、このユーザの家族や知人等である。

図５は、グループ情報格納部３３に格納される情報の構成例を示す図である。
この図５に示す情報は、グループ分類部２７が画像データをグループ化した際に生成さ
れる情報であり。画像格納部３２に格納されたそれぞれの画像データが、どのグループに
属するかを示す情報である。
図５の例では、画像データのファイル名、撮影日時、撮影場所の経度と緯度および高度
、撮影された人物、フォルダ名、及びコメントが対応づけられている。
上述のように、グループ分類部２７は撮影日時と撮影場所に基づいて画像データをグル
ープに分類するので、グループ情報格納部３３内の情報には、各画像データの撮影日時と
撮影場所を示す情報が含まれている。
また、本実施形態の画像処理装置１０は、グループに属する画像を仮想的なフォルダに
格納する。つまり、一つのグループに属する画像データを、そのグループに対応してフォ
ルダに格納した形態としており、グループとフォルダとは一対一で対応している。

また、ここでは図示しないが、画像格納部３２には、画像取得部２１により取得された
撮影画像の画像データに対応づけて、顔認識部２３により認識された人物を示す人物タグ
情報と、判定部２６によって表示態様を設定する情報（非表示とする情報）あるいは削除
する旨を示す情報とが格納される。

以上のように構成される画像処理装置１０の動作について、説明する。
図６は、画像処理装置１０の動作を示すフローチャートであり、特に、画像データが入
力されてから顔認識を行うまでの処理を示す。
ＣＰＵ１１は、まず、インタフェース１４を介して入力された画像データをＲＡＭ１３
に一時的に格納し、格納した画像データのうち、未処理の画像データの有無を判別する（
ステップＳ１１）。ここで未処理の画像データが無い場合（ステップＳ１１；Ｎｏ）は図
６の処理を終了する。
最初にステップＳ１１の判別を行う場合、及び、２回目以降にステップＳ１１の判別を
行って未処理の画像データがある場合（ステップＳ１１；Ｙｅｓ）、ＣＰＵ１１は、未処
理の画像データのうち一つの画像データを取得し（ステップＳ１２）、取得した画像デー
タにおける顔領域の検出を行う（ステップＳ１３）。
顔領域が検出された場合（ステップＳ１４；Ｙｅｓ）、ＣＰＵ１１は、顔領域における
顔の部位（目、鼻、口など）の検出を行い、顔認識を実行する（ステップＳ１５）。
一方、顔領域が検出できなかった場合（ステップＳ１４；Ｎｏ），ＣＰＵ１１はステッ
プＳ１１に戻って処理を繰り返す。
ここで、顔認識によって登録された人物の誰かであると認識できた場合（ステップＳ１
６；Ｙｅｓ）、ＣＰＵ１１は、認識結果を示す人物タグ情報を生成して、処理中の画像デ
ータに対応づけて補助記憶装置１８に記憶させる（ステップＳ１７）。
一方、登録された人物の顔であると認識できなかった場合（ステップＳ１６；Ｎｏ）、
ＣＰＵ１１は認識できなかった旨を示すメッセージを出力装置１７によって表示画面２０
に表示させ（ステップＳ１８）、ステップＳ１１に戻って処理を繰り返す。

図７は、画像処理装置１０の動作を示すフローチャートであり、特に、顔認識処理に用
いるための画像を登録する動作を示す。
上述のように、ＣＰＵ１１は、図３の顔認識部２３としての機能により、予め登録され
た顔画像または顔画像の特徴に係る情報をもとに、顔画像の認識を行う。このため、画像
処理装置１０においては、予め顔認識に用いる顔画像を登録する。以下、この登録に係る
動作について説明する。
ＣＰＵ１１は、まず、インタフェース１４を介して入力された画像データをＲＡＭ１３
に一時的に格納し、格納した画像データのうち、未処理の画像データの有無を判別する（
ステップＳ２１）。ここで未処理の画像データが無い場合（ステップＳ２１；Ｎｏ）は図
７の処理を終了する。
最初にステップＳ２１の判別を行う場合、及び、２回目以降にステップＳ２１の判別を
行って未処理の画像データがある場合（ステップＳ２１；Ｙｅｓ）、ＣＰＵ１１は、未処
理の画像データのうち一つの画像データを取得し（ステップＳ２２）、取得した画像デー
タにおける顔領域の検出を行う（ステップＳ２３）。ここで、ＣＰＵ１１は、検出した顔
領域における顔画像の位置（画像全体に重なる座標系における座標）やサイズ等を求め、
画像データに対応づけてＲＡＭ１３に一時的に記憶する。
次に、ＣＰＵ１１は、検出した顔領域における顔の部位（目、鼻、口など）の検出を行
い（ステップＳ２４）、検出した顔部位に基づいて顔認識用の特徴量を抽出する（ステッ
プＳ２５）。ＣＰＵ１１は、抽出した特徴量を、処理中の画像データに写っている人物に
対応づけて補助記憶装置１８に記憶させ（ステップＳ２６）、ステップＳ２１に戻って処
理を繰り返す。

図８は、画像処理装置１０の動作を示すフローチャートであり、特に、画像をグループ
化する動作を示す。
上述のように、ＣＰＵ１１は、図３のグループ分類部２７としての機能により、画像デ
ータを撮影場所および撮影日時に基づいてグループに分類する。以下、この分類に係る動
作について説明する。
ＣＰＵ１１は、まず、補助記憶装置１８に記憶されている画像データのうち、未処理の
画像データの有無を判別する（ステップＳ３１）。ここで未処理の画像データが無い場合
（ステップＳ３１；Ｎｏ）は図８の処理を終了する。
最初にステップＳ３１の判別を行う場合、及び、２回目以降にステップＳ３１の判別を
行って未処理の画像データがある場合（ステップＳ３１；Ｙｅｓ）、ＣＰＵ１１は、未処
理の画像データのうち一つの画像データを取得する（ステップＳ３２）。

ここで、ＣＰＵ１１は、取得した画像データのメタデータから撮影場所を示す情報を抽
出し、さらに撮影日時を示す情報を抽出する。そして、撮影場所と撮影日時とに対応する
グループに、処理中の画像データを分類する（ステップＳ３３）。ここで、処理中の画像
データに対応するグループがない場合、ＣＰＵ１１は、新たにグループを作成して、この
作成したグループに画像データを分類する。
その後、ＣＰＵ１１は、処理中の画像データを、分類したグループに対応するフォルダ
に格納し（ステップＳ３４）、ステップＳ３１に戻って処理を繰り返す。

図９は、画像処理装置１０の動作を示すフローチャートであり、特に、画像データをグ
ループ化するとともに撮影頻度を算出する動作を示す。
ＣＰＵ１１は、まず、補助記憶装置１８に記憶されている画像データのうち、未処理の
画像データの有無を判別する（ステップＳ４１）。
最初にステップＳ４１の判別を行う場合、及び、２回目以降にステップＳ４１の判別を
行って未処理の画像データがある場合（ステップＳ４１；Ｙｅｓ）、ＣＰＵ１１は、未処
理の画像データのうち一つの画像データを取得し（ステップＳ４２）、取得した画像デー
タをグループ化する（ステップＳ４３）。このグループ化は、図８のステップＳ３３〜Ｓ
３４に示した処理と同様に行われる。
一方、ステップＳ４１で未処理の画像データが無い場合（ステップＳ４１；Ｎｏ）、す
なわち全ての画像データが分類された場合、ＣＰＵ１１は、グループ化された全ての画像
データに対応づけて補助記憶装置１８に記憶されている人物タグ情報を参照し、予め定め
られた期間ごとに、登録された各々の人物について撮影頻度を算出する（ステップＳ４４
）。このステップＳ４４では、算出対象の期間に撮影された画像データにおける各人物の
出現回数を、その期間に撮影された全ての画像データの数で除算することで、求めること
ができる。

続いて、ＣＰＵ１１は、登録された各々の人物の撮影頻度について、経時的な変化量（
時間的な推移）を求める（ステップＳ４５）。例えば撮影頻度が１年ごとに算出されてい
る場合、ＣＰＵ１１は、各年について算出された撮影頻度の変化を求める。
そして、ＣＰＵ１１は、撮影を行った人、すなわち画像処理装置１０を操作するユーザ
と、登録された各々の人物との親密度（関連）を判定する（ステップＳ４６）。
登録された各々の人物とユーザとの親密度は、各々の人物の撮影頻度と強い相関を有す
る。このため、撮影頻度の経時的変化は、各々の人物とユーザとの親密度の変化を表して
いると考えることができる。
そして、ＣＰＵ１１は、各々の人物の撮影頻度が所定の条件を満たす場合に、その人物
とユーザとの現在の親密度が低いと判定する。例えば、過去１０年の間、撮影頻度がしき
い値を下回っている人物は、ユーザとの親密度が低いと判定される。また、例えば、過去
１０年のうち最初の７年間の撮影頻度が高い人物について、過去３年の撮影頻度がしきい
値を大幅に下回っている場合、この人物とユーザとの親密度は最近３年間で低下している
ものと考えられる。このため、この人物とユーザとの親密度は、より低いと判定される。

図１０は、撮影頻度の例を示す図である。
この図１０の例では、２００２年に撮影された撮影画像データをもとに算出された人物
Ａの出現回数は１１８回であり、撮影頻度は６４％である。ところが、２００５年と２０
０６年における人物Ａの出現回数は０（ゼロ）回であり、撮影頻度は０％である。このた
め、人物Ａとユーザとの親密度は低いと判定される。
一方、人物Ｂの２００３年の撮影頻度は３２％であるが、２００４年は５２％、２００
５年は４８％、２００６年は５５％となっている。このため、人物Ｂとユーザとの親密度
は高いと判定される。
図１１は、撮影頻度をグラフ化した例を示す図表である。
この図１１は図１０に示した例をグラフにしたものである。このグラフに明らかなよう
に、各々の人物の撮影頻度は時間的に大きく変化する。
本実施形態の画像処理装置１０は、登録された各々の人物とユーザとの親密度を、撮影
頻度の絶対値でなく時間的変化に基づいて判定する。これにより、各人物とユーザとの親
密度を、実態を正確に反映して求めることができる。
また、出現回数を基準にすると、期間途中における出現回数の数値や撮影された画像デ
ータの数が少ない期間の数値を、他の期間と比較することが困難であるが、本実施形態の
ように各期間における撮影頻度を基準にすることで、常に的確な判定を行うことができる
。

図１２は、画像処理装置１０において表示される画像分類表示画面の一例を示す図であ
る。
この図１２に示す画像分類表示画面４０は、グループ分類部２７によりグループ化され
た各グループに対応するシンボルとしてのフォルダアイコン４２を、地図画像４１に重ね
て表示する画面である。
フォルダアイコン４２は、対応するグループに属する画像データが撮影された場所を地
図画像４１において指し示しており、撮影場所が一目でわかるようになっている。また、
地図画像４１において指し示された場所には、画像数表示バー４３が表示される。この画
像数表示バー４３は、その場所に対応するグループに属する画像データの数に応じた長さ
の棒状の表示体である。すなわち、画像数表示バー４３は、その場所で撮影された画像デ
ータの数を視覚化したものである。
また、フォルダアイコン４２は、対応するグループに属する画像データのうち代表的な
画像データをサムネイル表示したアイコンである。ここで代表的な画像データとは、例え
ば、グループに属する画像データをファイル名順にソートした場合に先頭になる画像デー
タや、最も多くの人物が写っている画像データ、或いは、最も撮影頻度が高い人物が写っ
ている画像データである。
さらに、画像分類表示画面４０は複数のタブ５１〜５４により構成され、タブ５１〜５
４を切り替えて表示できる。一つのタブは一人の人物に対応しており、例えば、タブ５１
が選択されると、画像分類表示画面４０には、人物Ａが撮影された画像データを含むグル
ープのみが、フォルダアイコン４２として地図画像４１に重ねて表示される。

この画像分類表示画面４０により、多数の画像データの撮影場所を地図画像４１とフォ
ルダアイコン４２によって簡単に把握することができ、それぞれの場所で撮影された画像
データの数を画像数表示バー４３により知ることができる。
ここで、画像処理装置１０は、同じ撮影場所で撮影された画像データを、さらに撮影日
時によって異なるグループに分類することが可能なため、地図画像４１上の同一地点に対
し、複数のフォルダが対応する場合がある。この場合には、各々のフォルダに対応する複
数のフォルダアイコン４２及び画像数表示バー４３を並べて表示すればよい。さらに、例
えば表示位置をずらす、撮影された時期に応じて表示色を変える、等の方法によって視認
性を高めることもできる。
また、タブ５１〜５４を切り替えることで、撮影された人物毎に、撮影場所や撮影した
画像データの数等を容易に知ることができる。
そして、画像分類表示画面４０には、非表示設定された画像データを含むグループに対
応するフォルダアイコン４２は表示されない。このため、画像処理装置１０を操作するユ
ーザとの親密性が低い人が写った画像データ、及び、その画像データと同一の状況で撮影
された他の画像データは画像分類表示画面４０に表示されない。これにより、ユーザにと
って重要性の高い画像データを含むグループのみが画像分類表示画面４０に一覧表示され
るので、ユーザ自身が不要な画像を選択して削除または非表示とする手間を省くことがで
き、画像管理の労力を大幅に軽減できる。

さらに、画像分類表示画面４０の左端部には、地図画像４１に重ねて表示されたフォル
ダアイコン４２のフォルダ名を一覧表示するフォルダ一覧表示部４４が配されている。そ
の下方には、地図画像４１上のフォルダアイコン４２またはフォルダ一覧表示部４４にお
いて、一つのフォルダが選択された場合に、そのフォルダに格納されている画像データの
ファイル名を一覧表示するファイル一覧表示部４５が配されている。これらフォルダ一覧
表示部４４及びファイル一覧表示部４５を表示することにより、画像データをファイル単
位で管理できる。このフォルダ一覧表示部４４及びファイル一覧表示部４５は、図１２に
示す例のように上下に並んだ構成に限定されず、例えば、フォルダ名とファイル名とを階
層表示するツリーを表示してもよい。

また、画像分類表示画面４０に表示されたフォルダアイコン４２のいずれかが選択され
た場合に、表示画面が切り替えられ、選択されたフォルダアイコン４２に対応するグルー
プに属する画像データを一覧表示する画面を表示することができる。この場合、一覧表示
された画像データから任意の画像データを選択して、拡大表示したり、編集または削除し
たり、印刷したりすることが可能になる。
また、この画像分類表示画面４０において、フォルダアイコン４２に、サムネイル表示
した画像データの撮影日時を表示してもよい。さらに、フォルダアイコン４２が対応する
グループに属する画像データの撮影日時のうち、最も古い日時と最も新しい日時とを表示
してもよい。この場合、各グループの画像データがいつ頃撮影されたのかを容易に知るこ
とができ、例えば観光地で撮影された画像データであれば、その観光地をいつ訪問したの
かを知ることもできる。

なお、図１２には、画像分類表示画面４０においてフォルダアイコン４２に画像をサム
ネイル表示した例を示したが、単なるイラスト等の画像を用いてもよい。
図１３は、画像分類表示画面４０の別の例として、画像分類表示画面４６を示す図であ
る。
この図１３に示すように、画像データに代えてイラストを含むフォルダアイコン４７を
、地図画像４１に重ねて表示してもよい。この場合、フォルダアイコン４７に表示される
イラスト等は、撮影された時期や撮影場所に対応したイラストであれば、視認性と興趣性
とを高めることが期待できる。

以上説明したように、本発明を適用した実施形態に係る画像処理装置１０によれば、取
得した撮影画像の画像データを取得するとともに撮影画像に含まれる人物を認識し、認識
した人物を示す人物情報を画像データに対応づけて記憶し、この人物情報に基づいて各人
物の撮影頻度を算出し、算出した撮影頻度に基づいて各人物と撮影者との関連を判定し、
判定された関連に基づく表示態様で表示を行う。これにより、撮影画像の撮影データに関
し、撮影画像に写っている人物と撮影者との関連に応じた表示態様で表示がなされるので
、実質的に、被写体となった人物と撮影者との関連に応じて画像データが分類される。こ
のため、撮影者との関連が小さい人物の画像のみを削除し、或いは、撮影者との関連が大
きい人物の画像のみを抽出する等の操作を簡単に行うことができ、画像データを容易に管
理することができ、画像データの管理に要する作業負担を大幅に軽減できる。
ここで、撮影頻度算出部２５は、例えば、予め登録された人物のそれぞれを含む画像の
画像データの数を、画像取得手段により取得された全ての画像データの数で除算すること
によって、予め登録された人物のそれぞれについて撮影頻度を算出するので、撮影頻度を
簡単かつ正確に求めることができるという利点がある。

また、予め登録された人物のそれぞれについて複数の期間における撮影頻度を算出し、
これら複数の期間における撮影頻度から撮影頻度の時間的な推移を求め、この撮影頻度の
時間的な推移に基づいて、予め登録された人物のそれぞれと撮影者の関連を判定するので
、登録された各人物と撮影者との関連を、より正確に判定できる。
さらに、撮影場所毎に撮影画像の画像データをグループに分類し、各グループに属する
画像データの表示態様に基づいてグループ毎の表示態様を定め、この表示態様に従ってグ
ループ毎に表示するので、人物の撮影頻度に基づいて表示態様が定められた画像データと
ともに、同じ場所で撮影された画像データが同様の表示態様で表示される。このため、同
じ場所で撮影された撮影画像の画像データをまとめて操作できるので、画像データをより
一層容易に管理できる。
さらに、撮影者との関連が小さいと判定した人物の画像を含む撮影画像に対応する画像
データを非表示設定し、この非表示設定された画像データを含むグループの画像データが
画像分類表示画面に表示されないので、実質的に重要度の高い画像データのみが抽出され
た状態となる。これにより、重要な画像データのみについて作業を行うことが可能となり
、画像データの管理が極めて容易になる。
また、画像削除処理部２９により、撮影者との関連が小さい人物に係る画像データを画
像格納部３２から削除することが可能なため、実質的に重要度の高い画像データのみを抽
出できるので、ユーザは重要な画像データのみを管理すればよく、画像データの管理がよ
り一層容易になる。

また、画像分類表示画面４０において、撮影画像の画像データを撮影場所毎のグループ
に分類し、それぞれのグループを表すシンボルとしてのフォルダアイコン４２を、それぞ
れのグループに属する画像データの撮影場所とが対応づけて表示されるので、画像分類表
示画面４０を見れば、各グループに属する画像データに対応する撮影画像がどの場所で撮
影されたのかを一目で把握することができる。さらに、各グループを表すフォルダアイコ
ン４２とともに各グループに属する画像データの数を示す画像数表示バー４３が表示され
るので、画像分類表示画面４０を見れば、撮影場所と、撮影場所毎の撮影画像の数とを容
易に把握できる。加えて、フォルダアイコン４２には、そのグループに属する画像データ
に対応する撮影画像が表示されるので、画像分類表示画面を見れば、それぞれの撮影場所
で撮影された撮影画像の内容を端的に把握できる。そして、画像分類表示画面４０には、
地図上において各グループに対応する撮影場所が指し示されるので、画像分類表示画面４
０を見れば撮影場所を極めて容易に把握できる。
また、画像分類表示画面４０においては、タブ５１〜５４の操作により、特定の人物の
画像を含む撮影画像に対応する画像データと、この画像データと同じグループに属する画
像データのみが抽出されて画像分類表示画面４０に表示されるので、人物毎に撮影場所と
撮影画像との対応等を容易に把握できる。

上記実施形態で説明した画像処理装置１０は、具体的には、画像の入力及び表示を行う
ことが可能な機器であればよく、具体的には、デジタルスチルカメラ、デジタルビデオカ
メラ、スキャナ、プロジェクタ、テレビ、プリンタ、パーソナルコンピュータ、ＰＤＡ、
携帯型電話機等の電子機器を用いて、或いはこれらの電子機器自体に実装して、適用でき
る。

また、以上の説明においては、画像処理装置１０の機能を実現するためのプログラムが
ＲＯＭ１２に予め格納されている場合について述べたが、この制御プログラムをＲＡＭ、
ＲＯＭ等の半導体記録媒体、ＦＤ、ＨＤ等の磁気記憶型記録媒体、ＣＤ、ＣＤＶ、ＬＤ、
ＤＶＤ等の光学的読取方式記録媒体、ＭＯ等の磁気記録型／光学的読取方式記録媒体に記
録することが可能であり、この記録媒体は、電子的、磁気的、光学的等の読み取り方法の
いかんにかかわらず、コンピュータで読み取り可能な記録媒体であれば、どのような記録
媒体であってもよい。そして、これらの記録媒体に記録された制御プログラムを画像処理
装置１０によって読み取って実行することにより、さらに、画像処理装置１０において、
インタフェース１４に通信インタフェースとしてのネットワークインタフェースを設け、
このネットワークインタフェースからネットワークを介して制御プログラムをダウンロー
ドして実行することにより、上述した機能を実現する構成としてもよい。

また、上記実施形態において、図１に示した構成は、主としてハードウェア構成により
、或いはハードウェアとソフトウェアとの協働により実現されるものであり、さらに図３
に示した構成は図１に示す各部により仮想的に実現されるものであればよく、画像処理装
置１０を構成する各部の具体的形態や物理的態様については任意である。その他、画像処
理装置１０を構成する各部の具体的な細部構成については、本発明の趣旨を逸脱しない範
囲において、任意に変更可能である。
例えば、上記実施の形態においては、顔認識処理を用いて各々の人物の撮影頻度を求め
、撮影頻度に基づいて画像を地図画像上に表示するようにしたが、撮影頻度を算出せず、
撮影日時を示す情報と、撮影場所を示す情報に基づいて、画像をグループに分類し、地図
画像にグループに対応するフォルダアイコンを表示するようにしてもよい。
また、画像数表示バーを表示せず、地図画像とともにフォルダアイコンのみを表示する
形態にしてもよいし、地図画像にフォルダアイコンを表示せず、画像数表示バーのみを表
示する形態としてもよい。

実施形態の画像処理装置の概要構成を示すブロック図である。 画像処理装置の動作の概要を示す図である。 画像処理装置の機能ブロック図である。 登録情報保持部に格納される情報の構成例を示す図である。 グループ情報格納部に格納される情報の構成例を示す図である。 画像処理装置の動作を示すフローチャートである。 画像処理装置の動作を示すフローチャートである。 画像処理装置の動作を示すフローチャートである。 画像処理装置の動作を示すフローチャートである。 撮影頻度の例を示す図である。 撮影頻度をグラフ化した例を示す図表である。 画像分類表示画面の一例を示す図である。 画像分類表示画面の別の例を示す図である。

符号の説明

１０…画像処理装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…インタフェ
ース、１５…バス、１６…入力装置、１７…出力装置、１８…補助記憶装置、２０…表示
画面、２１…画像取得部（画像取得手段）、２２…顔検出部、２３…顔認識部（認識手段
）、２４…タグ付け部、２５…撮影頻度算出部（撮影頻度算出手段）、２６…判定部（判
定手段、画像処理手段）、２７…グループ分類部（分類手段）、２８…表示部（表示手段
）、２９…画像削除処理部（削除手段）、３１…登録情報保持部、３２…画像格納部（認
識結果記憶手段）、３３…グループ情報格納部、４０、４６…画像分類表示画面、４１…
地図画像、４２、４７…フォルダアイコン（シンボル）、４３…画像数表示バー、４４…
フォルダ一覧表示部、４５…ファイル一覧表示部、５１、５２、５３、５４…タブ。

Claims (15)

1. 撮影画像の画像データを取得する画像取得手段と、
   予め登録されたオブジェクトの画像に基づき、前記画像取得手段により取得された画像
   データに対応する撮影画像に含まれるオブジェクトを認識する認識手段と、
   前記認識手段により認識されたオブジェクトを示すオブジェクト情報を前記画像データ
   に対応づけて記憶する認識結果記憶手段と、
   前記認識結果記憶手段に記憶されたオブジェクト情報をもとに、予め登録されたオブジ
   ェクトのそれぞれについて撮影頻度を算出する撮影頻度算出手段と、
   前記撮影頻度算出手段により算出された撮影頻度に基づいて、予め登録されたオブジェ
   クトのそれぞれと撮影者の関連を判定する判定手段と、
   前記画像取得手段により取得された画像データに対し、それぞれの画像データに対応す
   る撮影画像に含まれるオブジェクトについて前記判定手段により判定された撮影者との関
   連に基づき、表示態様を設定する画像処理手段と、
   前記画像処理手段により設定された表示態様に従って表示を行う表示手段と、
   を備えることを特徴とする画像処理装置。
2. 前記画像取得手段は、撮影画像の画像データとともに撮影日時を示す情報を取得し、
   前記撮影頻度算出手段は、複数の画像データに対応づけて前記認識結果記憶手段に記憶
   されたオブジェクト情報と、これら複数の画像データとともに前記画像取得手段によって
   取得された撮影日時を示す情報とをもとに、予め登録されたオブジェクトのそれぞれにつ
   いて複数の期間における撮影頻度を算出し、
   前記判定手段は、前記撮影頻度算出手段により算出された複数の期間における撮影頻度
   から撮影頻度の時間的な推移を求め、この撮影頻度の時間的な推移に基づいて、予め登録
   されたオブジェクトのそれぞれと撮影者の関連を判定すること、
   を特徴とする請求項１記載の画像処理装置。
3. 前記画像取得手段は、撮影画像の画像データと撮影日時を示す情報とともに、撮影場所
   を示す情報を取得するものであり、
   前記画像取得手段により取得された画像データを撮影場所毎のグループに分類する分類
   手段を備え、
   前記表示手段は、前記分類手段により分類されたそれぞれのグループに属する画像デー
   タに対して前記画像処理手段によって設定された表示態様に基づいて、グループ毎の表示
   態様を定め、このグループ毎の表示態様に従って表示を行うこと、
   を特徴とする請求項２記載の画像処理装置。
4. 前記表示手段は、前記分類手段により分類されたそれぞれのグループを表すシンボルと
   、それぞれのグループに属する画像データの撮影場所とを対応づけて表示させること、
   を特徴とする請求項３記載の画像処理装置。
5. 前記画像処理手段は、前記判定手段により撮影者との関連が小さいと判定されたオブジ
   ェクトの画像を含む撮影画像に対応する画像データを非表示設定し、
   前記表示手段は、前記画像取得手段により取得された画像データのうち、前記画像処理
   手段により非表示設定された画像データを除く画像データを表示画面上に表示すること、
   を特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 前記画像処理手段は、前記判定手段により撮影者との関連が小さいと判定されたオブジ
   ェクトの画像を含む撮影画像に対応する画像データを削除設定するものであり、
   前記画像取得手段により取得された画像データのうち、前記画像処理手段により削除設
   定された画像データを削除する削除手段をさらに備えること、
   を特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 撮影画像の画像データと前記撮影画像の撮影場所を示す情報とを取得する画像取得手段
   と、
   前記画像取得手段により取得された撮影場所を示す情報に基づいて、前記画像取得手段
   により取得された画像データを撮影場所毎のグループに分類する分類手段と、
   前記分類手段により分類されたそれぞれのグループを表すシンボルと、それぞれのグル
   ープに属する画像データの撮影場所とを対応づけて示す画像分類表示画面を表示させる表
   示手段と、
   を備えることを特徴とする画像処理装置。
8. 前記表示手段は、前記画像分類表示画面に、前記分類手段によって分類されたそれぞれ
   のグループを表すシンボルとともに、それぞれのグループに属する画像データの数を表示
   させること、
   を特徴とする請求項７記載の画像処理装置。
9. 前記表示手段は、前記画像分類表示画面に地図を表示させ、前記分類手段によって分類
   されたそれぞれのグループが対応する撮影場所を前記地図上の位置として表すこと、
   を特徴とする請求項７または８記載の画像処理装置。
10. 予め登録されたオブジェクトの画像に基づき、前記画像取得手段により取得された画像
    データを展開した画像中のオブジェクトを認識する認識手段と、
    前記認識手段により認識されたオブジェクトを示すオブジェクト情報を前記画像データ
    に対応づけて記憶する認識結果記憶手段と、を備え、
    前記表示手段は、予め登録されたオブジェクトのいずれかが指定された場合に、指定さ
    れたオブジェクトの画像を含む撮影画像に対応する画像データが属するグループのみを、
    前記画像分類表示画面に表示させること、
    を特徴とする請求項７から９のいずれかに記載の画像処理装置。
11. 請求項１から１０のいずれかに記載の画像処理装置を備えたことを特徴とする電子機器
    。
12. 撮影画像の画像データを取得する画像取得工程と、
    予め登録されたオブジェクトの画像に基づき、前記画像取得工程で取得された画像デー
    タに対応する撮影画像に含まれるオブジェクトを認識する認識工程と、
    前記認識工程で認識されたオブジェクトを示すオブジェクト情報を前記画像データに対
    応づけて記憶する認識結果記憶工程と、
    前記認識結果記憶工程で記憶されたオブジェクト情報をもとに、予め登録されたオブジ
    ェクトのそれぞれについて撮影頻度を算出する撮影頻度算出工程と、
    前記撮影頻度算出工程で算出された撮影頻度に基づいて、予め登録されたオブジェクト
    のそれぞれと撮影者の関連を判定する判定工程と、
    前記画像取得工程で取得された画像データに対し、それぞれの画像データに対応する撮
    影画像に含まれるオブジェクトについて前記判定工程で判定された撮影者との関連に基づ
    き、表示態様を設定する画像処理工程と、
    前記画像処理工程で設定された表示態様に従って表示を行う表示工程と、
    を含むことを特徴とする画像処理方法。
13. 撮影画像の画像データと前記撮影画像の撮影場所を示す情報とを取得する画像取得工程
    と、
    前記画像取得工程で取得された撮影場所を示す情報に基づいて、前記画像取得工程で取
    得された画像データを撮影場所毎のグループに分類する分類工程と、
    前記分類工程で分類されたそれぞれのグループを表すシンボルと、それぞれのグループ
    に属する画像データの撮影場所とを対応づけて示す画像分類表示画面を表示させる表示工
    程と、
    を含むことを特徴とする画像処理方法。
14. コンピュータを、
    撮影画像の画像データを取得する画像取得手段と、
    予め登録されたオブジェクトの画像に基づき、前記画像取得手段により取得された画像
    データに対応する撮影画像に含まれるオブジェクトを認識する認識手段と、
    前記認識手段により認識されたオブジェクトを示すオブジェクト情報を前記画像データ
    に対応づけて記憶させる認識結果記憶手段と、
    前記認識結果記憶手段によって記憶されたオブジェクト情報をもとに、予め登録された
    オブジェクトのそれぞれについて撮影頻度を算出する撮影頻度算出手段と、
    前記撮影頻度算出手段により算出された撮影頻度に基づいて、予め登録されたオブジェ
    クトのそれぞれと撮影者の関連を判定する判定手段と、
    前記画像取得手段により取得された画像データに対し、それぞれの画像データに対応す
    る撮影画像に含まれるオブジェクトについて前記判定手段により判定された撮影者との関
    連に基づき、表示態様を設定する画像処理手段と、
    前記画像処理手段により設定された表示態様に従って表示を行う表示手段と、
    して機能させることを特徴とするプログラム。
15. コンピュータを、
    撮影画像の画像データと前記撮影画像の撮影場所を示す情報とを取得する画像取得手段
    と、
    前記画像取得手段により取得された撮影場所を示す情報に基づいて、前記画像取得手段
    により取得された画像データを撮影場所毎のグループに分類する分類手段と、
    前記分類手段により分類されたそれぞれのグループを表すシンボルと、それぞれのグル
    ープに属する画像データの撮影場所とを対応づけて示す画像分類表示画面を表示させる表
    示手段と、
    して機能させることを特徴とするプログラム。