JP2010199771A - 画像表示装置、画像表示方法、およびプログラム - Google Patents

Abstract

【課題】コミュニケーションを促すような変化に富んだ画像を再生表示することのできる画像表示装置、画像表示方法、およびプログラムを提供する。
【解決手段】撮影画像を記憶する記録部４と、撮影画像から顔を検出することによって人物が映っている画像を検出する顔検出部と、人物が映っている画像から、顔の下のパターンと色を判定することによって服の部分を判定するパターン・色判定部１ｆと、着せ替えマーク２２ａをタッチした際に、上記人物と同一人物について、異なる服装を着用している判定された画像を検索する画像検索部１ｄと、検索された写真画像２２ｄを表示する表示部８ａを有する。
【選択図】 図４

Description

本発明は、画像表示装置、画像表示方法、およびプログラムに関し、詳しくは、撮影装置によって撮影された画像データを再生表示する画像表示装置、画像表示方法、およびプログラムに関する。

近年、メモリの大容量化や低価格化が進み、カメラ等の撮影装置内にこれを内蔵して、ここに大量の画像データを保存することが可能となっている。また、カメラ等の背面に設けられている液晶などの表示パネルも大型画面化が進み、保存された画像を表示パネルに表示して鑑賞することが行われている。カメラ等の撮影装置以外にも、パーソナルコンピュータや、撮影装置等と接続したテレビに保存された画像を表示し、みんなで画像を見て楽しむことも増えている。

表示パネル等で画像を表示するにあたって、大量の画像の中から目的とする画像を探すのは大変である。そこで、画像分類を容易にできるようにした画像表示装置が種々提案されている。例えば、特許文献１には、画像データに、撮影日時、撮影姿勢、撮影場所、撮影者等の付帯情報と一緒に記録し、この付帯情報を用いて、画像を整理保存し、分類検索することにより目的とする画像を鑑賞できるようにした画像表示装置が開示されている。

特許３５２８２１４号公報

特許文献１に開示の画像表示装置は、撮影時に一緒に記録された付帯情報を用いて論理的に検索を行うものであって、鑑賞時にコミュニケーションを促すような変化に富んだ画像を再生するものではない。つまり、鑑賞者にとっては、付帯情報から想像される画像しか表示するだけであって、飽きることなく楽しむものではなかった。

本発明は、このような事情を鑑みてなされたものであり、コミュニケーションを促すような変化に富んだ画像を再生表示することのできる画像表示装置、画像表示方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係わる画像表示装置は、撮影画像内の顔画像を検知する顔検知部と、上記撮影画像を、上記顔画像のパターンと、上記顔画像の下部の色と、または顔画像の下部のパターンで分類分けする分類部と、上記分類部による分類分けに従って、複数の上記撮影画像を順次表示する表示制御部と、を有する。

第２の発明に係わる画像表示装置は、上記第１の発明において、上記顔検知部は、上記顔画像の大きさと位置と数を検知可能であり、上記表示制御部は、上記顔画像の大きさ、数に従って、優先して表示する画像を決定する。

第３の発明に係わる画像表示装置は、上記第１の発明において、第１の所定条件でまとめられた、複数の画像群を跨いで検索できるように、上記第１の所定条件とは異なる第２の所定条件が共通で、かつ第３の所定条件が異なる画像を検索する検索手段を有する。
第４の発明に係わる画像表示装置は、上記第３の発明において、上記第１の所定条件は、撮影日時によるイベント判定条件であり、上記第２の所定条件は、画像の中に写っている人物であり、上記第３の所定条件は、上記人物の服装である
である。

第５の発明に係わる画像表示装置は、撮影画像を記憶する記憶部と、上記撮影画像から人物が写っている画像を抽出する人物画像抽出部と、上記人物画像抽出部によって抽出された人物が写っている画像から、服装部分を判定する服装判定部と、上記人物画像抽出部によって抽出された同一人物について、上記服装判定部によって異なる服装を着用している判定された画像を検索する検索部と、上記検索部によって検索された画像を表示する表示部と、を有する。

第６の発明に係わる画像表示装置は、上記第５の発明において、上記人物画像抽出部は、顔検出部を有し、この顔検出部によって顔を検出することによって人物を抽出する。

第７の発明に係わる画像表示装置は、上記第６の発明において、上記服装判定部は、上記人物の顔の下の部分の色及び／又はパターンを検出し、この検出結果に基づいて判定する。
第８の発明に係わる画像表示装置は、上記第６の発明において、上記検索部は、上記顔検出部によって検出された顔の数、顔の大きさ、顔の配置の少なくとも一つを考慮して、表示する優先順位を決める。

第９の発明に係わる画像表示装置は、上記第５の発明において、上記表示部は、上記記憶部に記憶されている画像について、撮影日時によってイベント別に分類し、この分類ごとに上記画像をまとめたアルバムを表示する。
第１０の発明に係わる画像表示装置は、上記第９の発明において、上記検索部は、上記同一人物で異なる服装を着用している画像を検索するにあたって、上記異なるアルバムに属する画像についても検索する。

第１１の発明に係わる画像表示方法は、撮影画像内の顔画像を検知し、上記撮影画像を、上記顔画像のパターンと、上記顔画像の下部の色と、または顔画像の下部のパターンで分類分けし、上記分類分けに従って、複数の上記撮影画像を順次表示する。
第１２の発明に係わる画像表示方法は、記憶されている撮影画像から人物が指定されたことを判定し、上記指定された人物が写っている画像から、服装部分を判定し、上記指定された人物と同じ人物について、異なる服装を着用している画像を検索し、上記検索された画像を表示する。

第１３の発明に係わるプログラムは、撮影画像内の顔画像を検知し、上記撮影画像を、上記顔画像のパターンと、上記顔画像の下部の色と、または顔画像の下部のパターンで分類分けし、上記分類分けに従って、複数の上記撮影画像を順次表示する、ことをコンピュータに実行させる。
第１４の発明に係わるプログラムは、記憶されている撮影画像から人物が指定されたことを判定し、上記指定された人物が写っている画像から、服装部分を判定し、上記指定された人物と同じ人物について、異なる服装を着用している画像を検索し、上記検索された画像を表示する。

本発明によれば、コミュニケーションを促すような変化に富んだ画像を再生表示することのできる画像表示装置および画像表示方法を提供することができる。

本発明の一実施形態に係わるカメラにおける電気回路を示すブロック図である。 本発明の一実施形態に係るカメラにおいて撮影された多数の画像の様子を示す図である。 本発明の一実施形態に係わるカメラにおいて撮影された画像から目的とする画像を抽出した様子を示す図である。 本発明の一実施形態に係わるカメラにおいて保存された画像の中から画像を検索して表示する状態を示す図である。 本発明の一実施形態に係わるカメラにおいて保存された画像の中から画像を検索して表示する状態を示す図である。 本発明の一実施形態におけるカメラにおけるカメラ制御の動作を示すフローチャートである。 本発明の一実施形態におけるカメラにおける画像分類の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおいて、画像分類を行うにあたって使用する関連情報を説明する図である。 本発明の一実施形態におけるカメラにおけるアルバム再生の動作を示すフローチャートである。 本発明の一実施形態におけるカメラにおけるイベント判定の動作を示すフローチャートである。 本発明の一実施形態において、イベントの分類について説明する図である。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の一実施形態に係わるカメラ１０の電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、画像処理及び制御部１、撮像部２、顔検出部３、記録部４、操作判定部６、ＧＰＳ７、表示部８ａ、タッチパネル８ｂ、時計部９、通信部１２等から構成される。

撮像部２は、撮像素子、撮影レンズ２、シャッタ等の露出制御部、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換する。顔検出部３は、撮像部２から画像データを入力し、被写体像の中に顔の像が含まれているか否かを検出する。

画像処理及び制御部１は、記憶されているプログラムに従ってカメラ１０全体のシーケンスを制御する。また、撮像部２から出力される画像信号を取り込み、間引き処理、エッジ強調、色補正、画像圧縮、動画処理、コントラスト調整、ホワイトバランス等の種々の画像処理を行い、またライブビュー表示、記録部４への記録、再生表示等の画像処理を行う。画像処理及び制御部１内には、顔特徴抽出部１ｂ、顔位置・大きさ判定部１ｃ、画像検索部１ｄ、画像分類部１ｅ、顔の下のパターン・色判定部１ｆ、および表示制御部８を含んでいる。

顔位置・大きさ判定部１ｃは、顔検出部３によって顔の像が含まれていることが検出された場合に、その顔の位置と大きさを判定する。顔特徴抽出部１ｂは、目鼻や口の位置等から顔の特徴を抽出する。抽出された顔の特徴を用いて、登録されている人と同じか否かを判定することができる。顔の下のパターン・色判定部１ｆは、顔位置・大きさ判定部１ｃによって顔の位置が検出されると、顔の下の服装のパターン、例えば、縦縞模様、黒丸模様等と、顔の下の服装の色、例えば、赤、青、黄色等を判定する。

画像分類部１ｅは、スナップ写真、ポートレート写真、風景写真等に画像を分類する。画像検索部１ｅは、後述する関連情報部４ｂに記録されている関連情報を用いて、画像の検索を行う。関連情報としては、画像分類、撮影日時、顔の下のパターン・色の情報等が含まれる。表示制御部８は、撮影時には撮像部２からの画像信号に基づいてライブビュー表示の制御を行い、再生モード時には記録部４に記録されている画像の再生制御を行う。また、タッチパネル８ｂでのタッチ操作に応じて、表示の切り替えを行う。

記録部４は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理及び制御部１によって画像処理された画像データを記録する。また、画像データを記録するにあたって、撮影日時等の情報と関連付けられ、この関連情報を記憶する。また、記録部４内には、関連情報部４ｂが設けられており、記録部４に記録される画像データに関連付けて、撮影日時、画像分類、顔の数、顔の位置、顔の下の服装の色、服装のパターン等の情報が記憶される。この関連情報については、図８を用いて後述する。

操作判定部６は、レリーズ釦、パワースイッチ、再生モード釦、サムネイル釦、送り釦、戻し釦、アルバム釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、画像処理及び制御部１に判定結果を送る。画像処理及び制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。ＧＰＳ７は、全地球測位システム（Global Positioning System）であり、撮影時の位置を測定し、この測定結果を関連情報として関連情報部４ｂに記憶する。

表示部８ａは、液晶パネル等を含み、撮影前のライブビュー表示や、記録された撮影画像の再生表示を行う。また表示部８ａの前面には、タッチパネル８ｂが設けられており、撮影者等によるタッチ位置等の情報は、画像処理及び制御部１に送られる。タッチパネル８ｂにおけるタッチ位置は、画像処理及び制御部１において判定される。後述するように、再生表示時に着せ替えモードをタッチすると、同一人物で服装の異なる画像が順次表示される。

時計部９は、カレンダー機能や時計機能を有し、前述したように撮影時には撮影日時情報を出力する。撮影日時情報は、画像整理や画像検索の際に利用できる。通信部１２は、デジタル信号に変換された画像データを、テレビやパーソナルコンピュータ等の外部機器に送信する。通信手段としては、有線通信でも、赤外線や電波等を使用した無線通信でも良い。

次に、本実施形態に係わるカメラの電子アルバムの機能について、図２ないし図５を用いて説明する。記録部４には、多数の画像データが記録されており、この画像データに様々なイベントごとに画像分類情報が一緒に関連情報として記録されている。この画像分類については、詳しくは、図７および図８を用いて、またイベントについては図１０および図１１を用いて後述する。図２（ａ）〜（ｄ）に、イベントごとに画像分類された画像群を示す。このように画像分類によってグループ化された画像は、あたかも昔ながらのアルバムを見る感じで観賞することもできるが、本実施形態においては、デジタル画像の特徴を生かして、画像群を飛び越えた鑑賞を可能としている。

本実施形態においては、イベントごとの各グループに興味のない写真が多数ある場合には、ダイジェストで画像を見ることができるようにしている。例えば、自分の写っている写真だけを見たい場合や、見せたい場合があり、この場合には、図３（ａ）〜（ｄ）に示すように、自分が写っている写真を抽出し、これらを再生表示することを可能としている。特に女性ユーザの場合には、どんな服を着ていたかに興味があり、服装の異なる写真を見たくなったり、見せたい場合がある。

そこで、本実施形態においては、人物を指定すると、着せ替え感覚で同一人物（自分自身の場合も含む）について服装だけが異なる写真集のようなものを簡単に作成できるようにし、写真を撮る楽しみを増加させている。また、この写真集を見ていると、そのときのイベントの写真を見てみたくなる場合もあり、その場合には、そのイベントの写真も鑑賞できるようにしている。意識しない何気ない検索も可能としている。つまり、自分が参加したイベントを検索するにも利用することができる。また、興味ある人物の服装が変わっていくので、写真集の画像が変化に富み、また服装の違いによって様々シーンを楽しむことができる。

図４および図５は、前述した着せ替え感覚で写真を楽しむ場合の電子アルバムの表示状態を示す。図４（ａ）は、再生時にアルバム再生モードに設定された場合において、表示部８ａに各イベントの電子アルバムが配架されている様子を示している。図４（ａ）に示す例では、２００８年８月のアルバム２１ａと、２００８年９月のアルバム２１ｂと、２００８年の運動会のアルバム２１ｃが、配架されている。この状態で、鑑賞したいと思うアルバムを、ユーザがタッチすると、タッチパネル８ｂによってタッチ位置を検出することができる。この選択されたアルバム２１が、表示部８ａに、図４（ｂ）に示すように、あたかも開かれるような感じの遷移効果を表示してから、図４（ｃ）に示すように、写真画像２２ｄを表示する。

この状態で、写真画像２２ｄの人物と同一人物が写っている写真で、服装が異なる写真を検索して表示する着せ替え表示を行いたい場合には、着せ替えマーク２２ａを指１１ａでタッチすれば良い。タッチすると、図５（ａ）に示すように、アルバム２１があたかも開かれるような感じ、あるいはアルバム２１が選択し直されるような遷移効果を表示してから、図５（ｂ）に示すように、同一人物であって異なる服装の写真画像２２ｅが検索され表示される。写真画像２２ｄ、２２ｅは、同一人物ながら服装が異なることから、あたかも着せ替えが行われたような効果がある。この状態で、再度、着せ替えマーク２２ａをタッチすると、図３に示したように、タッチするたびに別の服装の同一人物の写真画像が表示される。

着せ替え表示を行っている際に、図４（ｃ）に示した、着せ替え表示に入る画面に戻りたい場合には、表示部８ａの右上に表示される戻りマーク２２ｂをタッチすれば良い。また、図５（ｂ）の状態で、同じイベントの中の写真画像を見たい場合には、表示部８ａ中に表示される送り釦マーク２２ｈ、または戻し釦マーク２２ｇをタッチすれば、タッチに応じて、図５（ｃ）に示すように、写真画像２２ｆが表示される。送り釦マーク２２ｈや戻し釦マーク２２ｇをタッチすることによって、着せ替えモードから通常のアルバムモードに切り替わるので、気づかないうちに、見たいアルバムを探しあてたような効果となる。送り釦マーク２２ｈまたは戻し釦マーク２２ｇをタッチすることにより着せ替えモードが終わり、通常のアルバムモードになるとアルバムマーク２２ｃが表示される。

このように、本実施形態においては、通常の電子アルバムモードにおいて、着せ替えマーク２２ａに操作することにより、そのとき表示されている写真画像の同一人物について、服装の異なる写真を検索して表示する着せ替えモードに切り替わるので、同一人物でありながら、変化に富んだ画像を楽しむことができる。また、着せ替えモード中に、送り釦マーク２２ｈや戻し釦マーク２２ｇを操作することにより、通常の電子アルバムモードに代わり、そのイベント中の写真画像を鑑賞することができる。このため、思いがけないような画像の再会を楽しむこともできる。

次に、前述したような電子アルバムを楽しむことのできるカメラ１０の動作について、図６ないし図１１を用いて説明する。図６に示すカメラ制御のフローに入ると、まず、電源がオンか否かの判定を行う（Ｓ１００）。このステップでは、カメラ１０の操作部材としてのパワースイッチがオンか否かを操作判定部６によって判定し、パワースイッチがオフの場合には、カメラ制御のフローを終了する。なお、カメラ制御のフローを終了しても、パワースイッチの状態を検知しており、パワースイッチがオンとなると、ステップＳ１００から動作を開始する。

ステップＳ１００における判定の結果、電源がオンであった場合には、次に、撮影モードか否かの判定を行う（Ｓ１０１）。この判定の結果、撮影モードであった場合には、次に、顔検出を行う（Ｓ１０２）。ここでは、撮像部２からの画像データに基づいて、顔検出部３によって顔が含まれているか否かの判定を行う。続いて、露出演算を行う（Ｓ１０３）。ここでは、ステップＳ１０２において検出した顔の部分に対して、撮像部２によって取得した画像データを用いて、適正露光となるシャッタ速度や絞り値等の演算を行う。また、画像データのコントラスト信号に基づいて、顔の部分にピントが合うように焦点調節も行う。

露出演算を行うと、次に、ライブビュー表示を行う（Ｓ１０４）。ここでは、撮像部２によって取得された画像データに基づいて、表示部８に毎秒３０コマ程度で被写体像をライブビュー表示する。ユーザは、ライブビュー表示に基づいて、構図を決めたり、シャッタチャンスを決定し、レリーズ動作を行うことができる。

ライブビュー表示を行うと、次に、レリーズを行うか否かの判定を行う（Ｓ１０５）。ここでは、レリーズ釦が操作されたか否かを操作判定部６によって判定する。この判定の結果、レリーズでなかった場合には、ステップＳ１００に戻る。一方、ステップＳ１０５における判定の結果、レリーズであった場合には、次に、撮影・記録を行う（Ｓ１３１）。この撮影・記録においては、撮像部２によって取得された画像データを、画像処理及び制御部１によって画像処理し、この画像処理された画像データを、記録部４に記録する。

撮影・記録を行うと、次に、画像分類を行う（Ｓ１３２）。ここでは、撮影画像をスナップ、ポートレート、風景等の撮影主題ごとに分類し、また、撮影画像中の顔の数、位置、大きさ、特徴等を検出し、顔を検出した場合には、顔の下の色やパターン等、種々の情報を得られるよう、画像分類を行う。この画像分類のサブルーチンについては、図７を用いて後述する。画像分類を行うと、この分類結果の記録を行う（Ｓ１３３）。ステップＳ１３１において画像データを記録するが、ステップＳ１３３は、記録された画像データに関連付けて、後述する図８（ａ）に示すような表形式で関連情報部４ｂに記録する。また、このステップでは、上述の情報以外にもＧＰＳ７によって検出した撮影位置情報等の関連情報も記録する。分類結果の記録を行うと、ステップＳ１００に戻る。

ステップＳ１０１における判定の結果、撮影モードでなかった場合には、再生モードか否かの判定を行う（Ｓ１１１）。この判定の結果、再生モードでなかった場合には、ステップＳ１００に戻る。一方、再生モードであった場合には、最終撮影画像の再生を行う（Ｓ１２１）。ここでは、直近に撮影された画像を、表示部８ａに再生表示する。

最終撮影画像を再生表示すると、次に、操作されたか否かの判定を行う（Ｓ１２２）。ここでは、操作判定部６によって、再生表示されている画像の送り釦または戻し釦の操作、またはサムネイル表示するためのサムネイル釦がなされたか否かを判定する。この判定の結果、これらの操作が行われていなかった場合には、ステップＳ１００に戻る。一方、操作が行われていた場合には、次に、操作されていたのが、サムネイル釦であったか否かの判定を行う（Ｓ１２４）。

ステップＳ１２４における判定の結果、サムネイル釦が操作されていた場合には、サムネイル表示を行う（Ｓ１２５）。サムネイル表示は、記録部４に記録されている複数の撮影画像を一覧形式で表示部８ａに表示する形式である。サムネイル表示すると、サムネイル表示の中から画像が選択されたか否かの判定を行う（Ｓ１２６）。ユーザがサムネイル表示の中から拡大して見たい画像を、タッチパネル８ｂをタッチする等によって選択するので、このステップではタッチパネル８ｂ上でのタッチ状態に基づいて選択がなされたか否かの判定を行う。

ステップＳ１２６における判定の結果、選択されていなかった場合には、ステップＳ１２２に戻る。一方、判定の結果、選択されていた場合には、選択された画像を表示部８ａに拡大表示する（Ｓ１２７）。選択画像を拡大表示すると、ステップＳ１２２に戻る。

ステップＳ１２４における判定の結果、サムネイル釦が操作されていなかった場合には、アルバムモードであるか否かの判定を行う（Ｓ１２８）。このステップでは、操作判定部６によってユーザがアルバム釦を操作したか否かを判定する。この判定の結果、アルバムモードでなかった場合には、画像の送り釦または戻し釦の操作に応じた次の画像を記録部４から読み出し、表示部８ａに表示する（Ｓ１２９）。次の画像を表示すると、ステップＳ１２２に戻る。

ステップＳ１２８における判定の結果、アルバムモードであった場合には、アルバム再生を行う（Ｓ１３０）。ここでは、前述の図４（ａ）〜（ｃ）、図５（ａ）〜（ｃ）を用いて説明したアルバムモードでの再生表示を行う。アルバム再生のサブルーチンについては、図９を用いて後述する。アルバム再生を行うと、ステップＳ１００に戻る。

次に、ステップＳ１３２における画像分類のサブルーチンについて、図７および図８を用いて説明する。本実施形態においては、ステップＳ１３０におけるアルバム表示を行うにあたって、スナップ写真やポートレート写真の中から同一人物で異なる服装の写真を検索している。この検索を容易にするために、画像分類部１ｅにおいて、撮影画像について画像分類を行っている。画像分類は、主に撮影時に得られた画像データとその他の情報に基づいて、図８に示すような形式で、各画像と表形式で関連付け、その結果を関連情報部４ｂに記録している。撮影時に画像データと共に記録しておくことにより、再生時に検索を迅速に行うことができる。もちろん、撮影時に限らず、再生時に行うようにしても構わない。

図７に示す画像分類のサブルーチンでは、顔検出部３による顔検出結果に基づいて画像に顔の部分が含まれるか否か、顔の大きさや数、顔の特徴などの情報に従って、人物が全身で背景も多く含むスナップ写真、顔の表情を中心としたポートレート写真に分類している。また、撮像部２からの画像データを用いて画像の色情報や彩度情報、またピント合わせの信号等を利用し、花の写真、小物の写真、ペットの写真、風景写真等に判定している。

図７に示す画像分類のサブルーチンに入ると、まず、画像の中に顔があるか否かの判定を行う（Ｓ３０１）。この判定は、顔検出部３によって行う。この判定の結果、顔が存在した場合には、次に、中央の人の顔の下の部分の色や、パターンを判定して記録する（Ｓ３０２）。顔の下の部分の色を見ているのは、服装の色として検出するためであり、また、服装のパターンも検出して、これらの情報を関連情報部４ｂに記録する。

次に、顔の大きさが大か否かの判定を行う（Ｓ３０３）。この判定の結果、所定の大きさより大きかった場合にはポートレート写真とし（Ｓ３０５）、一方、所定の大きさよりも小さかった場合には、スナップ写真と判定する（Ｓ３０４）。したがって、ステップＳ３０３における判定値は、分類分けを行うに相応しい値とする。

ステップＳ３０４、Ｓ３０５において分類分けを行うと、次に、顔の数、位置、大きさ、特徴を検出し、判定する（Ｓ３０６）。ここでは、顔位置・大きさ判定部１ｃによる判定結果に基づいて、顔の数、位置、大きさを検出する。また、顔特徴抽出部１ｂによって、顔の特徴を抽出する。家族や友人等、撮影の可能性のある人物顔の特徴は、例えば、Ｐ−Ａ、Ｐ−Ｂのように、予め顔特徴抽出部１ｂに登録しておき、この登録された顔の特徴と一致するか否かを判定する。これら検出された結果は、関連情報部４ｂに記録される。

ステップＳ３０１における判定の結果、顔がなかった場合には、次に、主要色の判定を行う（Ｓ３１０）ここでは、画面中央等において、画面の主要な色を判定する。続いて、遠距離か否かの判定を行う（Ｓ３１１）。この判定は、撮像部２でピント合わせを行った際のピント位置に基づいて行う。この判定の結果、遠距離にあった場合には、画像は風景写真と判定する（Ｓ３１７）。

ステップＳ３１１における判定の結果、遠距離でなかった場合には、次に、至近側か否かの判定を行う（Ｓ３１２）。この判定も、撮像部２においてピント合わせを行った際のピント位置に基づいて、近距離側のマクロ領域での撮影か否かを判定する。この判定の結果、至近側領域での撮影でなかった場合には、ペットの写真と判定する（Ｓ３１６）。この場合は、遠距離でもなく至近距離でもなく、種々の写真が含まれる可能性があるが、ここではペットと分類する。ペットの写真を探す場合には、この分類で検索することにより、迅速に探し出すことができる。

ステップＳ３１２における判定の結果、至近側であった場合には、次に、彩度が高いか否かの判定を行う（Ｓ３１３）。ここでは、画像データの彩度を判定し、所定値より高い場合には、画像を花の写真と判定し（Ｓ３１４）、所定値より彩度が低かった場合には、画像を小物と判定する（Ｓ３１５）。一般に、花の方が小物に比較し、彩度が高いからである。

図８（ａ）は、画像分類のフローにおいて分類され、関連情報部４ｂに記録された情報の一例を示す。また、図８（ｂ）は、画面の分割例を示し、本実施形態においては、領域Ａ１〜Ａ９の９分割である。また各領域Ａ１〜Ａ９では、顔の大きさをＤ１〜Ｄ３の３段階に分けている。図中、画像１は、スナップ写真であり、顔の数が２つあり、領域Ａ４に登録済みの人物Ｐ−Ａが顔の大きさＤ２で写っており、領域Ａ６には不明の人物Ｐ−Ｘが顔の大きさＤ３で写っている。また、顔の下の色は青色であり、服装のパターンは縦白縞模様であり、撮影日時は９月１５日である。画像１には、２人が写っているが、顔の大きい人（ここでは、Ｐ−Ａ）の顔の下の色とパターンを検出するようにしている。

画像２〜画像５にも画像に関連付けて情報が、図８（ａ）に示すように、記録されている。画像２には、人物が３人写っており、いずれも顔の大きさはＤ３で同じ大きさである。この場合には、まん中の人物の顔の下の色とパターンを検出して記録する。また画像５には、人物が２人写っており、いずれも顔の大きさはＤ２で同じ大きさである。この場合には、優劣が付けられないので、顔の下の色とパターンは両者を記録する。画像５の例では、一人は顔の下に白色で黒丸のパターンの服を着ており、他の一人は顔の下に白色でパターンなしの服を着ている。なお、人物Ｐ−Ａ、Ｐ−Ｂ、Ｐ−Ｘ等は、顔特徴抽出部１ｂによって判定される。ここで、Ｐ−Ａ、Ｐ−Ｂは家族、友人等、予め登録されている人物であり、Ｐ−Ｘは登録人物ではない場合に付与される。

このような画像分類しておくと、画像検索を迅速かつ効率的に行うことができる。例えば、顔画像を探す場合には、Ｓ３１４〜Ｓ３１7において分類された画像は、検索対象外とすることができ、検索を迅速かつ効率化することができる。また、顔特徴抽出部１ｂによってＰ−Ａ、Ｐ−Ｂ等、人物を区別して記録し、さらに、顔の下の部分、すなわち、服装の部分について、色やパターンを画像ごとに記録するようにしているので、同一人物について、異なった服装をしている画像を、迅速かつ効率的に検索することができる。

次に、ステップＳ１３０のアルバム再生のサブルーチンについて、図９を用いて説明する。アルバム再生のサブルーチンに入ると、まず、イベント判定を行う（Ｓ１５１）。イベント判定では、時計部９によって取得した撮影日時情報を利用して、所定期間中に撮影された画像でグループ化してアルバムとして取り扱えるようにする。このイベント判定のサブルーチンについては、図１０を用いて後述する。

イベント判定が終わると、次に、アルバム背表紙の表示を行う（Ｓ１５２）。ここでは、図４（ａ）に示したように、擬似的な本棚を表示し、そこにアルバム２１ａ〜２１ｃを配架した様子を表示部８ａに表示する。アルバムの背表紙を表示すると、次に、アルバム２１ａ〜アルバム２１ｃのいずれかが選択されたかを判定する（Ｓ１５３）。ここでは、ユーザがアルバム２１ａ〜２１ｃのいずれをタッチしたか判定を行う。

ステップＳ１５３における判定の結果、アルバム２１ａ〜アルバム２１ｃのいずれも選択されていなかった場合には、アルバムモードを終了するか否かの判定を行う（Ｓ１５４）。ここでは、アルバム釦を、再度、操作したか否かの判定を行う。この判定の結果、アルバム釦が操作されていなかった場合には、ステップＳ１５３に戻り、一方、アルバム釦が操作されていた場合には、アルバム再生のフローを終了し、元のフローに戻る。

ステップＳ１５３における判定の結果、アルバム２１ａ〜２１ｃのいずれかを選択した場合には、次に、開くような遷移効果を表示した後、選択されたアルバム中の写真画像を表示する（Ｓ１６１）。ここでは、図４（ｂ）に示したようなアルバムの開き動作を表示し、その後、図４（ｃ）に示すように写真画像２２ｄを表示する。続いて、一人画像または一人が指定されたか否かを判定する（Ｓ１６３）。ここでは、写真画像２２ｄの写っている人物が一人か、または写真画像２２ｄ中の人物の一人をユーザの指１１ａでタッチされたか否かを判定する。写っている人が一人か否かは、図８（ａ）に示した画像分類中の顔の数を判定することにより行う。

ステップＳ１６３における判定の結果、一人画像または指定のためのタッチがなされていた場合には、着せ替えモードか否かの判定を行う（Ｓ１６４）。ここでは、図４（ｃ）において説明したように、ユーザの指１１ａが着せ替えマーク２２ａをタッチしたか否かの判定を行う。この判定の結果、着せ替えモードではなかった場合には、またはステップＳ１６３における判定の結果、一人画像でも指定のためのタッチがなされていなかった場合には、次に、めくりを行うか否かの判定を行う（Ｓ１６５）。ここでは、送り釦マーク２２ｈまたは戻し釦マーク２２ｇのいずれかがタッチされたか否かの判定を行う。

ステップＳ１６５における判定の結果、めくりがなされていなかった場合には、ステップＳ１５３に戻る。一方、判定の結果、めくりがなされていた場合には、ステップＳ１５３において選択されたアルバム中に、次画像があるか否かの判定を行う（Ｓ１６６）。ここでは、アルバム中に、送り釦マーク２２ｈまたは戻し釦マーク２２ｇに対応する画像が有るか否かの判定である。この判定の結果、次画像がなかった場合には、警告表示を行い（Ｓ１６７）、ステップＳ１５３に戻る。一方、判定の結果、次画像があった場合には、その次画像を表示し（Ｓ１６８）、ステップＳ１６１に戻る。

ステップＳ１６４における判定の結果、着せ替えモードであった場合には、類似顔パターン画像検索を行う（Ｓ１７１）。ここでは、ステップＳ１６３において判定された一人画像、またはタッチによって指定された人物と同一人物の可能性の高い類似顔パターン画像を検索する。検索対象の画像は、選択された画像の属するアルバムに限らず、全画像を対象とする。もちろん、予めアルバム数を限定するように指定するようにしても良い。この検索は、図８（ａ）のＰ−Ａ、Ｐ−Ｂ、・・・を用いて行うが、これに限らず、画像中の顔画像を直接使用してパターン認識によって検索しても良い。

類似顔パターン画像を検索すると、次に、検索された類似顔の画像の中で、顔の下の色やパターンが異なるものを検索し、重なりをなくして候補化する（Ｓ１７２）。ここでは、同一人物の可能性の高い画像でも、服装が異なる写真画像を探すために、顔の下の色やパターンが異なるものを検索する。検索にあたっては、図８（ａ）に示した顔の下の色とパターンに関する関連情報を用いる。ステップＳ１７１およびＳ１７２における検索にあたっては、なるべく一人で写っている画像を優先し、また、一人であっても、人物が小さくて良く見えない画像や、アップで服装がよく分からない画像は優先度を下げ、スナップ写真のような所定の大きさの画像を優先する。ここでは、１枚だけではなく、いくつかのアルバムにまたがって複数の候補を選択するようにする。

次に、ステップＳ１７２における候補の画像が有ったか否かの判定を行う（Ｓ１７３）。この判定の結果、候補画像がなかった場合には、警告表示を行い（Ｓ１７９）、ステップＳ１６３に戻る。この場合には、着せ替えモードによる同一人物の異なる服装を表示できないからである。

ステップＳ１７３における判定の結果、候補画像があった場合には、次に、その中で古い画像を選択し、図５（ａ）に示したのと同様に、アルバムを開くように遷移効果で表示した後に、図５（ｂ）に示しように、画像を表示する。なお、ここでは古い画像から表示するようにしているが、逆に新しい画像から表示するようにしても良い。

次に、次の着せ替えを行うか否かの判定を行う（Ｓ１７５）。ここでは、着せ替えマーク２２ａを、再度、タッチされたか否かの判定を行う。この判定の結果、次の着せ替えを行う場合には、ステップＳ１７２において候補化された画像の中で、次に古い画像を選択する。次候補を選択すると、ステップＳ１７３に戻り、ステップＳ１７４において表示する。したがって、着せ替えマーク２２ａがタッチされるたびに、ステップＳ１７５→Ｓ１７６→Ｓ１７３→Ｓ１７４が繰り返され、同一人物で異なる服を着た画像が次々に表示される。

ステップＳ１７５における判定の結果、次の着せ替えがなかった場合には、次に、戻るか否かの判定を行う（Ｓ１７７）。ここでは、図５（ｂ）に示すような戻りマーク２２ｂがタッチされたかを判定する。この判定の結果、戻る場合には、前の画像を開くような遷移効果の後、表示を行い（Ｓ１７８）、ステップＳ１６３に戻る。戻りマーク２２ｂをタッチすることにより、検索時の元になった画像に戻ることができる。

ステップＳ１７７における判定の結果、戻るのではなかった場合には、次に続きをみるか否かの判定を行う（Ｓ１８２）。ここでは、たまたま検索された着せ替えの画像から、その写真が撮られた別のイベントの写真を見たい場合には、ユーザは送り釦マーク２２ｈまたは戻し釦マーク２２ｇを操作するので、ステップＳ１６５におけるめくり動作と同様に次画像を表示する。そこで、ステップＳ１８２における判定の結果、これらの操作がなされた場合には、前のアルバムは書架に戻し（Ｓ１８４）、ステップＳ１６６に進む。なお、前のアルバムを書架に戻す際に、着せ替えモードを終了したことを示すために、アルバムマーク２２ｃが表示される。

ステップＳ１８２における判定の結果、続きを見るのではなかった場合には、次に、アルバム再生を終了するか否かの判定を行う（Ｓ１８３）。ここでは、ステップＳ１５４と同様、アルバム釦を再度、操作されたか否かの判定を行う。この判定の結果、終了でなかった場合には、ステップＳ１７３に戻り、一方、終了の場合には、アルバム再生のフローを終了し、元のフローにリターンする。

このように、アルバム再生のフローでは、同一人物で異なる服装の写真を次々と表示できることから、変化に富み、楽しんで鑑賞することができる。また、次々と写真を表示される中で、気になる写真があれば、その写真が入っているアルバムを鑑賞することもできる。本実施形態における画面表示操作は、古くから親しまれてきた紙のアルバムと同様の操作感で楽しむと同時に、デジタル画像のメリットを活かして、個々の画像を装飾する小画像も表示でき、なおかつ、選択することにより、興味ある画像だけを鑑賞することができる。

次に、ステップＳ１５１のイベント判定のサブルーチンについて、図１０および図１１を用いて説明する。イベント判定は、記録部４に記録されている画像群をイベントごとにグループ化するものであり、具体的には、図４（ａ）に示すアルバム２１ａ〜２１ｃを作成する作業である。本実施形態においては、再生モード中の図９に示すアルバム再生を実行する際にイベント判定を行っているが、再生モード実行時以外の空き時間を利用してイベント判定を行うようにしても良い。

イベント判定のフロー自体を説明する前に、図１１を用いて、イベント判定のやり方について説明する。図１１は、時間帯ごとに撮影される画像数を示しており、横軸は日時、縦軸は撮影された画像数である。また、網がけの部分は顔検出部３によって顔が検出された画像を示す。図１１から明らかなように、まとまった画像がある場合は、何かイベントがあったということが想定できる。

例えば、９月２１日は午前から午後にかけて集中的に撮影がなされ、人物の写真は９月２４日の場合より少ない。また、９月２４日は午後から夕方にかけて集中的に撮影がなされており、しかも人物の写真が多い撮影となっている。これらの情報から、９月２１日は運動会における撮影であり、９月２４日はパーティにおける撮影と想定される。また、９月２４日がパーティだとすれば、９月２５日に撮影した画像を再生させる場合には、パーティとは別の画像に分類する。したがって、９月２１日の運動会と、９月２５日のパーティは、それぞれ独立したイベントにグループ化し、一方の他の日はまとまった画像数となるように、日時別でグループ化する。

図１０に示すイベント判定のフローチャートについて説明する。このフローに入ると、まず、一日（２４時間）を６分割し、撮影画像の整理を行う（Ｓ２０１）。この画像整理は、撮影画像と一緒に記録される撮影日時情報を用い、撮影時間帯によって行う。なお、本実施形態においては、２４時間を６分割して分類を行っているが、これに限らず、４分割でも８分割でも分割値は適宜変更して良い。続いて、個々の画像を判定する（Ｓ２０２）。ここでは、撮影日時情報や顔等の情報を用い、前述した考え方に沿って、個々の画像がいずれのグループに属するかを判定する。

次に、ステップＳ２０３からステップＳ２０５において、撮影画像のイベントの判定を行う。まず、撮影画像が所定時間に集中しているか否かの判定を行う（Ｓ２０３）。このステップでは、６分割された時間帯に対して、短時間に集中的に撮影がなされているか否かの判定を行う。判定の結果、集中していた場合には、次に、顔検出部３の検出に基づいて、顔アップが少ないか否かの判定を行う（Ｓ２０４）。

判定の結果、顔アップが少ない場合には、運動会等の学校行事としてまとめ（Ｓ２１１）、一方、顔アップが多い場合にはパーティとしてまとめる（Ｓ２１２）。運動会等の学校行事は短時間に集中的に行われるものが多く、父兄等は子供を遠くから撮影するため顔のアップが少ない傾向にある。パーティは短時間で行われることが多い点は学校行事と同じであるが、顔のアップ写真が多いことから学校行事と区別することが可能である。

ステップＳ２０３における判定の結果、所定時間に集中していなかった場合には、連続した日時で複数画像があるか否かについて判定する（Ｓ２０５）。判定の結果、連続した日時で複数画像があった場合には旅行としてまとめ（Ｓ２１３）、一方、連続した日時で複数画像がなかった場合には、まとまった画像数で日時別にアルバム化を行う（Ｓ２１４）。旅行の場合には、一日に撮影が分散し短時間の集中的撮影となることは少なく、連続した日時で複数の画像が多くなることから、このような判定を行っている。なお、旅行か否かの判定にあたっては、風景画像が多いかを判定要素に加えても良い。

連続した日時で複数画像がない場合には、旅行でもなく、また前述の学校行事やパーティでもないことから、例えば、１０枚以上の画像群のように、まとまった画像数で日時別のアルバムを作成する。図４（ａ）に示した例では、月別にまとめているが、画像数によって、複数月をまとめてアルバムとしてとしてもよく、また季節別や年別にまとめてアルバムとしても良い。

ステップＳ２１１〜Ｓ２１４においてそれぞれグループ化し、アルバムにまとめると、次に、終了か否かの判定を行う（Ｓ２１５）。ここでは、記録部４に記録されている個々の画像について、イベント判定が終わったか否かについて判定する。この判定の結果、個々の画像について、イベント判定が終わっていなければ、ステップＳ２０２に戻り、一方、終われば、イベント判定のフローを終了して、元のフローに戻る。

以上、説明したように、本発明の実施形態においては、着せ替えモードに入ると、同一人物について、異なる服装を着用している画像を検索し、これを表示するようにしている。このため、様々なイベントを概観しながら思い出すことができ、また興味のある人だけを表示しながら、変化をつけた表示ができ、楽しく、賑やかなアルバム鑑賞が可能となる。

また、本発明の実施形態においては、イベント別にアルバムに分けても、アルバム共通で検索するようにしている。このため、思いがけない画像を発見することができ、楽しむことができる。また、本発明の実施形態においては、顔画像の大きさや数等に従って、優先して表示する画像を決定するようにしている。このため、顔の小さな画像は優先度が低くなり、見栄えのする画像が優先的に表示される。

なお、本発明の実施形態においては、人物像の検出にあたって、顔検出部を利用したが、これに限らず、目鼻や手足等のパターン解析等、他の検出方法を利用するようにしても良い。また、服装の検出にあたって、顔の下の色やパターンを利用していたが、これ以外の画像解析を利用するようにしても良い。

また、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。

さらに、本発明の実施形態においては、撮影装置が画像表示装置の機能を有していたが、これに限らず、テレビ、パーソナルコンピュータ等の撮影機能を有さない機器でも勿論かまわない。この場合には、撮影装置で撮影した画像データをこれらの機器の記憶部に一旦格納するようにすれば良い。本実施形態では撮影時に画像分類を行っていたが、これらの機器の場合、予め画像分類等の関連情報が付されていない画像を記憶部に格納した場合には、画像分類等の関連情報を付与すれば良い。また、テレビ等のモニタ機器とカメラ等の撮影装置を連携させて画像表示させるようにしても良い。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・画像処理及び制御部、１ｂ・・・顔特徴抽出部、１ｃ・・・顔位置・大きさ判定部、１ｄ・・・画像検索部、１ｅ・・・画像分類部、２・・・撮像部、３・・・顔検出部、４・・・記録部、４ｂ・・・関連情報部、６・・・操作判定部、７・・・ＧＰＳ、８・・・表示制御部、８ａ・・・表示部、８ｂ・・・タッチパネル、９・・・時計部、１０・・・カメラ、１１ａ・・・ユーザの指、１２・・・通信部、２１・・・アルバム、２１ａ・・・アルバム、２１ｂ・・・アルバム、２１ｃ・・・アルバム、２２ａ・・・着せ替えマーク、２２ｂ・・・戻りマーク、２２ｃ・・・アルバムマーク、２２ｄ・・・写真画像、２２ｅ・・・写真画像、２２ｆ・・・写真画像、２２ｇ・・・戻し釦マーク、２２ｈ・・・送り釦マーク

Claims (14)

1. 撮影画像内の顔画像を検知する顔検知部と、
   上記撮影画像を、上記顔画像のパターンと、上記顔画像の下部の色と、または顔画像の下部のパターンで分類分けする分類部と、
   上記分類部による分類分けに従って、複数の上記撮影画像を順次表示する表示制御部と、
   を有することを特徴とする画像表示装置。
2. 上記顔検知部は、上記顔画像の大きさと位置と数を検知可能であり、
   上記表示制御部は、上記顔画像の大きさ、数に従って、優先して表示する画像を決定する、
   ことを特徴とする請求項１に記載の画像表示装置。
3. 第１の所定条件でまとめられた、複数の画像群を跨いで検索できるように、上記第１の所定条件とは異なる第２の所定条件が共通で、かつ第３の所定条件が異なる画像を検索する検索手段を有することを特徴とする請求項１に記載の画像表示装置。
4. 上記第１の所定条件は、撮影日時によるイベント判定条件であり、上記第２の所定条件は、画像の中に写っている人物であり、上記第３の所定条件は、上記人物の服装であることを特徴とする請求項３に記載の画像表示装置。
5. 撮影画像を記憶する記憶部と、
   上記撮影画像から人物が写っている画像を抽出する人物画像抽出部と、
   上記人物画像抽出部によって抽出された人物が写っている画像から、服装部分を判定する服装判定部と、
   上記人物画像抽出部によって抽出された同一人物について、上記服装判定部によって異なる服装を着用している判定された画像を検索する検索部と、
   上記検索部によって検索された画像を表示する表示部と、
   を有することを特徴とする画像表示装置。
6. 上記人物画像抽出部は、顔検出部を有し、この顔検出部によって顔を検出することによって人物を抽出することを特徴とする請求項５に記載の画像表示装置。
7. 上記服装判定部は、上記人物の顔の下の部分の色及び／又はパターンを検出し、この検出結果に基づいて判定することを特徴とする請求項６に記載の画像表示装置。
8. 上記検索部は、上記顔検出部によって検出された顔の数、顔の大きさ、顔の配置の少なくとも一つを考慮して、表示する優先順位を決めることを特徴とする請求項６に記載の画像表示装置。
9. 上記表示部は、上記記憶部に記憶されている画像について、撮影日時によってイベント別に分類し、この分類ごとに上記画像をまとめたアルバムを表示することを特徴とする請求項５に記載の画像表示装置。
10. 上記検索部は、上記同一人物で異なる服装を着用している画像を検索するにあたって、上記異なるアルバムに属する画像についても検索することを特徴とする請求項９に記載の画像表示装置。
11. 撮影画像内の顔画像を検知し、
    上記撮影画像を、上記顔画像のパターンと、上記顔画像の下部の色と、または顔画像の下部のパターンで分類分けし、
    上記分類分けに従って、複数の上記撮影画像を順次表示する、
    ことを特徴とする画像表示方法。
12. 記憶されている撮影画像から人物が指定されたことを判定し、
    上記指定された人物が写っている画像から、服装部分を判定し、
    上記指定された人物と同じ人物について、異なる服装を着用している画像を検索し、
    上記検索された画像を表示する、
    ことを特徴とする画像表示方法。
13. 撮影画像内の顔画像を検知し、
    上記撮影画像を、上記顔画像のパターンと、上記顔画像の下部の色と、または顔画像の下部のパターンで分類分けし、
    上記分類分けに従って、複数の上記撮影画像を順次表示する、
    ことをコンピュータに実行させるプログラム。
14. 記憶されている撮影画像から人物が指定されたことを判定し、
    上記指定された人物が写っている画像から、服装部分を判定し、
    上記指定された人物と同じ人物について、異なる服装を着用している画像を検索し、
    上記検索された画像を表示する、
    ことをコンピュータに実行させるプログラム。