JP2013121097A - 撮像装置及び方法、並びに画像生成装置及び方法、プログラム - Google Patents

Abstract

【課題】所望する顔画像のみを表示して撮影時に人物の顔及びその表情を容易に把握させる。
【解決手段】表示部２６は、撮像した画像をスルー画像として表示する。顔検出部１８は、撮像した画像に含まれる顔画像領域を検出する。特徴抽出部１９は、顔画像領域から特徴量を抽出する。表情判定部２０は、抽出される特徴量に基づいて顔の表情を判定する。記憶部２１には、複数の顔の表情毎に人物を特定するための特徴量が記憶されている。検索部２２は、判定される表情に対応する特徴量を記憶部２１から検索する。人物特定部２３は、抽出された特徴量と検索された特徴量とを比較することにより人物を特定する。顔画像抽出部は２４、人物特定部２３で特定された人物に対応する顔画像を画像から抽出する。顔画像表示制御部３６は、顔画像抽出部２４で抽出された顔画像を統一したサイズで並べてスルー画像に重畳して表示部２６に表示されるよう制御する。
【選択図】図１

Description

本発明は、撮像装置及び方法、並びに画像生成装置及び方法、プログラムに関する。

従来、元画像データによって表される元画像に含まれる顔画像の領域を全て検出し、検出した単一又は複数の顔画像を元画像からトリミングし、トリミングした顔画像のデータを元画像データに関連付けして記録媒体に記録するとともに、元画像データを読み出すことで、元画像と関連付けした顔画像とを表示部の一画面を分けた各領域に個別に表示する対象画像記録装置が知られている（特許文献１）。

特開２００７−１９６７８号公報（段落［００９０］図１４）

しかしながら、上記特許文献１に記載の発明では、再生時に元画像とともに顔画像を表示するため、人物の顔、及びその表情を容易に把握することができるのに対し、元画像に含まれる全ての顔画像を表示するため、例えば知らない人の顔画像等、所望しない顔画像も一緒に表示されてしまう。

本発明は、かかる点に鑑みてなされたものであり、所望する顔画像のみを表示することができる撮像装置及び方法、並びに画像生成装置及び方法、プログラムを提供することを目的とする。

本発明を例示する撮像装置では、被写体の光像を撮像する撮像部と、前記撮像部で撮像した画像をスルー画像として表示する表示部と、前記撮像部で撮像した画像に含まれる人物の顔画像領域を検出する顔検出部と、前記顔検出部により検出された顔画像領域から特徴量を抽出する特徴抽出部と、特徴抽出部により抽出される特徴量に基づいて顔の表情を判定する表情判定部と、複数の顔の表情毎に人物を特定するための特徴量が記憶された記憶部と、前記表情判定部で判定される表情に対応する特徴量を前記記憶部から検索する検索部と、前記特徴抽出部により抽出された特徴量と前記検索部により検索された特徴量とを比較することにより人物を特定する人物特定部と、前記人物特定部で特定された人物に対応する顔画像を前記画像から抽出する顔画像抽出部と、前記顔画像抽出部で抽出された顔画像を統一したサイズで並べて前記スルー画像に重畳して前記表示部に表示するように制御する顔画像表示制御部と、を備えたものである。これによれば、撮影時に所望する人物の顔、及びその表情を迅速に把握することができる。

また、本発明を例示する画像生成装置としては、元画像データに含まれる顔画像を抽出した顔画像データ、及び前記顔画像に関連付けされている人物名の情報を前記元画像データと関連付けて記録する記録媒体と、前記記録媒体に記録されている人物名の情報を読み出して表示部に表示するよう制御する人物名一覧表示制御部と、前記表示部に表示される人物名から操作部の操作により選択された人物名に関連付けられている元画像データを前記記録媒体から検索し、検索された元画像データのファイル名、及び／又は検索された画像データに関連付けられている顔画像を前記表示部に一覧表示するよう制御する画像一覧表示制御部と、画像一覧表示制御部により表示されるファイル名、又は顔画像のうち、操作部の操作により選択されたファイル名、又は顔画像に応じた元画像データに対して、前記人物名選択部で選択した人物名に関連付けられている顔画像を含む領域でトリミングして前記元画像データとは異なる別の画像データを生成する画像生成部と、を備えたものである。

本発明は、所望する顔画像のみを表示することができる。

第１実施形態の電子カメラの概略構成を示すブロック図である。 電子カメラで記録される画像ファイルの構成を示す説明図である。 電子カメラの撮影モードの動作手順を示すフローチャートである。 図３に示す動作手順の続きを示すフローチャートである。 スルー画像と表示用顔画像とを重畳して表示した画面を示す説明図である。 選択操作により所望する顔画像のみを表示した画面を示す説明図である。 第２実施形態の電子カメラの概略構成を示すブロック図である。 図７で説明した電子カメラの再生モードの動作手順を示すフローチャートである。 図８で説明した動作手順に基づいて画面に表示される項目を説明する説明図であり、（Ａ）は人物名が一覧表示された画面を、（Ｂ）は画像ファイルが一覧表示された画面を、（Ｃ）は画像サイズが一覧表示された画面を、（Ｄ）は別の画像データを生成する時の画像生成部のトリミング処理を仮想的に説明する図であり、（Ｅ）は別の画像データが表示された画面をそれぞれ示している。

［第１実施形態］
本発明の撮像装置に係る一形態における電子カメラ１０は、図１に示すように、撮影レンズ１１、レンズ駆動部１２、撮像素子１３、タイミングジェネレータ（ＴＧ）１４、ＡＦＥ回路（Analog Front End）１５、画像信号処理部１６、フレームメモリ１７、顔検出部１８、特徴抽出部１９、表情判定部２０、記憶部２１、検索部２２、人物特定部２３、顔画像抽出部２４、表示制御部２５、表示部２６、タッチパネル２７、パネル制御部２８、ＣＰＵ２９、メディアコントローラ３０、カードメモリ（記録媒体）３１、バス３２、操作部３３、不揮発性メモリ３４、及びバッファメモリ３５等を備えている。このうち画像信号処理部１６、フレームメモリ１７、表示制御部２５、メディアコントローラ３０、ＣＰＵ２９、顔検出部１８、特徴抽出部１９、検索部２２、人物特定部２３、表情判定部２０、顔画像抽出部２４、及び記憶部２１は、バス３２を介して互いに接続されている。

また、操作部３３、不揮発性メモリ３４、パネル制御部２８、及びバッファメモリ３５は、ＣＰＵ２９に接続されている。ＣＰＵ２９は、各部を統括的に制御しており、また、顔画像表示制御部３６、顔画像リサイズ部３７、及び画像生成部３８を備える。なお、撮影レンズ１１、撮像素子１３、ＡＦＥ回路１５、及び画像信号処理部１６等は、本発明の撮像部を構成する。

不揮発性メモリ３４には、ＣＰＵ２９が種々の制御を行う際に参照される制御プログラム等が格納されている。ＣＰＵ２９は、不揮発性メモリ３４に格納されている制御プログラムに従い、バッファメモリ３５を一時記憶作業領域として利用して各部（回路）の制御を行い、電子カメラ１０の各部（回路）の機能を作動させる。

撮影レンズ１１から入射する被写体光は、ＣＣＤやＣＭＯＳ等の撮像素子１３の撮像面に結像する。撮像素子１３の撮像面に結像する被写体像は、アナログの撮像信号に変換されて、ＡＦＥ回路１５に出力される。ＡＦＥ回路１５は、ＣＤＳ３９、ＡＭＰ４０、及びＡ／Ｄ４１で構成されている。撮像信号は、ＡＦＥ回路１５で所定のアナログ処理が施され、デジタル信号に変換された後に画像信号処理部１６に送られる。ＴＧ１４は、ＣＰＵ２９からの指示に従い撮像素子１３、及びＡＦＥ回路１５の各々に駆動信号を送出し、それによって両者の駆動タイミングを制御する。

画像信号処理部１６は、画像データをフレームメモリ１７に一時的に記憶させる。そして、画像信号処理部１６は、フレームメモリ１７から画像データを読み出して、輝度（Ｙ）と色（Ｃ）とで表されるＹＣ信号の画像データに変換する。また、画像信号処理部１６は、ＹＣ信号の画像データに対してホワイトバランス補正処理、ゲインコントロール処理等の画像信号の処理を行った後に、保存用の画像データと表示用のスルー画像データとを生成し、表示用のスルー画像データを表示制御部２５に送る。

表示制御部２５は、ＶＲＡＭを有し、スルー画像データをＶＲＡＭで展開する。表示制御部２５は、展開したスルー画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部２６に出力する。

顔検出部１８は、フレームメモリ１７に格納されている画像データに含まれる人物の顔領域を検出する。具体的には、例えば肌色領域で最大面積を構成する領域で顔領域として検出する。

特徴抽出部１９は、顔検出部１８により検出された顔領域から特徴量を抽出する。特徴量は、例えば、口、目、眉毛、鼻の等、顔の構成要素の具体的な形状や、これらの構成要素の位置に関する情報を含む。ここで、特徴量は、入力された顔画像の領域の画像データから、例えばニューラルネットワークや空間フィルタを用いたエッジ検出等の手法を用いて算出することにより抽出することができる。もちろん、形状や位置に関する情報だけでなく、彩度や色相に関する情報も特徴量に含めるようにしてもよい。１つの顔における特徴量が多いほど、その顔の様子を詳細に解析することが可能となり、この特徴量を用いた表情判定や、人物特定等の精度が向上する。

記憶部２１には、複数の顔の表情毎に人物を特定するための特徴量がデータベース化して記憶されている。表情判定部２０は、特徴抽出部１９で抽出された特徴量に基づいて、その顔がどのような表情をしているか判定する。判定の対象となる表情の種類としては、例えば、無表情、笑顔、横顔、泣き顔、及び目つむり等があげられる。この判定結果に基づいて、検索部２２は、表情判定部２０で判定された表情に対応する特徴量を記憶部２１から検索する。

人物特定部２３は、特徴抽出部１９で抽出した特徴量と検索部２２で検索した特徴量とを比較・照合することにより人物を特定する。顔画像抽出部２４は、特定した人物の顔画像の領域を画像データから抽出する。以下、顔画像抽出部２４で抽出した顔画像を抽出顔画像と称す。

顔画像リサイズ部３７は、サイズが不揃いの抽出顔画像を統一サイズにリサイズし、リサイズした表示用顔画像をバッファメモリ３５に記憶する。顔画像表示制御部３６は、表示用顔画像を表示制御部２５に送り、表示用顔画像を並べてスルー画像に重畳して表示部２６に表示するように表示制御部２５を制御する。表示用顔画像は、人物特定がなされた顔画像を一覧表示するために、抽出顔画像に対して予め決めた画像サイズになるように拡大、又は縮小処理を施した画像である。

操作部３３は、電源ボタン、レリーズボタン、及びモード切替操作部等で構成されている。モード切替操作部は、撮影モードと再生モードとの何れか一方を選択するための操作部である。なお、操作部は、表示部２６の画面上に設けられたタッチパネル２７を含む。

タッチパネル２７は、パネル制御部２８により制御される。パネル制御部２８は、電子カメラ１０の電源ボタンがオンすることに応答して起動して、タッチパネル２７を動作状態に切り替え、タッチパネル２７に対する接触を検出する。なお、タッチパネル２７とパネル制御部２８は、本発明の顔画像選択操作部を構成する。顔画像選択操作部としては、十字キーと決定キーとで構成されたものでもよい。

タッチパネル２７への接触が検出されると、パネル制御部２８は、画面上での接触位置に応じた信号をＣＰＵ２９に送出する。ＣＰＵ２９は、接触位置を含む領域に表示されている表示用顔画像を、非表示として選択された顔画像であると判断し、選択された顔画像をスルー画像上に表示しないよう顔画像表示制御部３６をする。顔画像表示制御部３６は、表示用顔画像のうち、前記選択された顔画像以外の残りの表示用顔画像のデータのみを表示制御部２５に送る。

画像生成部３８は、シャッタレリーズに応答して撮像部で取得した画像データ（以下「元画像データ」と称す。）とこれに関連するメタデータとを格納して１つの画像ファイルを生成する。すなわち、表示用顔画像、又は抽出顔画像のデータ、表示用又は抽出顔画像に対応する表情のデータ等を収集して元画像データ、表示用又は抽出顔画像のデータ、及び表示用又は抽出顔画像に対応する表情のデータを含む画像ファイルを生成する。メディアコントローラ３０は、図示していないスロットにセットされているカードメモリ３１に対して、ＣＰＵ２９からの指示によりアクセスして画像ファイルの記録、及び読み出し処理を行う。

画像生成部３８で生成される画像ファイル４４には、図２に示すように、元画像データ記録領域４５、顔画像データ記録領域４６、及び顔検出情報記録領域４７が含まれている。元画像データ記録領域４５には、撮像部から取得した元画像データが埋め込み記録される。顔画像データ記録領域４６には、元画像データに表される元画像に含まれる顔画像のうち、人物特定がなされた抽出又は表示用顔画像のデータが埋め込まれる。ここで、抽出顔画像データは、統一サイズにリサイズされていないデータ、表示用顔画像データは、リサイズ済みのデータである。同図では、人物Ｂの顔画像である顔画像Ｂデータ４８と、人物Ｃの顔画像である顔画像Ｃデータ４９とが順に記録されている。

顔検出情報記録領域４７には、顔検出情報５０，５１が埋め込み顔画像データ４８，４９と同じ数だけ記録される。顔検出情報５０，５１は、埋め込み顔画像データ４８，４９に対応する表情のデータ（表情情報）、及び埋め込み顔画像データ４８，４９のファイル内での開始位置と終端位置の情報（顔画像へのリンク情報）で構成される。なお、顔検出情報５０，５１は、対象の顔画像領域が元画像のどこの部分かを示す位置情報を含む。

次に、上記構成の作用を、図３及び図４に示すフローチャートを用いて説明する。まず、電子カメラ１０の電源スイッチをオンし（Ｓ−１）、その後、モード選択操作部を操作して（Ｓ−２）、撮影モードを選択する。これにより、ＣＰＵ２９は、撮像素子１３を駆動する。撮像素子１３で撮像した画像データは、ＡＦＥ１５、及び画像信号処理部１６に順に取り込まれ、フレームメモリ１７に一時的に格納される（Ｓ−３）。その後、ＣＰＵ２９は、フレームメモリ１７から画像データを読み出し、画像信号処理部１６に送るよう制御する。画像信号処理部１６は、画像データに対して画像処理を施した後に、表示用のスルー画像を生成する。ＣＰＵ２９は、生成したスルー画像を表示制御部２５に送って表示部２６に表示するよう制御する。表示部２６には、スルー画像がリアルタイムに表示される。

一方、ＣＰＵ２９は、画像処理を施した画像データ（元画像データ）を顔検出部１８に送るよう制御する。顔検出部１８は、元画像データに含まれる全ての顔画像領域をスキャン順に検出する（Ｓ−４）。特徴抽出部１９は、検出された顔画像領域に対して顔の特徴量を抽出する（Ｓ−５）。表情判定部２０は、抽出された特徴量に基づいて顔の表情を判定する（Ｓ−６）。検索部２２は、表情判定部２０で判定される表情に対応する特徴量を記憶部２１から検索する（Ｓ−７）。人物特定部２３は、特徴抽出部１９により抽出された特徴量と検索部２２により検索された特徴量とを比較することにより人物を特定する（Ｓ−８）。

ここで、最初に取得した画像データに対しては、未だ顔画像の表示が行われていないので、「選択された人物を除外」する処理（Ｓ−９）はスルーされる。勿論、このとき、顔画像の表示がなされていないため、選択操作部、すなわちタッチパネル２７を使用して、人物特定部２３で特定した人物（特定人物）から除外する人物の顔画像を選択する操作（除外選択操作）も行われることはない（Ｓ−１０）。

顔画像抽出部２４は、人物特定がなされた顔画像を、元画像データから顔検出部１８で検出した領域で抽出する（Ｓ−１１）。顔画像リサイズ部３７は、抽出顔画像を統一サイズにリサイズして表示用顔画像を生成する（Ｓ−１２）。表示用顔画像は、顔画像表示制御部３６により表示制御部２５に送られる。表示制御部２５は、表示用顔画像をスルー画像に合成して表示部２６に表示する（Ｓ−１３）。

以後、レリーズ操作（Ｓ−１４）が行われるまでの間、画像データを取得する毎に顔検出部１８が顔画像領域を検出し、検出した顔画像に基づいて人物特定を行って人物特定がなされた表示用顔画像をスルー画像に重畳して表示する。

これにより、表示部２６の画面２６ａには、図５に示すように、スルー画像５５に重ねて表示用顔画像５６〜５８が下方に横に並んで表示される。同図では、顔検出部１８が３つの顔画像領域５９〜６１を検出している様子を示している。顔画像表示制御部３６は、検出した顔画像領域５９〜６１を顔検出枠６２で囲んで表示するよう表示制御部２５を制御する。そして、表示用顔画像５６〜５７は、統一サイズにリサイズされて並んで表示される。ここで、統一サイズは、人物特定がなされた顔画像の個数に応じて決められる。具体的には、画面２６ａを横に１／３に分割した領域に全ての顔画像が収まるサイズにリサイズするのがスルー画像５５を隠すことがないため、好適である。なお、一番大きいサイズに合わせて顔画像をリサイズしてもよい。また、表示用顔画像を透過画像にして表示するようにしてもよい。

ＣＰＵ２９は、画像データの取得（Ｓ−３）からレリーズ操作（Ｓ−１４）が行われるまでの動作中、割り込み処理としてタッチパネル２７を使用した除外選択操作を監視している（Ｓ−１０）。

除外選択操作は、撮影者が画面２６ａを見ながら、特定人物から除外する人物の顔画像を、表示用顔画像５６〜５７の中からタッチ操作により選択する操作である（Ｓ−１０）。この操作を行うと、ＣＰＵ２９は、接触位置を含む表示用顔画像に対応する除外人物の情報を人物特定部２３に送る。人物特定部２３は、特定人物の情報から除外する人物の情報を除外し（Ｓ−９）、除外した残りの人物情報を顔画像抽出部２４に送る。顔画像抽出部２４は、前記残りの人物情報に基づいて元画像データから顔画像を抽出し（Ｓ−１１）、抽出した抽出顔画像を顔画像リサイズ部３７に送る。顔画像リサイズ部３７は、前記抽出顔画像を統一サイズにリサイズし（Ｓ−１２）、リサイズ済みの表示用顔画像を表示制御部２５に送る。これにより、画面２６ａには、特定人物の顔画像のうちの所望する人物の顔画像のみが表示される（Ｓ−１３）。

図６では、図５で説明した３つの表示用顔画像５６〜５８のうちの真ん中の表示用顔画像５７をタッチ操作により選択することで、表示用顔画像５７を除く残り表示用顔画像５６，５８が左寄せで表示されている。

以上のように表示部２６には、元画像に含まれる顔画像のうち人物特定がなされた顔画像をスルー画像に重ねて表示し、さらに、ユーザーの所望する人物のみの顔画像を表示することができる。スルー画像には、所望する顔画像が例えば、左寄せに整列して表示されているため、各顔の表情等をリアルタイムで見比べることができ、例えばシャッタチャンスを逃すことはない。

その後、レリーズ操作に応答して（Ｓ−１４）、画像生成部３８は、元画像データ、その時点で表示部２６に表示されている表示用顔画像データ、及び前記表示されている表示用顔画像に対応する表情データを収集し、元画像データ、表示用顔画像データ、及び表情データ等を含む画像ファイルを生成する（Ｓ−１５）。ＣＰＵ２９は、生成した画像ファイルを、メディアコントローラ３０を介してカードメモリ３１に記録する（Ｓ−１６）。なお、電子カメラ１０は、電源スイッチをオフすることで動作が終了する（Ｓ−１７）。

上記実施形態では、画面２６ａに表示用顔画像のみを表示しているが、名前を表示用顔画像と一緒に表示してもよい。この場合、記憶部２１には、人物毎に関連付けして名前データ（テキストデータ）が記憶されており、人物特定部２３は、人物特定時に関連付けられている名前データをＣＰＵ２９に送る。ＣＰＵ２９は、キャラクタージェネレータを持ち、名前データに基づいて文字データを生成して、表示用顔画像データと文字データとを表示制御部２５に送って、表示用顔画像と名前画像とを一緒にスルー画像に重畳して表示する。名前の表示位置としては、例えば表示用顔画像の外、特に上でもよいし、顔画像の領域の中に表示されるように合成してもよい。

上記各実施形態では、人物特定がなされた顔画像のみを表示するようにしているが、人物特定がなされなかった顔画像も一緒に表示してもよい。この場合には、名前を「不明」として表示するのが好適である。

上記各実施形態の画像生成部３８は、人物特定がなされた顔画像データのみを画像ファイルに埋め込んでいるが、人物特定がなされない不明な顔画像データを埋め込んでもよい。この場合には、画像データを後から再生して不明で表示される顔画像データに対して、人物特定がなされるように記憶部２１に人物情報や特徴量を登録することができる。

上記各実施形態では、タッチパネル２７により顔画像をタッチ選択した顔画像の人物を、特定人物から除外しているが、代わりに、予め除外する人物を設定する設定部を設け、予め設定された人物を特定人物から自動的に除外するように構成してもよい。また、予め設定された人物に加えて、タッチパネル２７等の選択操作部で選択された人物との両方を特定人物から除外するように構成してもよい。

上記各実施形態では、手動でシャッタレリーズを行うようにしているが、表示用顔画像の顔がすべて同じ向き、又は同じ表情になった時に自動的にシャッタレリーズがなされるように構成してもよい。この場合、ＣＰＵ２９は、表情判定部２０を監視する表情監視部を備え、表情監視部により全部の顔画像が、例えば全員が正面を向いたこと検出する、又はスマイル等の同じ表情を検出することに応答してレリーズ動作を自動的に実行すればよい。

上記実施形態では、電子カメラ１０として説明しているが、本発明ではこれに限らず、ビデオカメラやカメラ付き携帯電話、スマートフォン等のカメラ付き電子機器等を含む撮像装置に適用することができる。

［第２実施形態］
本発明の画像生成装置の一形態を例示する電子カメラ７０は、図１で説明した各部を備えるとともに、図１で説明したＣＰＵ２９は、人物名一覧表示制御部７１、人物選択部７２、画像一覧表示制御部７３、画像選択部７４、サイズ選択部７５、及び画像生成部７６を備える。そして、再生モードの中の人物選択表示を選択すると、カードメモリ３１に記録された画像ファイルに記録されている元画像データを基に、所望する人物の顔画像が写る領域をトリミングすることで、元画像データとは異なる別の画像データを生成して表示する。

カードメモリ３１には、撮像時に取得した元画像データに含まれる顔画像を抽出した顔画像データ、及び前記顔画像に関連付けされている人物名（名前又はあだ名等）を前記元画像データと関連付けて記録した画像ファイルが記録されている。なお、カードメモリ３１に限らず、磁気ディスクや光学ディスク、ハードディスク、フラッシュメモリ等、データを記録する記録媒体であれば何れでもよい。

人物名一覧表示制御部７１は、カードメモリ３１に記録した人物名を読み出して表示部２６に表示するよう制御する。人物選択部７２は、表示部２６に表示される人物名のうちのタッチパネル２７のタッチ操作により選択された人物名の情報を画像一覧表示制御部７３に送る。この人物名の選択は、複数の選択を許可する。

画像一覧表示制御部７３は、人物選択部７２で選択された人物名に関連付けられている元画像データをカードメモリ３１から検索し、検索された元画像データを含む画像ファイル名、及び／又は検索された元画像データに関連付けられている顔画像を表示部２６に一覧表示するよう制御する。画像選択部７４は、タッチパネル２７を監視し、表示された画像ファイル、又は顔画像のうち、タッチ操作により選択された情報を画像生成部７６に送る。

サイズ選択部７５は、画像生成部７６で生成する別の画像データの画像サイズの種類を表示部２６に表示するよう表示制御部２５を制御し、その後、タッチパネル２７を監視してタッチ操作により選択された画像サイズの情報を画像生成部７６に送る。画像生成部７６は、画像選択部７４で選択した画像ファイルに対して、人物選択部７２で選択した人物名に関連付けられている顔画像を含む領域を、サイズ選択部７５で選択された画像サイズとなるようにトリミングして別の画像データを生成する。

次に、上記構成の作用を、図８を参照しながら説明する。モード選択操作部の操作により「再生モード」を選択すると（Ｓ−１８）、画面２６ａには、「人物選択表示」と「通常再生」とのボタンが表示される。何れか一方のボタンをタッチ操作により選択する（Ｓ−１９）。「通常再生」を選ぶと（Ｓ−２０）、画像ファイルに記録されている元画像データを表示する。「人物選択表示」を選ぶと、人物名一覧表示制御部７１は、カードメモリ３１に記録されている画像ファイルの全てを読み出して顔画像に関連付けされている人物名の情報を抽出し、抽出した人物名の情報に基づいてキャラクタージェネレータ（図示なし）により文字データを生成し、生成した文字データを表示制御部２５に送って、抽出した人物名の一覧を表示部２６に表示するよう制御する（Ｓ−２１）。これにより、表示部２６の画面２６ａには、図９（Ａ）に示すように、人物名が、例えば、各画像ファイルに記録されている数の多い順、又はアイウエオ順等の表示順に基づいて一覧表示される。

その後、撮影者は、一覧表示の中から所望する人物名の領域をタッチ操作することで、表示したい人物を選択する（Ｓ−２２）。図９（Ａ）に示す例では、複数の人物名が画面２６ａに表示されている。表示されていない人物名は、画面２６ａを指で上・下にスライドさせて画面２６ａをスクロール、又はフリック（指ではじいてスクロール）することで順に表示される。所望する人物名を選択すると、選択した人物名の領域の色が変わる。同図（Ａ）では、ハッチィングで示した領域の人物名、すなわち「人物Ｂ」及び「人物Ｃ」が選ばれている。

人物名の選択は、複数の選択が許可されており、よって選択操作の終了後には、画面２６ａの右上に表示されている「終了」ボタン７８をタッチ操作する。人物選択部７２は、選択された人物名の情報を画像一覧表示制御部７３に送る。画像一覧表示制御部７３は、選択された人物名に関連付けられている元画像データを検索し、検索された元画像データを含む画像ファイル名、及び、検索された元画像データに関連付けされている顔画像のうち人物選択部７２で選択された顔画像を、表示部２６に一覧表示するよう制御する（Ｓ−２３）。

例えば図９（Ｂ）では、表示した一覧の上位に、人物選択部７２で選択された「人物Ｂ」及び「人物Ｃ」の両方の顔画像を含む元画像データを記録した画像ファイル名が、そして下位には、「人物Ｂ」及び「人物Ｃ」の何れか一方の顔画像を含む元画像データを記録の画像ファイル名が表示される。画像ファイル名の横には、選択された人物に対応する顔画像が関連付けして表示される。顔画像は、関連付けされた画像ファイルに記録された顔画像を所定サイズに縮小又は拡大して表示したものであり、画像ファイルに記録の元画像に写っている表情そのもので表示される。つまり、選択した人物でも画像ファイル毎に異なる表情の顔画像が一覧表示される。

例えばファイル名「画像Ｘ」８０には、一表情をした顔画像Ｂと顔画像Ｃとが表示されている。これに対しファイル名「画像Ｙ」８３には、顔画像Ｂ及び顔画像Ｃに対して表情の異なる顔画像Ｂ１及び顔画像Ｃ１が表示されている。さらに、ファイル名「画像Ｚ」８５には、前記顔画像Ｃ及び顔画像Ｃ１とは表情の異なる顔画像Ｃ２が表示されている。このように、人物名を選択した後には、選択した人物のうち、顔画像の表情を参照しながら所望する画像ファイルを選択することができる。なお、顔画像の表示を省略して、画像ファイル名のみを表示してもよいし、逆に顔画像のみを表示してもよい。

画像選択部７４は、タッチパネル２７を監視しており、接触位置の情報に基づいて選択されたファイル名を特定してその情報を画像生成部７６に送る（Ｓ−２４）。その後、サイズ選択部７５は、新たに生成する別の画像データに対する画像サイズの種類を画面２６ａに表示する（Ｓ−２５）。

同図（Ｃ）では、画像サイズの種類が「３２０×２４０」、「６４０×４８０」、及び「８００×６００」等、４：３のアスペクト比となる画像サイズが表示される。これは、元画像データ、及び/又は画面２６ａと同じアスペクト比になるように予め決められているためである。なお、アスペクト比としては、４：３に限らず、例えば１６：９としてもよい。同図（Ｃ）では、ハッチィングで示した領域８６、すなわち画像サイズ「６４０×４８０」を選んでいる。サイズ選択部７５は、タッチパネル２７を監視しており、接触位置の情報に基づいて選択された画像サイズを特定して選択された画像サイズの情報を画像生成部７６に送る（Ｓ−２６）。

画像生成部７６は、画像選択部７４で選択された画像ファイルに記録の元画像データ８７、及び顔検出情報を読み出し、同図（Ｄ）に示すように、人物選択部７２で選択された人物Ｂ，Ｃに対応する顔画像Ｂ’，Ｃ’のみを含む領域（顔画像Ａ｀を除外した領域）８８を、サイズ選択部７５で選択された画像サイズになるように元画像データ８７からトリミングして、トリミングした別の画像データ８９を表示制御部２５に送る。これにより、画面２６ａには、同図（Ｅ）に示すように、先に選択した人物名の顔画像Ｂ’，Ｃ’のみが写る別の画像ファル８９が画面いっぱいに表示される（Ｓ−２７）。その後、表示終了の操作を監視し（Ｓ−２８）、表示終了の操作に応答して、図３で説明したモード選択の監視処理に戻る。

なお、保存ボタンを画面２６ａに表示して、保存ボタンの操作に応答して、前記別の画像データ８９をカードメモリ３１に記録するように構成してもよい。この場合、元の画像ファイルに埋め込んで記録してもよいし、別の画像ファイルとして記録してもよい。

また、画像生成部７６は、選択された人物の顔画像毎にトリミングして、別の画像データを複数生成してもよい。例えば、前述したように、人物選択部７２で顔画像Ｂと顔画像Ｃとが選択されている場合には、顔画像Ｂの領域のみをトリミングした第１画像データと、顔画像Ｃの領域のみをトリミングした第２画像データとをそれぞれ生成すればよい。

さらに、上記第２実施形態では、人物名を画面２６ａに表示して人物を選択しているが、
本発明では、これに限らず、画像ファイルに埋め込まれている顔画像を表示して顔画像の一覧から選択させるように構成してもよい。

上記第２実施形態では、電子カメラ７０として説明しているが、本発明では電子カメラに限らず、カードメモリ３１等の記録媒体から元画像データを読み出して所望する人物の顔画像のみを表示、又は印刷するための画像生成装置、その装置を達成するためのプログラム、及びそのプログラムコードを供給するための記憶媒体としてもよい。記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。さらには、プログラムコードを、ネットワークを介してダウンロードしてもよい。

上記各実施形態は、本発明の実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は上記実施形態に限定されるものではない。

１０，７０ 電子カメラ
１８ 顔検出部
１９ 特徴抽出部
２０ 表情判定部
２１ 記憶部
３１ カードメモリ
３６ 顔画像表示制御部
３７ 顔画像リサイズ部
３８ 画像生成部

Claims (8)

1. 被写体の光像を撮像する撮像部と、
   前記撮像部で撮像した画像をスルー画像として表示する表示部と、
   前記撮像部で撮像した画像に含まれる人物の顔画像領域を検出する顔検出部と、
   前記顔検出部により検出された領域にある顔画像から特徴量を抽出する特徴抽出部と、
   複数の顔の表情ごとに、人物を特定するための特徴量が記憶された記憶部と、
   前記特徴抽出部により抽出された特徴量を前記記憶部から検索する検索部と、
   前記顔検出部により検出された顔領域の特徴量と前記検索部により検索された特徴量とを比較することにより、人物を特定する人物特定部と、
   前記人物特定部で特定された人物に対応する顔画像を前記画像から抽出する顔画像抽出部と、
   前記顔画像抽出部で抽出された顔画像を統一したサイズで並べて前記スルー画像に重畳して前記表示部に表示するように制御する顔画像表示制御部と、
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記表示部に表示される顔画像のうちの何れかを選択する顔画像選択部を備え、
   前記顔画像表示制御部は、前記顔画像選択部で選択された顔画像の表示を前記表示部に禁止する、又は前記選択された顔画像のみを前記表示部に表示するように制御することを特徴とする撮像装置。
3. 請求項１又は２に記載の撮像装置において、
   シャッタレリーズに応答して前記撮像部で撮像された画像のデータとその時点で前記表示部に表示されている顔画像のデータとを含む画像ファイルを生成するファイル生成部と、
   前記ファイル生成部で生成された画像ファイルを記録媒体に記録する記録部と、
   を備えていることを特徴とする撮像装置。
4. 被写体の光像を撮像する撮像で撮像した画像を表示部にスルー画像として表示するよう制御するスルー画像表示制御ステップと、
   前記撮像部で撮像した画像に含まれる人物の顔画像領域を検出する顔検出ステップと、
   前記顔検出ステップにより検出された顔領域から特徴量を抽出する特徴抽出ステップと、
   前記特徴抽出部により抽出された特徴量を、複数の顔の表情毎に人物を特定するための特徴量が記憶された記憶部から検索する検索ステップと、
   前記顔検出ステップにより検出された領域にある顔画像の特徴量と前記検索ステップにより検索された特徴量とを比較することにより人物を特定する人物特定ステップと、
   前記人物特定ステップで特定された人物に対応する顔画像を前記画像から抽出する顔画像抽出ステップと、
   前記顔画像抽出ステップで抽出された顔画像を統一したサイズで並べて前記スルー画像に重畳して前記表示部に表示するように制御する顔画像表示制御ステップと、
   を備えたことを特徴とする撮像方法。
5. 元画像データに含まれる顔画像を抽出した顔画像データ、及び前記顔画像に関連付けされている人物名の情報を前記元画像データと関連付けて記録する記録媒体と、
   前記記録媒体に記録されている人物名の情報を読み出して表示部に表示するよう制御する人物名一覧表示制御部と、
   前記表示部に表示される人物名から操作部の操作により選択された人物名に関連付けられている元画像データを前記記録媒体から検索し、検索された元画像データのファイル名、及び／又は検索された画像データに関連付けられている顔画像を前記表示部に一覧表示するよう制御する画像一覧表示制御部と、
   画像一覧表示制御部により表示されるファイル名、又は顔画像のうち、操作部の操作により選択されたファイル名、又は顔画像に応じた元画像データに対して、前記人物名選択部で選択した人物名に関連付けられている顔画像を含む領域でトリミングして前記元画像データとは異なる別の画像データを生成する画像生成部と、
   を備えることを特徴とする画像生成装置。
6. 請求項５に記載の画像生成装置において、
   前記画像生成部は、前記別の画像データを生成する時の画像サイズを、操作部の操作により選択される画像サイズに変更するサイズ変更部を備える
   ことを特徴とする画像生成装置。
7. 元画像データに含まれる顔画像を抽出した顔画像データ、及び前記顔画像に関連付けされている人物名の情報を前記元画像データと関連付けて記録する記録媒体から前記人物名の情報を読み出して表示部に表示するよう制御する人物名一覧表示制御ステップと、
   前記表示部に表示される人物名から操作部の操作により選択された人物名に関連付けられている元画像データを前記記録媒体から検索し、検索された元画像データのファイル名、及び／又は検索された元画像データに関連付けられている顔画像を前記表示部に一覧表示するよう制御する画像一覧表示制御ステップと、
   前記画像一覧表示制御ステップにより表示されるファイル名、又は顔画像のうち、操作部の操作により選択されたファイル名又は顔画像に応じた元画像データに対して、前記人物名選択ステップで選択した人物名に関連付けられている顔画像を含む領域でトリミングして前記元画像データとは異なる画像データを生成する画像生成ステップと、
   を含むことを特徴とする画像生成方法。
8. 請求項７に記載の画像生成方法をコンピューターに実行するためのプログラム。

Images