JP2009290782A - 撮像装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】主被写体のみならず副被写体についてもピントの合った集合写真を撮像することをより容易にする。
【解決手段】撮像装置１は、撮像光学系により結像された光学像を撮像素子により変換し、その光学像を表す画像データを取得する撮像部２２を備える。また、撮像装置１は、撮像部２２により取得された画像データから人間の顔を検出するシステム制御部５０を備える。また、撮像装置１は、検出した人間の顔から主被写体となる主顔を決定する操作部７０などを備える。また、撮像装置１のシステム制御部５０は、撮像光学系が被写界深度内に主顔を含む焦点位置で取得された画像データに基づいて、その焦点位置における被写界深度外に存在する顔について、被写界深度とのずれ量及び前後関係を示すずれ情報を算出する。また、撮像装置１は、算出されたずれ情報に基づいて、被写界深度外に存在する顔が被写界深度内に納まるための補助情報として、被写界深度外に存在する顔もしくは撮像装置の移動方向の情報を通知する表示部２８を備える。
【選択図】図２

Description

本発明は、撮像装置、その制御方法及びプログラムに関する。

従来、デジタルスチルカメラなどの撮像装置では、集合写真などで複数の人物を撮像する場合において、主被写体となる人物に合焦するように手動又は自動で焦点調整して撮像が行われていた。撮像装置には、焦点調整時において、被写体への合焦・非合焦をＥＶＦ（電子ビューファインダ）などを通じてユーザにに通知するものがある。例えば、撮像装置の中には、フォーカスエイドと呼ばれる機能を有するものがある。これは、手動で焦点調整を行う際などの撮像時において、被写体より前位置での合焦、被写体への合焦、被写体より後位置での合焦などをマークによりＥＶＦに表示して通知する機能である。このような通知機能により、撮像者は、集合写真の撮影時において、主被写体とする人物に合焦しているかどうかを確認することが可能であった。

また、集合写真を撮像する際に有用な他の技術として、特許文献１には、撮像画像から複数の人物が検出された場合、自動的に絞り値を変更して、全員が被写界深度に入るようにした撮像装置が開示されている。
特開２００３−９２６９９号公報

しかしながら、上記従来技術では、主被写体となる人物には合焦させることができても、主被写体以外の他の人物（副被写体）については、必ずしも合焦しているとは限らなかった。また、特許文献１記載の撮像装置のように、絞りを調整する方法でも、撮像装置と個々の被写体との距離によっては、常に全員を被写界深度内に納めることができるとは限らない。さらに、被写界深度外に存在する副被写体について、被写界深度からのずれ量など、被写界深度へ納まるための情報を把握することができなかった。

本発明は、このような従来技術の課題を少なくとも１つ解決することを目的としてなされたものである。本発明の目的は、主被写体のみならず副被写体についてもピントの合った集合写真を撮像することをより容易にする撮像装置、その制御方法及びプログラムを提供することを目的とする。

上記目的は、撮像光学系により結像された光学像を撮像素子により変換し、前記光学像を表す画像データを取得する撮像手段と、前記撮像手段により取得された画像データから人間の顔を検出する顔検出手段と、前記顔検出手段が検出した人間の顔から主被写体となる主顔を決定する決定手段と、前記撮像光学系が被写界深度内に前記主顔を含む焦点位置で取得された画像データに基づいて、前記顔検出手段が検出した顔のうち、前記主顔以外の顔であって、当該焦点位置における被写界深度外に存在する顔について、前記被写界深度とのずれ量及び前後関係を示すずれ情報を算出する算出手段と、前記算出手段により算出されたずれ情報に基づいて、前記被写界深度外に存在する顔が前記被写界深度内に納まるための補助情報として、前記被写界深度外に存在する顔もしくは撮像装置の移動方向の情報を通知する通知手段と、を備えることを特徴とする本発明による撮像装置によって達成される。

また、上記目的は、撮像光学系により結像された光学像を撮像素子により変換し、前記光学像を表す画像データを取得する撮像手段を備える撮像装置の制御方法であって、前記撮像手段により取得された画像データから人間の顔を検出する顔検出工程と、前記顔検出工程により検出した人間の顔から主被写体となる主顔を決定する決定工程と、前記撮像光学系が被写界深度内に前記主顔を含む焦点位置で取得された画像データに基づいて、前記顔検出工程により検出した顔のうち、前記主顔以外の顔であって、当該焦点位置における被写界深度外に存在する顔について、前記被写界深度とのずれ量及び前後関係を示すずれ情報を算出する算出工程と、前記算出工程により算出されたずれ情報に基づいて、前記被写界深度外に存在する顔が前記被写界深度内に納まるための補助情報として、前記被写界深度外に存在する顔もしくは撮像装置の移動方向の情報を通知する通知工程と、を有することを特徴とする本発明による撮像装置の制御方法によっても達成される。

本発明によれば、主被写体のみならず副被写体についてもピントの合った集合写真を撮像することをより容易にすることができる。

以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。

先ず、本発明に係る撮像装置の構成について、図１、図２を参照して詳細に説明する。ここで、図１は、撮像装置１の背面外観を示す外観図である。図２は、撮像装置１の機能的構成を模式的に示すブロック図である。

先ず、撮像装置１の外観について説明する。図１に示すように、撮像装置１は、画像や各種情報を表示する表示部２８や、電源オン／電源オフを切り替える電源スイッチ７２、モード切替スイッチ６０、シャッターボタン６１などを含む操作部７０を有する。なお、シャッターボタン６１は、第１シャッタースイッチ６２、第２シャッタースイッチ６４の二段階構成となっている。このモード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、電源スイッチ７２などを含む操作部７０は、後述するシステム制御部５０に各種動作指示を入力するための操作手段である。

モード切替スイッチ６０は、各種モードの切り替えを指示するスイッチであり、動作モードを静止画記録モード、動画記録モード、再生モードなど、撮像装置１における動作モードをいずれかに切り替えることができる。第１シャッタースイッチ６２は、シャッターボタン６１の操作途中（スイッチの半押し状態）でＯＮとなるスイッチである。第１シャッタースイッチ６２は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露光）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了（スイッチの全押し状態）でＯＮとなるスイッチである。第２シャッタースイッチ６４は、後述する撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮像処理の動作開始を指示する。

また、操作部７０は、上述した指示スイッチの他に、各種ボタンやタッチパネルなどの操作部材を備える。具体的に例示すると、操作部７０は、消去ボタン、メニューボタン、ＳＥＴボタン、十字形状の４方向キー（上ボタン、下ボタン、右ボタン、左ボタン）、ホイールスイッチなどを備える。

また、撮像装置１は、外部機器と接続する接続ケーブル１１１とコネクタ１１２を介して接続可能であり、外部機器との間で互いにデータ通信が可能となっている。また、撮像装置１は、メモリーカードやハードディスクドライブ等の記録媒体２００とスロット２０１を介して接続可能であり、記録媒体２００へのデータ保存や、記録媒体２００からのデータ読み出しが可能な構成である。

次に、撮像装置１の構成について、撮像した画像データを記録するまでの構成に沿って説明する。図２に示すように、撮像装置１は、撮像手段としてのシャッター１０１、バリア１０２、撮像レンズ１０３、撮像部２２、Ａ／Ｄ変換部２３を有する。シャッター１０１は、システム制御部５０の制御の下で駆動する絞り羽根やシャッター幕などである。バリア１０２は、システム制御部５０の制御の下で電源ＯＦＦ時などに駆動して撮像レンズ１０３を覆う部材であり、撮像レンズ１０３の汚れや破損を防止する。撮像レンズ１０３は、撮像部２２の撮像面に光学像を結像させる光学レンズである。すなわち、シャッター１０１、撮像レンズ１０３は光学像を結像させる撮像光学系である。撮像部２２は、ＣＣＤやＣＭＯＳイメージセンサなどであり、撮像レンズ１０３により結像された光学像を電気信号に変換した画像データを取得する。ここで、ＣＣＤとは、Charge Coupled Deviceの略語である。また、ＣＭＯＳとは、Complementary Metal Oxide Semiconductorの略語である。Ａ／Ｄ変換部２３（Analog-To-Digital）は、撮像部２２や音声制御部１１から出力されるアナログ信号をデジタル信号に変換する。

タイミング発生部１２は、メモリ制御部１５及びシステム制御部５０による制御の下、音声制御部１１、Ｄ／Ａ変換部１３、Ａ／Ｄ変換部２３などにクロック信号や制御信号を供給する。画像処理部２４は、Ａ／Ｄ変換部２３からの画像データ、又は、メモリ制御部１５からの画像データに対し、所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４は、撮像により取得した画像データを用いて所定の演算処理を行い、その演算結果をシステム制御部５０に出力する。システム制御部５０は、画像処理部２４の演算結果に基づいて、露光調整、ＡＦ制御を行う。具体的には、システム制御部５０において、ＴＴＬ（Through The Lens）方式のＡＦ処理、ＡＥ処理、ＥＦ処理が行われる。また、システム制御部５０では、画像処理部２４の演算結果に基づいて、ＴＴＬ方式のＡＷＢ処理も行っている。

Ａ／Ｄ変換部２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、直接メモリ制御部１５を介して、メモリ３２に書き込まれる。メモリ３２は、マイク１０において録音された音声データ、撮像した静止画像や動画像及び画像ファイルを構成する場合の、ファイルヘッダを格納するためのメモリである。メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声データを格納するのに十分な記憶容量を備えている。なお、メモリ３２は、画像表示用のメモリ領域を含む構成であってよい。

圧縮／伸張部１６は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸張する。具体的には、圧縮／伸張部１６は、シャッター１０１の動作をトリガにして撮像され、メモリ３２に格納された画像データを読み込んで圧縮処理を行い、その圧縮処理を終えたデータをメモリ３２に書き込む。また、圧縮／伸張部１６は、記録部１９などからメモリ３２に読み込まれた圧縮画像データを読み込んで伸張処理を行い、その伸張処理を終えたデータをメモリ３２に書き込む。この圧縮／伸張部１６の処理の後にメモリ３２に書き込まれたデータなどは、システム制御部５０のファイル部においてファイル化され、Ｉ／Ｆ部１８を介して記録媒体２００に記録される。

Ｄ／Ａ変換部１３（Analog-To-Digital）は、メモリ制御部１５から出力されるデジタルデータをアナログデータに変換する。表示部２８はＬＣＤ（Liquid Crystal Display）等である。メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換部１３を介してアナログデータに変換されて表示部２８により表示される。例えば、表示部２８には、記録媒体２００に格納された画像データや撮像部２２により取得された画像データに基づいた画像が表示される。また、表示部２８は、連続して駆動する撮像部２２により画像データが継続して取得される場合、その継続して取得された画像データを逐次表示することで、ＥＶＦとしての機能を提供する。

マイク１０は、外部からの音声を音声信号として出力する。マイク１０から出力された音声信号は、アンプ等で構成される音声制御部１１を介してＡ／Ｄ変換部２３においてデジタル信号に変換された後、メモリ制御部１５によってメモリ３２に格納される。一方、記録媒体２００に記録されている音声データは、メモリ３２に読み込まれた後、Ｄ／Ａ変換部１３、音声制御部１１を介してスピーカー２９に出力され、スピーカー２９において音声として発音される。

次に、撮像装置１を中央制御するシステム制御部５０の周辺構成を説明する。システム制御部５０は、ＣＰＵ（Central Processing Unit）などである。システム制御部５０は、システムメモリ５２、不揮発性メモリ５６に記憶されたプログラムデータを読み出して、該プログラムデータとの協働により撮像装置１の各部を統括制御する。

システムメモリ５２は、ＲＡＭ（Random Access Memory）などであり、システム制御部５０がプログラムデータを実行する際の作業領域を提供する。不揮発性メモリ５６は、電気的に消去・記録が可能なメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）などが用いられる。不揮発性メモリ５６は、システム制御部５０の動作用の定数、各種設定情報、プログラムデータなどを記憶する。

操作部７０の各操作部材は、表示部２８に表示されている種々の機能アイコンを選択操作することなどにより、場面毎に適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻りボタン、画像送りボタン、ジャンプボタン、絞り込みボタン、属性変更ボタン、メニューボタンなどがある。例えば、メニューボタンが押されると各種設定が可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、４方向キーやＳＥＴボタンなどを用いて直感的に各種設定を行うことができる。電源スイッチ７２は、電源オン、電源オフを切り替える。

電源制御部３９は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出などを行う。また、電源制御部３９は、電池検出回路の検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等である。コネクタ３３、３４は電源部３０と３９とを接続する。

ＲＴＣ４０（Real Time Clock）は、システム制御部５０の制御の下、時刻情報を出力する。なお、ＲＴＣ４０は、電源制御部３９とは別に内部電源を保持し、電源部３０から通電がない状態であっても、計時可能となっている。システム制御部５０は、起動時にＲＴＣ４０より取得した日時を用いてタイマー制御を行う。

Ｉ／Ｆ部１８は、記録媒体２００のコネクタ３５と接続することで、記録媒体２００との間でデータの送受信を可能とするインターフェイースである。コネクタ３５はＩ／Ｆ部１８とコネクタ３６とを接続し、コネクタ３６は、コネクタ３５とＩ／Ｆ部３７とを接続するコネクタである。Ｉ／Ｆ部３７は、コネクタ３６と記録部１９とを接続するインターフェイスである。記録部１９は、半導体メモリやハードディスクドライブなどの記録媒体本体である。記録媒体着脱検知部９８は、Ｉ／Ｆ部１８にコネクタ３５が装着されているか否かを検出することで、撮像装置１における記録媒体２００の装着の有無を検出する。

通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信などの各種通信処理を行う。ここで、ＵＳＢとは、Universal Serial Busの略語である。また、ＩＥＥＥとは、Institute of Electrical and Electronic Engineersの略語である。また、ＳＣＳＩとは、Small Computer System Interfaceの略語である。また、ＬＡＮとは、Local Area Networkの略語である。コネクタ１１２（無線通信の場合はアンテナ）は、通信部１１０を介して撮像装置１を他の機器と接続する。

次に、撮像装置１のシステム制御部５０が制御して行う全体的な動作を、図３をに示すフローチャートを参照して説明する。図３に示すように、電源スイッチ７２が操作されて電源がＯＮに切り替わるなどして処理が開始されると、システム制御部５０は、フラグや制御変数等を初期化する初期設定を行う（Ｓ１０）。続いて、システム制御部５０は、記録媒体２００に記録されているファイルに関するファイル管理処理を行う（Ｓ１１）。続いて、システム制御部５０は、モード切替スイッチ６０の設定位置を判定し、静止画記録モードの判定（Ｓ１２）、動画記録モードの判定（Ｓ１３）、再生モードの判定（Ｓ１４）により、いずれのモードであるかを判定する。

静止画記録モードである場合（Ｓ１２：ＹＥＳ）、システム制御部５０は、静止画記録モード処理を行う（Ｓ１５）。この静止画記録モード処理の詳細については後述する。また、動画記録モードである場合（Ｓ１３：ＹＥＳ）、システム制御部５０は、動画記録モード処理を行う（Ｓ１６）。また、再生モードである場合（Ｓ１４：ＹＥＳ）、システム制御部５０は、再生モード処理を行う（Ｓ１７）。また、上述した処理にも該当しない、その他のモードである場合（Ｓ１４：ＮＯ）、システム制御部５０は、その他のモード処理を行う（Ｓ１８）。

上述した各モード処理を行った後、システム制御部５０は、電源スイッチ７２の設定位置がＯＦＦであるか否かを判定する（Ｓ１９）。電源スイッチ７２の設定位置がＯＮである場合（Ｓ１９：ＮＯ）、システム制御部５０は、Ｓ１２へ戻ってその処理を実行する。電源スイッチ７２の設定位置がＯＦＦである場合（Ｓ１９：ＹＥＳ）、システム制御部５０は所定の終了処理を行う（Ｓ２０）。所定の終了処理とは、表示部２８の表示を終了状態に変更する処理、バリア１０２を閉じる処理、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ５６に記録する処理、電源供給が不要な部分への電源供給を遮断する処理などがある。

次に、静止画記録モード処理（Ｓ１５）の詳細について、図４に示すフローチャートを参照して説明する。図４に示すように、静止画記録モード処理が開始されると、システム制御部５０は、不揮発性メモリ５６に記録された撮影モード又は操作部７０により操作入力された撮影モードに基づいて、撮影モードを確定する（Ｓ２０）。具体的には、システム制御部５０は、不揮発性メモリ５６より前回の終了処理時に記録された撮影モードを取得してシステムメモリ５２に格納する。あるいは、システム制御部５０は、ユーザにより操作部７０が操作されて撮影モードの設定入力があれば、入力された撮影モードをシステムメモリ５２に格納する。

ここで、撮影モードとは、撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等を組み合わせて実現されるモードのことである。本実施形態における撮像装置１は、オートモード、マニュアルモード、各種シーンモードを有する。オートモードとは、撮像部２２で取得された画像データなどに基づいて、システム制御部５０がシャッター速度や絞り値などのパラメータを自動で調整するモードである。マニュアルモードとは、カメラの各種パラメータをユーザが操作部７０を操作することで自由に変更可能なモードである。各種シーンモードとは、撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等の組み合わせを、いずれかの撮影シーンを選択することで自動で設定されるモードである。

このシーンモードとしては、ポートレートモード、夜景モード、風景モード、ナイト＆スナップモード、キッズ＆ペットモード、新緑＆紅葉モード、パーティーモード、スノーモード、ビーチモード、花火モード、水族館モード、水中モードなどがある。ポートレートモードとは、例えば絞りを解放するように設定することで背景をぼかして人物を浮き立たせるようにし、人物に特化した撮影を行うモードである。夜景モードとは、人物にストロボ光をあて、背景を遅いシャッター速度で記録することにより、夜景シーンに特化した撮影を行うモードである。風景モードとは、例えば絞り込みを行うことで風景全体を精緻に撮影するなどして、風景シーンに特化した撮影を行うモードである。ナイト＆スナップモードとは、三脚なしで夜景と人物をきれいにとるモードである。キッズ＆ペットモードとは、例えばプレフォーカスや予測フォーカスなどにより、よく動き回る子供やペットをシャッターチャンスを逃さず撮影可能とするモードである。新緑＆紅葉モードとは、新緑等の木々や葉を色鮮やかに撮影するモードである。パーティーモードとは、蛍光灯や電球のもとでの撮影時であっても、手振れを抑えて被写体に忠実な色味で撮影するモードである。スノーモードとは、雪背景をバックにしても人物が暗くならず、青みも残さず撮影するモードである。ビーチモードとは、太陽光の反射の強い海面や砂浜でも、人物などが暗くならずに撮影可能なモードである。花火モードとは、打ち上げ花火に最適な露光を設定し、花火を鮮やかに撮影するモードである。水族館モードとは、屋内の水槽内の魚などを撮影するのに適した感度、ホワイトバランス、色味を設定するモードである。水中モードとは、水中に適したホワイトバランスに設定し、青みを抑えた色合いで撮影するモードである。

Ｓ２０において撮影モードが確定されると、システム制御部５０は、撮像部２２からの画像データを表示部２８に表示させる（Ｓ２１）。続いて、システム制御部５０は、電源制御部３９により電源部３０の残容量や記録媒体２００の有無、記録媒体２００が接続する場合はその残容量などが、撮像装置１の動作に問題があるか否かを判定する（Ｓ２２）。Ｓ２２において問題があると判定された場合、システム制御部５０は、表示部２８における警告表示や警告音声の出力などの所定の警告表示を行い（Ｓ２３）、Ｓ２０の処理へ戻る。

Ｓ２２において電源部３０や記録媒体２００の状態に問題がないと判定した場合、システム制御部５０は、必要に応じて分類情報の自動付与についての入／切設定を行う（Ｓ２４）。自動付与についての入／切設定は、操作部７０に含まれるメニューボタンを操作することで表示されるメニュー画面（不図示）において、ユーザの任意で設定可能である。自動付与の入／切設定は、撮影モードならびに被写体条件により分類情報を自動付与するか否かのフラグであり、設定値はシステムメモリ５２において保持される。このように分類情報の自動付与について入／切設定を持たせることで、ユーザによって意図しない分類情報が付与されることを時々に応じて防止することが可能となる。

続いて、システム制御部５０は、表示部２８に表示される画像信号中、すなわち、撮像部２２により取得された画像データに人間の顔が存在するか否かを検知する顔検出処理を行う（Ｓ２５）。この顔検出処理の詳細については後述する。なお、Ｓ２５において人間の顔を検出した場合、システム制御部５０は、顔情報として画像データ中において検出した位置座標、サイズ（幅、高さ）、検出個数、信頼性係数等をシステムメモリ５２に記憶する。またＳ２５において人間の顔を検出しなかった場合、システム制御部５０は、システムメモリ５２内の位置座標、サイズ、検出個数、信頼係数等の記憶領域に０などのＮＵＬＬ値を設定する。

続いて、システム制御部５０は、第１シャッタースイッチ６２が押されているか否かを判定する（Ｓ２６）。第１シャッタースイッチ６２が押されていないと判定された場合（Ｓ２６：ＯＦＦ）、システム制御部５０は、Ｓ２５の処理へ戻る。第１シャッタースイッチ６２が押されていると判定された場合、システム制御部５０は、撮像レンズ１０３の焦点を被写体に合わせ、絞り値及びシャッター時間を決定するＡＦ・ＡＥ処理を行う（Ｓ２７）。なお、ＡＥ処理において、必要であればフラッシュの発光設定なども行う。また、ＡＦ・ＡＥ処理では、Ｓ２５におい人間の顔を検出している場合、検出した顔の範囲でＡＦ処理を行うことも可能である。この顔検出を含むＡＦ・ＡＥ処理の詳細については後述する。

続いて、システム制御部５０は、第２シャッタースイッチ６４が押されているか否かの判定（Ｓ２８）、第１シャッタースイッチ６２が押されているか否かの判定（Ｓ２９）を行う。第２シャッタースイッチ６４が押されずに（Ｓ２８：ＯＦＦ）、さらに第１シャッタースイッチ６２も解除されたならば（Ｓ２９：ＯＦＦ）、システム制御部５０は、Ｓ２４の処理へ戻る。また、第２シャッタースイッチ６４が押されたならば（Ｓ２８：ＯＮ）、システム制御部５０は、表示部２８の表示状態を固定色表示状態に設定して（Ｓ３０）、撮影処理を行う（Ｓ３１）。

Ｓ３１における撮影処理では、システム制御部５０は、露光処理、現像処理を行う。露光処理では、撮像部２２、Ａ／Ｄ変換部２３、画像処理部２４、メモリ制御部１５を介して、或いはＡ／Ｄ変換部２３から直接メモリ制御部１５を介して、メモリ３２に撮像により取得した画像データが書き込まれる。現像処理では、メモリ３２に書き込まれた画像データを読み出して、メモリ制御部１５、必要に応じて画像処理部２４を用いて各種処理が行われる。なお、この撮像処理の詳細については後述する。

続いて、システム制御部５０は、Ｓ３１において撮像した画像データに基づいて、表示部２８へクイックレビュー表示を行う（Ｓ３２）。このクイックレビュー表示の後、システム制御部５０は、Ｓ３１の撮像処理で得られた画像データを画像ファイルとして記録媒体２００に書き込みを行う記録処理を実行し（Ｓ３３）、第２シャッタースイッチ６４が押されているか否かを判定する（Ｓ３４）。なお、Ｓ３３の記録処理が終了した際に、Ｓ３４において第２シャッタースイッチ６４が放されるまで表示部２８におけるクイックレビュー表示が継続して行われる場合は、撮像した画像の確認を入念に行うことが可能となる。

続いて、システム制御部５０は、第２シャッタースイッチ６４を放した状態（Ｓ３４：ＹＥＳ）である場合、Ｓ３５へ進む。第２シャッタースイッチ６４が放たれた状態を判定するタイミングとしては、Ｓ３３における記録処理が終了した際や、第２シャッタースイッチ６４を押し続けてクイックレビューを継続表示して撮像画像の確認の後などがある。Ｓ３５において、システム制御部５０は、所定のミニマムレビュー時間が経過したか否かを判定し、ミニマムレビュー時間が経過していればＳ３６へ進む。

続いて、システム制御部５０は、表示部２８の表示状態を撮像部２２により取得された画像データの表示状態として（Ｓ３６）、第１シャッタースイッチ６２が押されているか否かを判定する（Ｓ３７）。この場合は、表示部２８でのクイックレビュー表示によって撮像画像の確認をした後に、次の撮影のために撮像部２２で継続して取得した画像データを逐次表示する状態に戻すことができる。第１シャッタースイッチ６２が押されている場合（Ｓ３７：ＯＮ）、システム制御部５０は、Ｓ２８に戻り次の撮影に備える。また、第１シャッタースイッチ６２が押されていない場合（Ｓ３７：ＯＦＦ）、システム制御部５０は、一連の撮像動作を終えて撮像待機状態に戻る。なお、この場合（Ｓ３４：ＯＦＦ）、システム制御部５０は、Ｓ２４へ戻ってもよい。

次に、顔検出処理（Ｓ２５）の詳細について、図５に示すフローチャートを参照して説明する。この図５に示すフローチャートは、代表的な顔検出アルゴリズムの一例である。図５に示すように、顔検出処理が開始されると、システム制御部５０は、撮像部２２から画像信号を取得し（Ｓ４０）、その取得した画像信号に水平方向及び垂直方向のバンドパスフィルタ（ＢＰＦ）をかけ（Ｓ４１、Ｓ４２）、エッジ成分を検出する。

次いで、システム制御部５０は、検出されたエッジ成分のパターンマッチングを行い、目、鼻、口、耳の候補群を抽出する（Ｓ４３）。次いで、システム制御部５０は、Ｓ４３にて抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判定し、目の対があるもののみ目の候補群として絞り込むことで、人間の目の検出を行う（Ｓ４４）。

次いで、システム制御部５０は、Ｓ４４にて絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）とを対応付けて仮の顔とし、その仮の顔を予め設定した非顔条件フィルタにかける（Ｓ４５）。すなわち、システム制御部５０は、非顔条件フィルタを通すことで、人間の顔を検出する。次いで、システム制御部５０は、検出結果に応じて顔情報を出力し（Ｓ４６）、処理を終了する。

上述した顔検出処理により、撮像装置１では、撮像部２２により取得した画像データから特徴量を抽出して被写体情報を検出することが可能であり、顔の特徴量を抽出することで顔情報を検出することが可能となっている。なお、被写体情報は、他に赤目判定等の様々な情報であってよい。

次に、ＡＦ・ＡＥ処理（Ｓ２７）の詳細について、図６を参照して説明する。図６は、ＡＦ・ＡＥ処理を示すフローチャートである。図６に示すように、ＡＦ・ＡＥ処理が開始されると、システム制御部５０は、撮像部２２により取得した画像データに基づいて、絞り値及びシャッター時間を決定するＡＥ処理を行う（Ｓ５０）。次いで、システム制御部５０は、顔検出処理（Ｓ２５）において顔が検出されたか否かを判定する（Ｓ５１）。顔が検出されていない場合（Ｓ５１：ＮＯ）、システム制御部５０は、ＡＦ枠などにおいてコントラスト判定を行う、通常のＡＦモードに切り替えてＡＦ処理を行って（Ｓ５２）、ＡＦ・ＡＥ処理を終了する。

顔が検出されている場合（Ｓ５１：ＹＥＳ）、システム制御部５０は、検出されている顔の中から、主被写体となる顔（以下、主顔）を決定する（Ｓ５３）。主顔は、撮像画像における顔位置がＡＦ枠に最も近い顔、撮像画像の中心に近い顔、面積が最も広い顔など、所定の条件に従って自動的に決定される。また、主顔は、表示部２８に表示された撮像画像を確認したユーザが、操作部７０の４方向キーなどにより手動で決定してもよい。

次いで、システム制御部５０は、検出された全ての顔に対してＡＦ・ＡＥ処理を行う、全顔枠スキャンを実行する（Ｓ５４）。具体的には、個々の顔に対して、システム制御部５０の制御の下で撮像レンズ１０３を駆動して合焦させ、その駆動位置、必要であれば、顔情報（サイズ、目の位置など）、コントラスト値、コントラストピーク値等の情報を取得する。取得された顔毎の情報はシステムメモリ５２に保存される。

次いで、システム制御部５０は、Ｓ５４により取得された情報を元に、主顔のコントラストピーク値が得られる駆動位置であり、主顔が合焦となる焦点位置に撮像レンズ１０３を駆動する（Ｓ５５）。次いで、システム制御部５０は、システムメモリ５２に保存された各顔のコントラスト値を参照し、Ｓ５５の焦点位置における主顔以外の他の顔（以下、副顔）のコントラスト値を求めてコントラスト判定を行う（Ｓ５６）。このコントラスト判定は、焦点位置を主顔に合わせた被写界深度に対する副顔の距離のずれを、副顔の画像のコントラスト値から判定するものである。また、副顔が複数存在する場合は、焦点位置を主顔に合わせた被写界深度に対する各副顔の距離のずれがコントラスト値から判定される。

Ｓ５６におけるコントラスト判定の結果に基づいて、システム制御部５０は、被写界深度外の副顔が存在するか否かを判定する（Ｓ５７）。被写界深度外の副顔が存在しない場合（Ｓ５７：ＮＯ）、システム制御部５０は、主顔が合焦となる焦点位置における被写界深度内に、全ての被写体（顔）が納まることを示す情報を表示部２８に表示し（Ｓ５８）、ＡＦ・ＡＥ処理を終了する。

被写界深度外の副顔が存在する場合（Ｓ５７：ＹＥＳ）、システム制御部５０は、被写界深度からの副顔のずれ量と（Ｓ５９）、主顔に対しての前後の位置関係を算出する（Ｓ６０）。このＳ５９、Ｓ６０においては、システムメモリ５２に保存された副顔のコントラストピーク値もしくは、取得した顔の大きさ、コントラスト値などに基づいて算出される。また、被写界深度外の副顔が複数存在する場合は、被写界深度外に存在する副顔の各々について、ずれ量と、主顔に対しての前後の位置関係が算出される。なお、Ｓ５９については後述のずれ量計算処理で詳細を説明する。また、主顔に対する副顔の前後の位置関係については、取得した顔の大きさなどに基づいて前後関係が判定される。例えば、取得した顔の大きさが主顔より大きければ前に、小さければ後ろに位置するものとして判定することができる。また、主顔に対する副顔の前後の位置関係については、全顔に対するＡＦ処理を行う全顔スキャンにより取得された顔毎の焦点位置から位置関係を算出してもよい。

すなわち、撮像装置１では、このＳ５９、Ｓ６０において、主顔以外の顔であって、主顔が合焦となる焦点位置における被写界深度外に存在する顔（副顔）について、その被写界深度とのずれ量及び前後関係を示すずれ情報が算出される。なお、上述したずれ情報の算出を行う焦点位置については、主顔が合焦となる焦点位置以外としてもよく、被写界深度内に主顔を含むような焦点位置であればいずれであってもよい。次いで、システム制御部５０は、不揮発性メモリ５６などに設定された表示設定情報に基づいた表示画面上に、Ｓ５９、Ｓ６０で算出されたずれ情報に基づいたガイダンス表示を行う（Ｓ６１）。なお、Ｓ６１におけるガイダンス表示の詳細については後述する。

次いで、システム制御部５０は、第１シャッタースイッチ６２、第２シャッタースイッチ６４が押されているか否かを判定する（Ｓ６２、Ｓ６３）。第１シャッタースイッチ６２がＯＦＦである場合（Ｓ６２：ＯＦＦ）や第２シャッタースイッチ６４がＯＮである場合（Ｓ６３：ＯＮ）、システム制御部５０は、ＡＦ・ＡＥ処理を終了する。第１シャッタースイッチ６２がＯＮであり、第２シャッタースイッチ６４がＯＦＦである場合（Ｓ６２：ＯＮ、Ｓ６３：ＯＦＦ）、システム制御部５０は、Ｓ５８で算出されたずれ量により、いずれかの副顔が被写界深度内に納まっているか否かを判定する（Ｓ６４）。

いずれかの副顔が被写界深度内に納まっていると判定された場合（Ｓ６４：ＹＥＳ）、システム制御部５０は、ガイダンス表示においてその副顔のずれ量などを表示していた表示状態から、合焦表示を示す被写界深度内表示へ表示状態を切り替える（Ｓ６５）。なお、Ｓ６５における被写界深度内表示の詳細については後述する。

次いで、システム制御部５０は、主顔が合焦となる焦点位置における被写界深度内に全ての副顔が納まっているか否かを判定し（Ｓ６６）、全て被写界深度内であればＡＦ・ＡＥ処理を終了する。被写界深度外の副顔が存在した場合（Ｓ６６：ＮＯ）、システム制御部５０は、Ｓ５９の処理へ戻る。従って、撮像装置１では、副顔である被写体が移動した場合でも、主顔が合焦となる焦点位置における被写界深度内に納まらない時は、その移動距離を考慮したずれ量と、ガイダンス表示を続けることとなる。

次に、Ｓ６１におけるガイダンス表示やＳ６４における被写界深度内判定に係るずれ量計算処理（Ｓ５９）の詳細について、図７を参照して説明する。図７は、ずれ量計算処理を示すフローチャートである。

図７に示すように、ずれ量計算処理が開始されると、システム制御部５０は、数回のループ処理を行い（Ｓ７０〜Ｓ７４）、以下に述べる評価値の平均値を用いることで、ずれ量算出の精度を向上させる。ここでの評価値としては、検出済み座標近辺の顔枠として検出された（Ｓ７１：ＹＥＳ）顔情報に基づいた、顔サイズとＡＦで得られたコントラスト値を用いる。システム制御部５０は、この評価値をループ終了条件まで取得し続けて、顔サイズの平均値（Ｓ７２）、コントラスト平均値（Ｓ７３）を求め、システムメモリ５２に保存する。

次いで、システム制御部５０は、以下の条件式（１）、（２）の論理和で深度判定を行う（Ｓ７５）。

なお、ｎが０の場合はＳ５４でシステムメモリ５２に保存された顔サイズとコントラスト値を用いる。顔サイズの目標値であるＳ_ａの例は次のとおりである。
・被写界深度内の顔全ての平均値をとる。
・Ｓ５４で得られた被写界深度位置の顔サイズを使用する。
また、コントラスト目標値Ｃ_ａの例は次のとおりである。
・被写界深度内の顔全てのコントラスト平均値をとる。
・Ｓ５４で得られた被写界深度位置のコントラスト値を使用する。

ずれ量は、上記の条件式（１）、（２）で得られる目標値との差を用いて以下の式（３）の数値として算出される。式（３）では、重み係数を適宜設定することで、メートルなどの距離単位に換算したずれ量であり、副顔の移動距離を算出可能である。なお、算出されたずれ量の表示は、後述するように、その変化がわかるような表現や、被写体の移動距離が判りやすい単位で表示を行うことが好ましい。

次いで、システム制御部５０は、この条件式を満たした場合、カウンタ（count）をインクリメントする（Ｓ７６）。次いで、システム制御部５０は、カウンタの値が所定の閾値（TH）を超えるか否かを判定し（Ｓ７７）、その閾値を超えるまで数回ループして上記処理を行う。このため、撮像装置１は、ずれ量算出の信頼性を向上させることができる。

なお、ずれ量計算処理においては、Ｓ５４のＡＦ・ＡＥ処理でシステムメモリ５２に保存された値から求めたものであってもよい。例えば、主顔のコントラストピーク値から得られる焦点位置と、その他の被写体である副顔の顔枠でのコントラストピーク値が得られる焦点位置の差から、主顔と副顔との距離の差分を求めてもよい。また、本実施の形態では、一定時間ごとに繰り返してずれ量の検出を行っているが、撮像部２２で取得された画像データから顔の移動を検知し、移動後のずれ量を算出してもよい。

次に、表示部２８におけるガイダンス表示（Ｓ６１）、被写界深度内表示（Ｓ６５）の詳細について、図８〜図１１を参照して説明する。ここで、図８は、ガイダンス表示と被写界深度内表示の一形態を示す概念図であり、図８（ａ）は、ガイダンス表示の一例を示す概念図である。図８（ｂ）は、ガイダンス表示の一例を示す概念図である。図８（ｃ）は、被写界深度内表示の一例を示す概念図である。図９は、ガイダンス表示と被写界深度内表示の一形態を示す概念図であり、図９（ａ）は、ガイダンス表示の一例を示す概念図である。図９（ｂ）は、ガイダンス表示の一例を示す概念図である。図９（ｃ）は、被写界深度内表示の一例を示す概念図である。図１０は、ガイダンス表示と被写界深度内表示の一形態を示す概念図であり、図１０（ａ）は、ガイダンス表示の一例を示す概念図である。図１０（ｂ）は、ガイダンス表示の一例を示す概念図である。図１０（ｃ）は、被写界深度内表示の一例を示す概念図である。図１１は、ガイダンス表示と被写界深度内表示の一形態を示す概念図であり、図１１（ａ）は、ガイダンス表示の一例を示す概念図である。図１１（ｂ）は、ガイダンス表示の一例を示す概念図である。図１１（ｃ）は、被写界深度内表示の一例を示す概念図である。図１１（ｄ）は、被写界深度内表示の一例を示す概念図である。

ガイダンス表示は、撮像者であるユーザに、被写界深度外に存在する副顔について、その被写界深度とのずれ量及び前後関係を示すずれ情報に基づいて、副顔が被写界深度内に納まるための補助情報として、副顔の移動方向や移動距離の通知を行うものである。また、撮像部２２により画像データが継続して取得され、その継続して取得された画像データを表示部２８に逐次表示する場合、上記ガイダンス表示は、逐次表示する画像に重畳表示される。また、ガイダンス表示は、撮像装置１の設定、被写体の状態（例えば撮像装置１との距離）によって変化する。また、ガイダンス表示させる被写体は、操作部７０の４方向キーなどにより選択できるものとする。また、以下に述べるガイダンス表示の表示形態については、操作部７０の４方向キーなどによる選択や、不揮発性メモリ５６の設定情報などに予め設定することで、ユーザが設定できるものとする。

撮像装置１の設定としては、絞り値を変更する場合がある（例：Ａｖモード（絞り値優先）を使用した場合など）。この場合、システム制御部５０は、選択された絞り値に従って求められる被写界深度の距離を前述した評価値にフィードバックする。例として式（３）を用いた場合は、絞り値の変更によってコントラスト値Ｃ_ｎが変化するので、ずれ量も変化する。また、このずれ量にシステムメモリ５２に保存されたコントラスト値が含まれる場合は、目標値が変更される。

上述したように、撮像装置１の設定の変更に対してもガイダンス表示は変更される。なお、以下で説明するガイダンス表示については、絞り値を一定で固定した場合とする。

ずれ量の表示は、ずれ量計算処理の式（３）により求められた結果を、主顔と副顔の相対位置として表現するものである。この表示は、被写体の位置、絞り値に応じて、数字、マークの大きさ、色、模様、透明度、種類、表示位置、形状、動きなどを変えてよい。また、ずれ量を表示させる被写体は４方向キーなどにより選択できるものとする。

図８は、主顔が合焦となる焦点位置における被写界深度と、副顔との位置関係のずれを数値で表示する表示形態を例示している。顔枠Ｋ１〜Ｋ５は、人物Ｈ１〜Ｈ５を撮像した際に検出された顔領域を示す枠である。例えば、顔枠Ｋ３を主顔として決定した場合は、図８（ａ）に示すように、被写界深度に納まっていない顔枠Ｋ２、Ｋ５が点線などで区別して表示される。なお、被写界深度外の顔枠は、枠の種類、色、線種などが、主顔より手前側又は後ろ側で区別して表示される（例えば、手前は赤色、後ろは青色、被写界深度内は緑など）。また、被写界深度外の顔枠Ｋ２、Ｋ５の近傍には、ずれ量や被写界深度に対するずれ方向などを数値や文字で示すずれ情報Ｃ１、Ｃ２が補助情報として表示される。

次いで、図８（ａ）に例示したガイダンス表示を元に、人物Ｈ２、Ｈ４が被写界深度に納まるように移動した場合や撮像者が移動した場合は、図８（ｂ）に示すように、ずれ情報Ｃ１、Ｃ２の内容が更新されてガイダンス表示が更新される。図８（ｂ）の例では、図８（ａ）のずれ情報Ｃ１、Ｃ２に従って、人物Ｈ２、Ｈ５と撮像装置１との距離が人物Ｈ３と撮像装置１との距離に近づくように、人物Ｈ２、Ｈ５が移動した後のガイダンス表示例である。

次いで、主顔が合焦となる焦点位置における被写界深度内に副顔が納まっていると判定された場合は、図８（ｃ）に示すような被写界深度内表示に表示部２８の表示状態が切り替えられる。具体的には、人物Ｈ２、Ｈ５の顔枠Ｋ２、Ｋ５が、顔枠Ｋ１、Ｋ４と同様に、被写界深度内に納まっていることを示す枠の種類、色、線種などで表示される。

なお、ガイダンス表示、被写界深度内表示の別形態としては、図９に示すように、主顔が合焦となる焦点位置における被写界深度と、副顔との位置関係のずれを、物体のマークで表現したものであってもよい。具体的には、ガイダンス表示は、図９（ａ）に示すように、被写界深度に納まっていない顔枠Ｋ２、Ｋ５の近傍に、ずれ量や被写界深度に対するずれ方向などを、物体のマーク（風船の色や大きさなど）で示すずれ情報Ｃ３、Ｃ４などであってよい。

人物Ｈ２、Ｈ４が被写界深度に納まるように移動した場合や撮像者が移動した場合は、図９（ｂ）に示すように、ずれ情報Ｃ３、Ｃ４に表示された風船の大きさや色などが更新される。なお、図示例では、主顔の被写界深度に近づくにつれて風船の大きさが小さく表示されているが、逆に風船の大きさが大きく表示されてもよい。

次いで、主顔が合焦となる焦点位置における被写界深度内に副顔が納まっていると判定された場合は、図９（ｃ）に示すような被写界深度内表示に表示部２８の表示状態が切り替えられる。具体的には、人物Ｈ２、Ｈ５の顔枠Ｋ２、Ｋ５が被写界深度内に納まった時点で、ずれ情報Ｃ３、Ｃ４における風船が割れる（もしくは消える）ように表示される。次いで、顔枠Ｋ２、Ｋ５が、顔枠Ｋ１、Ｋ４と同様に、被写界深度内に納まっていることを示す枠の種類、色、線種などで表示される。

また、ずれ情報Ｃ３、Ｃ４における物体のマークの別例としては、図１０に示すように、主顔が合焦となる焦点位置における被写界深度と、副顔との位置関係のずれを、電球の明るさなどで表現したものであってもよい。図１０（ａ）に示すように、ガイダンス表示では、主顔が合焦となる焦点位置における被写界深度と、副顔との位置関係のずれを、電球の明るさや点灯色で表現してよい。また、人物Ｈ２、Ｈ４が被写界深度に納まるように移動した場合や撮像者が移動した場合は、図１０（ｂ）に示すように、ずれ情報Ｃ３、Ｃ４に表示された電球の明るさや点灯色などが更新される。図示例では、主顔の被写界深度に近づくにつれて、電球が明るくなるように表示されているが、逆に電球が暗くなるように表示されてもよい。

次いで、主顔が合焦となる焦点位置における被写界深度内に副顔が納まっていると判定された場合は、図１０（ｃ）に示すような被写界深度内表示に表示部２８の表示状態が切り替えられる。具体的には、人物Ｈ２、Ｈ５の顔枠Ｋ２、Ｋ５が被写界深度内に納まった時点で、ずれ情報Ｃ３、Ｃ４における電球が点滅する（もしくは消灯）ように表示される。次いで、顔枠Ｋ２、Ｋ５が、顔枠Ｋ１、Ｋ４と同様に、被写界深度内に納まっていることを示す枠の種類、色、線種などで表示される。

なお、ガイダンス表示、被写界深度内表示の別形態としては、図１１に示すように、主顔が合焦となる焦点位置における被写界深度と、ユーザが選択した副顔との位置関係のずれを表示する表示形態であってもよい。具体的には、図１１（ａ）に示すように、顔枠Ｋ２を操作部７０の４方向キーなどで選択し、その顔枠Ｋ２と被写界深度とのずれをバー表示部Ｂ１に表示してもよい。バー表示部Ｂ１にずれを表示するための選択用のアクティブな顔枠は、他の顔枠と区別できるように、枠の種類、色などが区別して表示される。バー表示部Ｂ１は、主顔の被写界深度に対して、後ろ側に外れている、被写界深度内、手前側に外れている、といった三段階以上でずれ方向が表現される。また、バー表示部Ｂ１におけるずれ量については、顔位置を示すマーク位置と被写界深度内を示すバー位置との差で表現される。

図１１（ａ）の例では、顔枠Ｋ２を選択すると、主顔の被写界深度位置よりも後ろ側に位置してるので、左（もしくは右）に縦長のバー（顔位置を示すマーク）が表示される。また、図１１（ｂ）の例では、顔枠Ｋ５を選択すると、主顔の被写界深度位置よりも手前側に位置しているので、右（もしくは左）に縦長のバーが表示される。

また、主顔が合焦となる焦点位置における被写界深度内に、ユーザが選択した副顔が納まっていると判定された場合は、図１１（ｃ）に示すような被写界深度内表示が表示部２８に表示される。具体的には、顔枠Ｋ２を選択すると、主顔の被写界深度位置に納まっているので、縦長のバーが中央の横長のバー内（被写界深度内を示すバー位置）に表示される。同様に、顔枠Ｋ３を選択すると、図１１（ｄ）に示すように、縦長のバーが中央の横長のバー内に表示される。

次に、撮像処理（Ｓ３１）の詳細について、図１２を参照して説明する。図１２は、撮像処理を示すフローチャートである。図１２に示すように、撮像処理が開始されると、システム制御部５０は、撮影開始時における日時情報をＲＴＣ４０より取得し、システムメモリ５２に記憶する（Ｓ８０）。続いて、システム制御部５０は、システムメモリ５２に記憶されているＡＥデータ（絞り値、シャッター時間など）に従って、絞り機能を有するシャッター１０１を絞り値に応じて開放して撮像部２２を露光する（Ｓ８１、Ｓ８２）。

続いて、システム制御部５０は、上述したＡＥデータのシャッター時間に基づいて、露光終了を判定し（Ｓ８３）、露光終了と判定されるまで撮像部２２を露光するように待機する。露光終了の場合、システム制御部５０は、シャッター１０１を閉じて（Ｓ８４）、撮像部２２から画像信号を読み出して画像データを取得する。ついで、システム制御部５０は、取得した画像データを、Ａ／Ｄ変換部２３、画像処理部２４、撮像部２２を介して、或いはＡ／Ｄ変換部２３から直接撮像部２２を介して、メモリ３２に書き込む（Ｓ８５）。

次いで、システム制御部５０は、メモリ制御部１５、そして必要に応じて画像処理部２４を用いて、メモリ３２に書き込まれた画像データを読み出す。次いで、システム制御部５０は、読み出した画像データについて、圧縮／伸張部１６を用いた圧縮処理等の画像処理を順次行って（Ｓ８６）、メモリ３２に処理を終えた画像データを書き込む。次いで、システム制御部５０は、メモリ３２から画像データを読み出し、メモリ制御部１５を介して表示部２８へ表示用の画像データの転送を行う（Ｓ８７）。なお、システム制御部５０は、記録媒体２００へ記録する場合、メモリ制御部１５を介してＩ／Ｆ部１８へ記録用の画像データを転送してもよい。

［変形例］
ここで、ＡＦ・ＡＥ処理（Ｓ２７）の変形例であり、撮像者側に移動を促すため、撮像装置の移動方向を通知するガイダンス表示を含む処理内容について、図１３、図１４を参照して説明する。図１３は、ＡＦ・ＡＥ処理の変形例を示すフローチャートである。図１４は、撮像者側に移動を促すガイダンス表示を例示する概念図である。なお、前述した実施形態と同一の処理については同一の符号を付して説明する。

図１３に示すように、ＡＦ・ＡＥ処理の変形例では、処理が開始されると、Ｓ６０まで前述したＡＦ・ＡＥ処理と同様の処理が行われる。Ｓ６０に次いで、システム制御部５０は、Ｓ５９、Ｓ６０で算出されたずれ情報に基づいて、主顔に対する各副顔のずれ方向がいずれも同一方向にずれているか否かを判定する（Ｓ６０ａ）。主顔に対する各副顔のずれ方向がいずれも同一方向でない場合（Ｓ６０ａ：ＮＯ）、システム制御部５０は、前述したガイダンス表示を行う（Ｓ６１）。

主顔に対する各副顔のずれ方向が同一方向である場合（Ｓ６０ａ：ＹＥＳ）、システム制御部５０は、そのずれ方向が主顔に対して手前にずれているか否かを判定する（Ｓ６０ｂ）。各副顔のずれ方向が主顔に対して手前にずれている場合（Ｓ６０ｂ：ＹＥＳ）、システム制御部５０は、撮像装置を被写体から遠ざけるように、撮像者を主顔から後退させるガイダンスを表示部２８に表示させる（Ｓ６１ａ）。具体的には、図１４（ａ）に示すように、人物Ｈ１、Ｈ５が主顔である人物Ｈ３に対して手前にずれている場合は、撮像装置を被写体から遠ざける方向に移動させるため、撮像者の後退を促すずれ情報Ｃ５がガイダンス表示として表示部２８に表示される。

また、各副顔のずれ方向が主顔に対して手前でない場合であり、主顔に対して後ろ側にずれている場合、システム制御部５０は、撮像装置を被写体へ近づけるように、撮像者を主顔側へ前進させるガイダンスを表示部２８に表示させる（Ｓ６１ａ）。具体的には、図１４（ｂ）に示すように、人物Ｈ２、Ｈ４が主顔である人物Ｈ３に対して後ろ側にずれている場合は、撮像装置を被写体に近づける方向に移動させるため、撮像者の前進を促すずれ情報Ｃ６がガイダンス表示として表示部２８に表示される。

なお、上述した実施形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。

例えば、本実施形態では、算出されたずれ情報に基づいて、主顔に合焦した際の被写界深度内から副顔が外れている場合に、被写界深度内へ副顔が納まるための情報を表示部２８に表示してユーザに通知する構成を例示した。しかしながら、ユーザへの通知は、表示部２８に限定するものではなく、スピーカーからの音声通知などであってもよい。例えば、被写界深度内へ副顔が納まるための情報をスピーカーから音声再生する場合は、被写体に対して直に通知することができる。この場合は、セルフタイマー機能を用いた撮影時などにおいて、撮像者が撮像装置１から離れてしまう場合であっても、主顔に合焦した場合の被写界深度に対する副顔のずれを通知することが可能となる。

また、上述した音声通知の通知形態については、ガイダンス表示の表示形態と同様、操作部７０の４方向キーなどによる選択した通知形態や、不揮発性メモリ５６の設定情報などに予め設定した通知形態に従ったものであってよい。また、通知形態の設定は、音声通知の通知形態又はガイダンス表示の表示形態に関する設定だけでなく、音声通知、ガイダンス表示、音声通知及びガイダンス表示の両方の中からいずれかを選択して設定するものであってもよい。

以上のように、撮像装置１は、撮像光学系により結像された光学像を撮像素子により変換し、その光学像を表す画像データを取得する撮像手段である撮像部２２を備える。また、撮像装置１は、撮像部２２により取得された画像データから人間の顔を検出する顔検出手段としてのシステム制御部５０を備える。また、撮像装置１は、検出した人間の顔から主被写体となる主顔を決定する決定手段としての操作部７０などを備える。また、撮像装置１のシステム制御部５０は、撮像光学系が被写界深度内に主顔を含む焦点位置で取得された画像データに基づいて、その焦点位置における被写界深度外に存在する顔について、被写界深度とのずれ量及び前後関係を示すずれ情報を算出する。また、撮像装置１は、算出されたずれ情報に基づいて、被写界深度外に存在する顔が被写界深度内に納まるための補助情報として、被写界深度外に存在する顔もしくは撮像装置の移動方向の情報を通知する通知手段としての表示部２８を備える。従って、撮像装置１は、主被写体のみならず副被写体についてもピントの合った集合写真を撮像することをより容易にすることができる。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明に係る撮像装置の背面外観を示す外観図である。 撮像装置の機能的構成を模式的に示すブロック図である。 撮像装置の全体的な動作を示すフローチャートである。 静止画記録モード処理を示すフローチャートである。 顔検出処理を示すフローチャートである。 ＡＦ・ＡＥ処理を示すフローチャートである。 ずれ量計算処理を示すフローチャートである。 （ａ）は、ガイダンス表示の一例を示す概念図であり、（ｂ）は、ガイダンス表示の一例を示す概念図であり、（ｃ）は、被写界深度内表示の一例を示す概念図である。 （ａ）は、ガイダンス表示の一例を示す概念図であり、（ｂ）は、ガイダンス表示の一例を示す概念図であり、（ｃ）は、被写界深度内表示の一例を示す概念図である。 （ａ）は、ガイダンス表示の一例を示す概念図であり、（ｂ）は、ガイダンス表示の一例を示す概念図であり、（ｃ）は、被写界深度内表示の一例を示す概念図である。 （ａ）は、ガイダンス表示の一例を示す概念図であり、（ｂ）は、ガイダンス表示の一例を示す概念図であり、（ｃ）は、被写界深度内表示の一例を示す概念図であり、（ｄ）は、被写界深度内表示の一例を示す概念図である。 撮像処理を示すフローチャートである。 ＡＦ・ＡＥ処理の変形例を示すフローチャートである。 （ａ）は、撮像者側に移動を促すガイダンス表示の一例を示す概念図であり、（ｂ）は、撮像者側に移動を促すガイダンス表示の一例を示す概念図である。

符号の説明

１ 撮像装置
１０ マイク
１１ 音声制御部
１２ タイミング発生部
１３ Ｄ／Ａ変換部
１５ メモリ制御部
１６ 圧縮／伸張部
１８ Ｉ／Ｆ部
１９ 記録部
２２ 撮像部
２３ Ａ／Ｄ変換部
２４ 画像処理部
２８ 表示部
２９ スピーカー
３０ 電源部
３２ メモリ
３３〜３６、１１２ コネクタ
３７ Ｉ／Ｆ部
３９ 電源制御部
４０ ＲＴＣ
５０ システム制御部
５２ システムメモリ
５６ 不揮発性メモリ
６０ モード切替スイッチ
６１ シャッターボタン
６２ 第１シャッタースイッチ
６４ 第２シャッタースイッチ
７０ 操作部
７２ 電源スイッチ
９８ 記録媒体着脱検知部
１０１ シャッター
１０２ バリア
１０３ 撮像レンズ
１１０ 通信部
１１１ 接続ケーブル
２００ 記録媒体
２０１ スロット

Claims (11)

1. 撮像光学系により結像された光学像を撮像素子により変換し、前記光学像を表す画像データを取得する撮像手段と、
   前記撮像手段により取得された画像データから人間の顔を検出する顔検出手段と、
   前記顔検出手段が検出した人間の顔から主被写体となる主顔を決定する決定手段と、
   前記撮像光学系が被写界深度内に前記主顔を含む焦点位置で取得された画像データに基づいて、前記顔検出手段が検出した顔のうち、前記主顔以外の顔であって、当該焦点位置における被写界深度外に存在する顔について、前記被写界深度とのずれ量及び前後関係を示すずれ情報を算出する算出手段と、
   前記算出手段により算出されたずれ情報に基づいて、前記被写界深度外に存在する顔が前記被写界深度内に納まるための補助情報として、前記被写界深度外に存在する顔もしくは撮像装置の移動方向の情報を通知する通知手段と、
   を備えることを特徴とする撮像装置。
2. 前記通知手段は、前記補助情報として、さらに、前記算出手段により算出されたずれ情報に基づいて、前記被写界深度外に存在する顔もしくは撮像装置の移動距離の情報を通知することを特徴とする請求項１に記載の撮像装置。
3. 前記通知手段は、前記主被写体に対して、前記被写界深度外に存在する顔が前記被写界深度からいずれも同一方向に外れている場合に、前記補助情報として、前記撮像装置の移動方向の情報を通知することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記通知手段が前記補助情報を通知する通知形態を設定するための設定手段を更に備え、
   前記通知手段は、前記設定手段により設定された通知形態に従って、前記補助情報を通知する請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記撮像手段が、前記画像データを継続して取得し、
   前記撮像手段が、継続して取得した画像データを逐次表示する表示手段をさらに備え、
   前記通知手段は、前記補助情報を、前記画像データに重畳表示して通知することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記算出手段は、前記ずれ情報を継続して算出し、
   前記通知手段は、前記算出手段により算出されたずれ情報の更新に応じて、前記通知すべき前記補助情報を更新することを特徴とする請求項５に記載の撮像装置。
7. 前記通知手段は、前記算出手段により算出されたずれ情報に基づいて、前記被写界深度外に存在する顔が前記被写界深度内に納まるようになった場合、当該被写界深度外に存在する顔が前記被写界深度内に存在することを示す情報を通知することを特徴とする請求項６に記載の撮像装置。
8. 前記被写界深度外に存在する顔が複数存在する場合、前記算出手段は前記被写界深度外に存在する顔の各々について前記ずれ量を算出するとともに、前記通知手段は前記被写界深度外に存在する顔の各々について前記補助情報を通知することを特徴とする請求項１乃至７のいずれか一項に記載の撮像装置。
9. 前記被写界深度外に存在する顔のいずれか一つの被写体を選択する選択手段を更に備え、
   前記通知手段は、前記選択手段により選択された顔についてのみ、前記補助情報を通知することを特徴とする請求項８に記載の撮像装置。
10. 撮像光学系により結像された光学像を撮像素子により変換し、前記光学像を表す画像データを取得する撮像手段を備える撮像装置の制御方法であって、
    前記撮像手段により取得された画像データから人間の顔を検出する顔検出工程と、
    前記顔検出工程により検出した人間の顔から主被写体となる主顔を決定する決定工程と、
    前記撮像光学系が被写界深度内に前記主顔を含む焦点位置で取得された画像データに基づいて、前記顔検出工程により検出した顔のうち、前記主顔以外の顔であって、当該焦点位置における被写界深度外に存在する顔について、前記被写界深度とのずれ量及び前後関係を示すずれ情報を算出する算出工程と、
    前記算出工程により算出されたずれ情報に基づいて、前記被写界深度外に存在する顔が前記被写界深度内に納まるための補助情報として、前記被写界深度外に存在する顔もしくは撮像装置の移動方向の情報を通知する通知工程と、
    を有することを特徴とする撮像装置の制御方法。
11. 請求項１０に記載の撮像装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images