JP2010021956A

JP2010021956A - 撮像装置

Info

Publication number: JP2010021956A
Application number: JP2008183021A
Authority: JP
Inventors: Yasutaka Naka; 康孝仲; Satoshi Aoyama; 聡青山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-07-14
Filing date: 2008-07-14
Publication date: 2010-01-28

Abstract

【課題】評価値を取得するための指示を受け付けた後にユーザの意図した被写体が画角内で移動した場合であっても、適正な評価値を得て、適正な制御処理を行う。
【解決手段】撮像装置は、複数の被写体を撮像して複数の被写体の像を含む画像データを生成する撮像手段と、撮像手段により生成された画像データから、複数の被写体に対応した複数の被写体領域を抽出する抽出手段と、抽出手段により抽出された複数の被写体領域から、主被写体領域を判定する判定手段と、画像データに応じた画像に重なるように、主被写体領域の位置を示すオブジェクトを表示させる表示制御手段と、評価値を取得し、取得した評価値に基づく制御処理を行う動作制御手段と、評価値を取得するための第１の指示と撮影処理を行うための第２の指示とを受け付ける入力手段とを備え、判定手段は、第１の指示を受ける前に、複数の被写体領域から選択した被写体領域を主被写体領域として判定する。
【選択図】図１

Description

本発明は、撮像装置に関する。

デジタルスチルカメラ等の撮影装置は、人物を撮影する場合、顔検出処理を行って主被写体となる人物を自動的に判別し、主被写体に露出や焦点を合わせて撮影処理を行う。

特許文献１に示された撮像装置では、シャッターボタンが半押しされることによりＳＷ１がオンし、シャッターボタンが全押しされることによりＳＷ２がオンする。この撮像装置では、ＳＷ１がオンする前の表示装置にてフレーミングを行っている際に、撮像センサにより取得された画像信号を用いて定期的に顔検出処理を行って顔情報を生成している。そして、この撮像装置では、ＳＷ１がオンしたときに、直前の顔検出処理により生成された最新の顔情報を用いてＡＥ処理やＡＦ処理を行い、ＳＷ２がオンしたときに、そのＡＥ処理やＡＦ処理の結果を用いて撮影処理を行う。これにより、特許文献１によれば、ＳＷ１からＳＷ２までの時間を短くでき、シャッタータイムラグを低減できるとされている。
特開２００７−７４３９４号公報

特許文献１に示された撮像装置では、ライブビュー中の画像データから人物の顔を検出し、その人物の顔の位置に枠を表示する。ユーザは、ＡＦ及びＡＥを合わせる対象となる被写体がその人物でよいと判断した場合、シャッターボタンを半押ししてＳＷ１をオンさせる。このＳＷ１がオンしたことに応答して、撮像装置は、ＳＷ１がオンしたときに表示していた枠の位置に対してＡＦ／ＡＥ処理のための評価値の取得を開始する。しかし、ＡＦ／ＡＥ処理のための評価値を取得している間に人物が選択された枠の位置から移動してしまうと、枠の位置には背景の画像などがくることになるため、この枠の位置にきた背景などのＡＦ／ＡＥが合ってしまうことになる。

これを解決する一手法として、ＳＷ１がオンした後のＡＦ／ＡＥ処理中もライブビュー中の画像データから人物の顔を検出し続け、検出された顔領域に対してＡＦ／ＡＥ処理のための評価値の取得を行う方法が考えられる。しかし、画角内に複数の人物が存在する場合に、撮像装置が複数の顔を検出することになるが、評価値の取得を行う対象となる顔を複数の顔のうちのどの顔に設定するかは撮像装置が自動的に決める。そのため、ユーザがＳＷ１をオンさせることにより選択した人物（ユーザの意図した人物）と同じ人物の顔が、ＡＦ／ＡＥ処理のための評価値の取得を行う対象として選択されるとは限らない。すなわち、この方法によれば、背景などにＡＦ／ＡＥが合ってしまうことは避けられるものの、ユーザの意図した人物とは異なる人物の顔にＡＦ／ＡＥが合ってしまう可能性がある。

本発明の目的は、評価値を取得するための指示を受け付けた後にユーザの意図した被写体が画角内で移動した場合であっても、ユーザの意図した被写体に対する適正な評価値を得て、それにより適正な制御処理を行うことにある。

本発明に係る撮像装置は、複数の被写体を撮像して前記複数の被写体の像を含む画像データを生成する撮像手段と、前記撮像手段により生成された前記画像データから、前記複数の被写体に対応した複数の被写体領域を抽出する抽出手段と、前記抽出手段により抽出された複数の被写体領域から、主被写体領域を判定する判定手段と、前記画像データに応じた画像に重なるように、前記主被写体領域の位置を示すオブジェクトを表示部に表示させる表示制御手段と、評価値を取得し、取得した評価値に基づく制御処理を行う動作制御手段と、評価値を取得するための第１の指示と撮影処理を行うための第２の指示とをそれぞれ受け付ける入力手段とを備え、前記判定手段は、前記第１の指示を受ける前に、前記複数の被写体領域から選択した被写体領域を主被写体領域として判定し、前記第１の指示に応じて、前記主被写体領域に含まれるべき被写体を確定して、確定した被写体に対応した被写体領域を主被写体領域として逐次的に判定し、前記動作制御手段は、前記第１の指示に応じて、前記判定手段により判定された前記主被写体領域から評価値を取得し、前記第２の指示に応じて、取得した評価値に基づく制御処理を行うことを特徴とする。

本発明によれば、評価値を取得するための指示を受け付けた後にユーザの意図した被写体が画角内で移動した場合であっても、ユーザの意図した被写体に対する適正な評価値を得ることができ、それにより適正な制御処理を行うことができる。

本発明の実施形態に係る撮像装置１００を、図１を用いて説明する。図１は、本発明の実施形態に係る撮像装置１００の構成を示す図である。

撮像装置１００は、次の構成要素を備える。

バリア１０２は、撮影レンズ１０を保護し、撮像センサ１４の汚れや破損を防止する。

撮影レンズ１０は、撮像センサ１４の撮像面（画素配列）に被写体の光学像を形成する。

シャッター１２は、絞り機能を有する。シャッター１２は、撮影レンズ１０を通過後に撮像センサ１４へ導かれる光の量を調節する。

撮像部（撮像手段）１７は、複数の被写体を撮像して、その複数の被写体を含む画像データを生成する。撮像部１７は、撮像センサ１４及びＡ／Ｄ変換器１６を含む。

撮像センサ１４は、撮像面（画素配列）に形成された被写体の光学像を電気信号に変換する。撮像センサ１４は、主に、画素配列、読み出し回路、出力アンプを含む。画素配列における各画素は、光電変換して生じた電荷を蓄積する電荷蓄積動作を所定の電荷蓄積時間だけ行う。読み出し回路は、蓄積した電荷に応じた信号を各画素から出力アンプへ読み出す。出力アンプは、読み出された信号に基づいて画像信号（アナログ信号）を生成してＡ／Ｄ変換器１６へ出力する。撮像センサ１４は、例えば、ＣＣＤイメージセンサー、ＣＭＯＳイメージセンサーである。

Ａ／Ｄ変換器１６は、撮像センサ１４から出力された画像信号（アナログ信号）をＡ／Ｄ変換して画像データ（ディジタル信号）を生成して画像処理回路２０又はメモリ制御回路２２へ出力する。

タイミング発生回路１８は、撮像センサ１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御される。

画像処理回路２０は、Ａ／Ｄ変換器１６から出力された画像データを直接或いはメモリ制御回路２２を経由して受ける。画像処理回路２０は、受けた画像データに対して、所定の画素補間処理や色変換処理を行う。

また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果をシステム制御回路５０へ供給する。これにより、システム制御回路５０は、焦点調節制御部４２を制御して、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理を行う。システム制御回路５０は、露光制御部４０を制御して、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理を行う。システム制御回路５０は、ＴＴＬ（スルー・ザ・レンズ）方式のＥＦ（フラッシュプリ発光）処理を行う。システム制御回路５０は、ＴＴＬ（スルー・ザ・レンズ）方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換器１６から出力された画像データは、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

画像表示メモリ２４は、画像表示部２８に表示させるための画像データを一時的に記憶する。

Ｄ／Ａ変換器２６は、画像表示メモリ２４からメモリ制御回路２２経由で受けた画像データをＤ／Ａ変換して表示用の画像信号（アナログ信号）を生成して画像表示部２８へ出力する。

画像表示部２８は、Ｄ／Ａ変換器２６から出力された表示用の画像信号に応じた画像を表示する。画像表示部２８は、例えば、ＴＦＴ−ＬＣＤ等を含む。撮像した画像データを画像表示部２８に逐次表示させれば、画像表示部２８を電子ファインダーとして機能させることが可能である。

また、画像表示部２８は、システム制御回路５０の指示により任意に表示動作をＯＮ／ＯＦＦすることが可能である。必要がない場合に画像表示部２８の表示動作をＯＦＦさせることにより、撮像装置１００の電力消費を大幅に低減することが出来る。

さらに、画像表示部２８は、回転可能なヒンジ部によって撮像装置１００本体と結合されており、自由な向き、角度を設定して電子ファインダー機能や再生表示機能、各種表示機能を実現することが可能である。

また、画像表示部２８の表示部分を撮像装置１００に向けて格納することが可能であり、この場合は画像表示部開閉検知部１０６により、格納状態を検知して画像表示部２８の表示動作を停止することが出来る。

メモリ３０は、撮影した静止画像データや動画像データを格納する。メモリ３０は、所定枚数の静止画像データや所定時間の動画像データを格納するのに十分な記憶容量を有している。

これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

圧縮・伸長回路３２は、メモリ制御回路２２又は画像処理回路２０から受けた画像データに対して、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮し、圧縮した画像データをメモリ３０に格納する。あるいは、圧縮・伸長回路３２は、メモリ３０から読み出された画像データを伸長してシステム制御回路５０等へ供給する。

露光制御部４０は、シャッター１２の開度を調節することにより、撮像センサ１４の露光量を制御する。露光制御部４０は、フラッシュ４０４と連携することによりフラッシュ調光機能も実現できる。

焦点調節制御部４２は、撮影レンズ１０の位置を調節することにより、撮影レンズ１０のフォーカシングを制御する。

ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。

バリア制御部４６は、バリア１０２の動作を制御する。

コネクタ４８は、アクセサリーシューとも呼ばれ、フラッシュ装置４００との電気接点や機械的な固定部も合わせて備えている。フラッシュ装置４００は、コネクタ４０２及びフラッシュ部４０４を含む。コネクタ４０２は、撮像装置１００のアクセサリーシュー（コネクタ４８）と嵌合する。フラッシュ部４０４は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

メモリ５２は、システム制御回路５０の動作用の定数、変数、プログラム等を記憶する。

報知部５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等をユーザへ報知する。報知部５４は、例えば、液晶表示装置、スピーカーを含む。撮像装置１００の入力部３００の近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

また、報知部５４は、その一部の機能が光学ファインダー１０４内に設置されている。

報知部５４による報知内容のうち、ＬＣＤ等に表示するものは、例えば、次の通りである。シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示である。時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示である。

また、報知部５４の報知内容のうち、光学ファインダー１０４内に表示するものは、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示である。

不揮発性メモリ５６は、システム制御回路５０を動作させるためのプログラムなどを記憶する。不揮発性メモリ５６は、例えば、電気的に消去・記録可能なＥＥＰＲＯＭ等が用いられる。

入力部（入力手段）３００（６０、６２、６６、６８及び７０）は、システム制御回路５０の各種の動作指示を受け付ける。入力部３００は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。入力部３００は、モードダイアル６０、シャッタースイッチ６２、画像表示ＯＮ／ＯＦＦスイッチ６６、単写／連写スイッチ６８、記録先選択スイッチ１１５、接続／切断スイッチ１１６、及び操作部７０を含む。

モードダイアル６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

シャッタースイッチ６２は、第１の指示と第２の指示とをユーザからそれぞれ受け付ける。

第１のスイッチＳＷ１は、シャッタースイッチ６２が第１の状態（例えば、半押し状態）になるとオンして、評価値を取得するための第１の指示をシャッタースイッチ６２から受けるとともにその第１の指示をシステム制御回路５０へ供給する。システム制御回路５０（の後述する動作制御部５０ｂ）は、第１の指示に応じて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

第２のスイッチＳＷ２は、シャッタースイッチ６２が第２の状態（例えば、全押し状態）になるとオンして、撮影処理を行うための第２の指示をシャッタースイッチ６２から受けるとともにその第２の指示をシステム制御回路５０へ供給する。システム制御回路５０（の後述する動作制御部５０ｂ）は、第２の指示に応じて、一連の撮影処理の開始を指示する。一連の撮影処理では、露光処理、現像処理、記録処理が行われる。露光処理では、撮像センサ１４から出力された画像信号がＡ／Ｄ変換器１６により画像データへ変換され、変換された画像データがメモリ制御回路２２を介してメモリ３０に書き込まれる。現像処理では、メモリ３０に書き込まれた画像データが画像処理回路２０へ読み出され、読み出された画像データが画像処理回路２０やメモリ制御回路２２により画像処理（現像処理）される。記録処理では、画像処理された画像データが圧縮・伸長回路３２で圧縮され、圧縮された画像データが記録媒体２００或いは２１０に書き込まれる。

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８のＯＮ／ＯＦＦを設定するための指示を受け付ける。画像表示ＯＮ／ＯＦＦスイッチ６６を用いて、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ−ＬＣＤ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

単写／連写スイッチ６８は、第２のスイッチＳＷ２がオンした場合に１駒の撮影を行って待機状態とする単写モードと、第２のスイッチＳＷ２がオンしている間は連続して撮影を行い続ける連写モードとを切り替えるための指示を受け付ける。

記録先選択スイッチ１１５は、撮像した画像データの記録先を指定するための指示を受け付ける。例えば、ユーザは、記録先選択スイッチ１１５を用いて、撮像した画像データの記録先を『外部記憶装置』、『記録媒体』、『外部記憶装置及び記録媒体』から選択することが出来る。

接続／切断スイッチ１１６は、外部装置との通信の確立・切断を指定するための指示を受け付ける。

操作部７０は、各種ボタンやタッチパネル等を含む。例えば、操作部７０は、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。例えば、操作部７０は、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタンを含む。例えば、操作部７０は、パノラマモード等の撮影及び再生を実行する際に各種機能の選択及び切り替えを設定する選択／切り替えボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の決定及び実行を設定する決定／実行ボタンを含む。例えば、操作部７０は、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューＯＮ／ＯＦＦスイッチを含む。例えば、操作部７０は、ＪＰＥＧ圧縮の圧縮率を選択するため或いは撮像センサの信号をそのままディジタル化して記録媒体に記録するＣＣＤＲＡＷモードを選択するためのスイッチである圧縮モードスイッチを含む。例えば、操作部７０は、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを設定することが出来る再生モードスイッチを含む。例えば、操作部７０は、撮影モード状態において、撮影した画像をメモリ３０或いは記録媒体２００或いは２１０から読み出して画像表示部２８によって表示する再生動作の開始を指示する再生スイッチ等を含む。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

コネクタ８２は、電源装置５００に接続される。電源装置５００は、コネクタ８４及び電源部８６を含む。コネクタ８４は、コネクタ８２に嵌合可能に構成されている。電源部８６は、例えば、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

インタフェース９０は、記録媒体２００とのインタフェースである。インタフェース９０及び９４は、記録媒体２１０とのインタフェースである。

コネクタ９２は、記録媒体２００に接続される。記録媒体２００は、コネクタ２０６、インターフェース２０４、及び記録部２０２を含む。記録媒体２００は、例えば、半導体メモリなどのメモリカード、又は、磁気ディスクなどの外付けのハードディスクである。

コネクタ９４は、記録媒体２１０に接続される。記録媒体２１０は、コネクタ２１６、インターフェース２１４、及び記録部２１２を含む。記録媒体２１０は、例えば、半導体メモリなどのメモリカード、又は、磁気ディスクなどの外付けのハードディスクである。記録媒体着脱検知部９８は、コネクタ９２に記録媒体２００が装着されているか否かを検知し、コネクタ９６に記録媒体２１０が装着されているか否かを検知する。

なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。

インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標））カード等の規格に準拠したものを用いて構成して構わない。インタフェース９０及び９４とコネクタ９２及び９６とをＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、次のような利点がある。各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。ここで、各種通信カードは、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等である。

光学ファインダ１０４は、画像表示部２８による電子ファインダー機能を使用しない場合でも、撮影を行うために用いることが可能である。また、光学ファインダー１０４内には、報知部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

画像表示部開閉検知部１０６は、画像表示部２８の表示部分を撮像装置１００に向けて画像表示部２８を格納した格納状態にあるかどうかを検知する。画像表示部開閉検知部１０６がその格納状態にあると検知した場合、システム制御回路５０は、画像表示部２８の表示動作を停止して不要な電力消費を禁止することが可能である。

通信制御部１１１は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ等の有線通信を制御する。

コネクタ１１２は、通信制御部１１１による制御の下、ＵＳＢやＩＥＥＥ１３９４等の規格により他の機器と有線通信する。

通信制御部１１３は、ＩＥＥＥ８０２.１１ｂ、ＩＥＥＥ８０２.１１ｇ等の無線ＬＡＮ通信、Ｂｌｕｅｔｏｏｔｈ等のスペクトラム拡散通信、ＩｒＤＡ等の赤外線通信、等の各種の無線通信を制御する。

コネクタ１１４は、通信制御部１１３による制御の下、ＩＥＥＥ８０２.１１ｂ、ＩＥＥＥ８０２.１１ｇ等の無線ＬＡＮ通信、Ｂｌｕｅｔｏｏｔｈ等のスペクトラム拡散通信、ＩｒＤＡ等の赤外線通信、等により無線接続するためのアンテナである。

ここでは、有線用コネクタ及び無線接続アンテナの両方をシステム構成にもつとして説明を行うが、有線接続のみ、無線接続のみのシステム構成としても問題ない。

顔領域判定処理部（抽出手段、判定手段）５００は、撮像部１７により生成され画像処理回路２０により画像処理された画像データを、画像処理回路２０から受ける。顔領域判定処理部５００は、その画像データから、複数の被写体に対応した複数の被写体領域を抽出する。複数の被写体のそれぞれは、例えば、人物の顔である。顔領域判定処理部５００は、例えば、画像データと標準パターンとをパターンマッチングする顔検出処理を行うことにより、複数の顔領域を検出する。顔領域判定処理部５００は、検出した顔の大きさや、目・鼻・口の大きさ等の特徴量を複数の顔領域ごとに含む顔情報を画像処理回路２０経由でシステム制御回路５０へ出力する。

なお、本発明における顔検出に関しては、公知の顔検出技術を用いることとする。公知の顔検出技術としては、ニューラルネットワークに代表される学習を用いた手法、目や鼻や口といった形状に特徴のある部位を、画像領域からテンプレートマッチングを用い探し出し類似度が高ければ顔とみなす手法があげられる。また、他にも、肌の色や目の形といった画像特徴量を検出し統計的解析を用いた手法等、多数提案されており、一般的にはこれらの手法を複数組み合わせて顔認識するのが一般的である。

具体的な例としては特開平２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

顔領域判定処理部５００は、抽出した複数の被写体領域から、主被写体領域を判定する。例えば、顔領域判定処理部５００は、複数の顔領域から、主顔領域を判定する。

具体的には、顔領域判定処理部５００は、第１の指示を受ける前に、複数の被写体領域から選択した被写体領域を主被写体領域として判定する。顔領域判定処理部５００は、第１の指示に応じて、主被写体領域に含まれるべき被写体を確定して、確定した被写体に対応した被写体領域を主被写体領域として判定する。

例えば、顔領域判定処理部５００は、第１の指示に応じて、抽出した複数の被写体領域から、直前に判定した主被写体領域の特徴量との差が閾値以下でありかつ最も小さい特徴量を有する被写体領域を、確定した被写体に対応した主被写体領域として判定する。

あるいは、例えば、顔領域判定処理部５００は、第１の指示に応じて、抽出した複数の被写体領域から、直前に判定した主被写体領域に最も近くに位置する被写体領域を、確定した被写体に対応した主被写体領域として判定する。

あるいは、例えば、顔領域判定処理部５００は、第１の指示に応じて、直前に判定した主被写体領域を含む領域であって撮像センサにより直前に生成された画像データにおける一部の領域である近傍領域から、１以上の被写体領域を抽出する。ここで、顔領域判定処理部５００は、直前に判定した主被写体領域の大きさに基づいて、その近傍領域を決定する。そして、顔領域判定処理部５００は、その抽出した１以上の被写体領域から、確定した被写体に対応した主被写体領域を判定する。

あるいは、例えば、顔領域判定処理部５００は、第１の指示に応じて、抽出した複数の被写体領域から、直前に判定した主被写体領域の特徴量との差が最も小さい特徴量を有する被写体領域を、確定した被写体に対応した主被写体領域として判定する。

あるいは、例えば、顔領域判定処理部５００は、第１の指示に応じて、主被写体領域が得られなかった場合、直前に判定した主被写体領域を新たに主被写体領域として判定する。

システム制御回路５０は、撮像装置１００を全体的に制御する。システム制御回路５０は、表示制御部（表示制御手段）５０ａ、及び動作制御部（動作制御手段）５０ｂを含む。

表示制御部５０ａは、画像データにおける主被写体領域の画素位置を示す情報を顔領域判定処理部５００から受け取る。表示制御部５０ａは、受け取った情報に応じて、主被写体領域の位置を示すオブジェクトを生成してメモリ制御回路２２及びＤ／Ａ変換器２６経由で画像表示部２８へ供給する。これにより、表示制御部５０ａは、画像データに応じた画像に重なるように、主被写体領域の位置を示すオブジェクト（図９に示す主顔領域枠ＦＲ１など）を画像表示部２８に表示させる。

動作制御部５０ｂは、評価値を取得し、取得した評価値に基づく制御処理を行う。動作制御部５０ｂは、第１の指示に応じて、顔領域判定処理部５００により判定された主被写体領域から評価値を取得する。

具体的には、動作制御部５０ｂは、第１の指示に応じて取得した評価値を、露出制御、焦点調節、フラッシュプリ発光制御、及びホワイトバランス制御の少なくとも１つに用いる。例えば、動作制御部５０ｂは、第１の指示に応じて取得した評価値を、露出制御に用いてＡＥ処理を行い、適正な露出値が得られるように、シャッター１２の開度と撮像センサ１４の各画素の電荷蓄積時間とを調節する。例えば、動作制御部５０ｂは、第１の指示に応じて取得した評価値を、焦点調節に用いてＡＦ処理を行い、撮影レンズ１０の焦点が撮像センサ１４の撮像面上に位置するようにする。

そして、動作制御部５０ｂは、第２の指示に応じて、取得した評価値に基づく制御処理を行う。

このように、ユーザから受け付けた第１の指示に応じて、主被写体領域に含まれるべき被写体を確定するので、ユーザの意図した被写体を主被写体として確定することができる。また、確定した被写体に対応した被写体領域を主被写体領域として逐次的に判定するので、主被写体が移動した場合に、主被写体の動きに追従して主被写体領域を判定することができる。

さらに、主被写体の動きに追従して判定された主被写体領域からＡＥ処理やＡＦ処理に用いるための評価値を取得するので、ユーザの意図した被写体に対する適正な評価値を得ることができる。そして、第２の指示に応じて、取得された評価値に基づく撮影処理を行うので、適正な制御処理を行うことができる。

すなわち、評価値を取得するための指示を受け付けた後にユーザの意図した被写体が画角内で移動した場合であっても、ユーザの意図した被写体に対する適正な評価値を得ることができ、それにより適正な制御処理を行うことができる。

次に、実施形態に係る撮像装置１００の動作を詳細に説明する。

図２〜図４は、実施形態に係る撮像装置１００の動作における主ルーチンのフローチャートを示す。

電池交換等の電源投入により、システム制御回路５０は、フラグや制御変数等を初期化し（ステップＳ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（ステップＳ１０２）。

システム制御回路５０は、モードダイアル６０の設定位置を判断し、モードダイアル６０が電源ＯＦＦに設定されていると判断した場合（ステップＳ１０３）、次の制御を行う。システム制御回路５０は、各表示部の表示を終了状態に変更し、バリア１０２を閉じて撮像部１７を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録する。システム制御回路５０は、電源制御部８０により画像表示部２８を含む撮像装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（ステップＳ１０５）、処理をステップＳ１０３に戻す。

システム制御回路５０は、モードダイアル６０が撮影モードに設定されていると判断した場合（ステップＳ１０３）、処理をステップＳ１０６に進める。

システム制御回路５０は、モードダイアル６０がその他のモードに設定されていると判断した場合（ステップＳ１０３）、選択されたモードに応じた処理を実行し（ステップＳ１０４）（Ａ）、処理をステップＳ１０３へ戻す。

システム制御回路５０は、電源制御部８０により電池等により構成される電源部８６の残容量や動作状況に問題があるか否かを判断する（ステップＳ１０６）。システム制御回路５０は、問題があると判断した場合、報知部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、処理をステップＳ１０３に戻す。

システム制御回路５０は、電源部８６の残容量や動作状況に問題が無いと判断した場合（ステップＳ１０６）、記録媒体着脱検知部９８を介して記録媒体２００或いは２１０の動作状態を検知する。システム制御回路５０は、検知した記録媒体２００或いは２１０の動作状態に、撮像装置１００による画像データの記録再生動作に関して、問題があるか否かを判断する（ステップＳ１０７）。システム制御回路５０は、記録媒体２００或いは２１０の動作状態に問題があると判断した場合、報知部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、処理をステップＳ１０３に戻す。

システム制御回路５０は、記録媒体２００或いは２１０の動作状態に問題が無いと判断した場合（ステップＳ１０７）、処理をステップＳ１０９に進める。

システム制御回路５０は、単写撮影／連写撮影を設定する単写／連写スイッチ６８の設定状態を調べる（ステップＳ１０９）。システム制御回路５０は、単写撮影が選択されていると判断した場合、単写／連写フラグを単写に設定し（ステップＳ１１０）、処理をステップＳ１１２に進める。システム制御回路５０は、連写撮影が選択されていると判断した場合、単写／連写フラグを連写に設定し（ステップＳ１１１）、処理をステップＳ１１２に進める。

単写／連写スイッチ６８によれば、第２のスイッチＳＷ２がオンした場合に１駒の撮影を行って待機状態とする単写モードと、第２のスイッチＳＷ２がオンしている間は連続して撮影を行い続ける連写モードとを任意に切り替えて設定切り替えすることが出来る。

なお、単写／連写フラグの状態は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

システム制御回路５０は、報知部５４を用いて画像や音声により撮像装置１００の各種設定状態の表示を行う（ステップＳ１１２）。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８も用いて画像や音声により撮像装置１００の各種設定状態の表示を行う。

続いて、システム制御回路５０は、画像表示ＯＮ／ＯＦＦスイッチ６６の設定状態を調べ（ステップＳ１１３）、画像表示ＯＮに設定されていると判断した場合、処理をステップＳ１１４に進める。

さらに、システム制御回路５０は、画像表示部開閉検知部１０６により画像表示部２８が格納状態（閉状態）にあるか表示状態（開状態）にあるかを判断する（ステップＳ１１４）。システム制御回路５０は、表示状態（開状態）にあると判断した場合、画像表示フラグを設定すると共に（ステップＳ１１５）、画像表示部２８の画像表示をＯＮ状態に設定する（ステップＳ１１６）。さらに、システム制御回路５０は、撮像した画像データを逐次表示するスルー表示状態に設定して（ステップＳ１１７）、処理をステップＳ１２０に進める。

なお、画像表示フラグの状態は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

スルー表示状態では、撮像センサ１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示する。これにより、撮像装置１００は、画像表示部２８による電子ファインダー機能を実現する。

システム制御回路５０は、画像表示ＯＮ／ＯＦＦスイッチ６６が画像表示ＯＦＦに設定されていると判断した場合（ステップＳ１１３）、処理をステップＳ１１８に進める。

システム制御回路５０は、画像表示部開閉検知部１０６により画像表示部２８が格納状態（閉状態）にあると判断した場合（ステップＳ１１４）、処理をステップＳ１１８に進める。

そして、システム制御回路５０は、画像表示フラグを解除すると共に（ステップＳ１１８）、画像表示部２８の画像表示をＯＦＦ状態に設定して（ステップＳ１１９）、処理をステップＳ１２０に進める。

なお、画像表示ＯＦＦの場合、撮像装置１００は、画像表示部２８による電子ファインダー機能を使用せず、光学ファインダー１０４を用いた光学ファインダー機能を実現する。この場合、電力消費量の大きい画像表示部２８やＤ／Ａ変換器２６等の消費電力を削減することが可能となる。

システム制御回路５０は、ステップＳ１２０において、主顔判定モードを第１の主顔判定処理に設定し（Ｂ）、ステップＳ１３１に進む。

以降では、システム制御回路５０が、ユーザによる第１のスイッチＳＷ１の操作を検出するまでの間、すなわち、第１の指示を受ける前に、次の処理を行う。システム制御回路５０は、逐次的に画像処理回路２０に読み出した画像データから、顔検出判定処理部５００により複数の顔領域を抽出し、主顔判定モードに従って第１の主顔判定処理により主顔領域を判定する。さらに、画像処理回路２０は、撮影した全画素数のうちの主顔領域を切り取って抽出し、ＡＦ／ＡＥ評価値を取得する。システム制御回路５０は、得られた評価値をもとに、露出が適正になるよう露光制御部４０を制御し、焦点が合うように焦点調節制御部４２を制御することにより、主被写体人物に露出及び焦点が合ったスルー画像を表示することができる。さらに、システム制御回路５０は、画像表示部２８の画面内に、画像データに重ねて主顔領域枠をリアルタイムに表示することにより、自動的に判定した主顔領域をユーザへ通知する。

第１の主顔判定処理の詳細については、後述する。

そして、システム制御回路５０は、第１のスイッチＳＷ１がオフしていると判断した場合（ステップＳ１３１）、処理をステップＳ１０３に戻す。

システム制御回路５０は、第１のスイッチＳＷ１がオンしていると判断した場合（ステップＳ１３１）、主顔判定モードを第２の主顔判定処理に設定し、ステップＳ１３４に進む。

以降では、システム制御回路５０が、ユーザにより第１のスイッチＳＷ１がオフされるまでの間、すなわち、第１の指示に応じて、次の処理を行う。システム制御回路５０は、逐次的に画像処理回路２０に読み出した画像データから、顔検出判定処理部５００により複数の顔領域を抽出し、主顔判定モードに従って第２の主顔判定処理により主顔領域を判定する。さらに、画像処理回路２０は、撮影した全画素数のうちの主顔領域を切り取って抽出し、ステップＳ１３４以降に示す撮影のための焦点調節・測光処理（ＡＦ／ＡＥ処理）を行う。さらに、システム制御回路５０は、画像表示部２８の画面内に、画像データに重ねて主顔領域枠をリアルタイムに表示することにより、自動的に判定した主顔領域をユーザへ通知する。

第２の主顔判定処理の詳細については、後述する。

システム制御回路５０は、焦点調節処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する（ステップＳ１３４）。システム制御回路５０は、測光処理において、必要であればフラッシュの設定も行う。

この焦点調節・測光処理（ステップＳ１３４）の詳細は、図５を用いて後述する。図５は、焦点調節・測光処理（ステップＳ１３４）の詳細を示すフローチャートである。

システム制御回路５０は、焦点調節・測光処理ステップＳ１３４を終えたならば、次の判断を行う。システム制御回路５０は、設定された撮影処理モードと、焦点調節・測光処理ステップＳ１３４において決定した露出結果とから、設定すべきシャッター速度が機械シャッターの最高速側のシャッター秒時を超えているか否かを判断する（ステップＳ１３５）。システム制御回路５０は、超えていないと判断した場合、機械シャッターでのシャッター秒時の設定を行い（ステップＳ１３６）、処理をステップＳ１３８に進める。

システム制御回路５０は、超えていると判断した場合、機械シャッターと電子シャッターとを併用するシャッター秒時の設定を行い（ステップＳ１３７）、処理をステップＳ１３８に進める。

システム制御回路５０は、その内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断する（ステップＳ１３８）。システム制御回路５０は、画像表示フラグがＯＮ状態であると判断した場合、画像表示部２８の表示状態をスルー表示状態に設定して（ステップＳ１３９）、処理をステップＳ１４０に進める。システム制御回路５０は、画像表示フラグがＯＦＦ状態であると判断した場合、画像表示部２８の表示状態をスルー表示状態に設定せずに、処理をステップＳ１４０に進める。

システム制御回路５０は、第２のスイッチＳＷ２がＯＦＦされており（ステップＳ１４０）、さらに第１のスイッチＳＷ１がＯＮされているならば（ステップＳ１４１）、処理をステップＳ１３４に戻し、焦点調節・測光処理（Ｓ１３４）を繰り返させる。

ここでは、第１のスイッチＳＷ１がＯＮしている期間、システム制御回路５０が焦点調節・測光制御を繰り返すとしたが、第１のスイッチＳＷ１のＯＮで一回のみ焦点調節・測光制御を行うよう制御しても問題ない。一回の焦点調節・測光の期間においても、主顔領域の移動に合わせて評価値の取得領域も移動するため、本発明の効果は得られる構成となる。

システム制御回路５０は、第２のスイッチＳＷ２がＯＦＦされており（ステップＳ１４０）、さらに第１のスイッチＳＷ１も解除（ＯＦＦ）されたならば（ステップＳ１４１）（Ａ）、処理をステップＳ１０３に戻す。

システム制御回路５０は、第２のスイッチＳＷ２がＯＮされたならば（ステップＳ１４０）、その内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断する（ステップＳ１４２）。システム制御回路５０は、画像表示フラグがＯＮ状態ならば、画像表示部２８の表示状態を固定色表示状態に設定して（ステップＳ１４３）（Ｃ）、処理をステップＳ１６１に進める。

固定色表示状態では、画像表示メモリ２４に書き込まれた撮影画像データの代わりに、固定色の画像データを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により表示する。これにより、固定色の画像を電子ファインダーに表示している。

システム制御回路５０は、画像表示フラグが解除（ＯＦＦ）されていたならば（ステップＳ１４２）、処理をステップＳ１６１に進める。

システム制御回路５０は、その内部メモリ或いはメモリ５２に記憶される単写／連写フラグの状態を判断し（ステップＳ１６１）、単写が設定されていたならば処理をステップＳ１６２に進め、連写が設定されていたならば処理をステップＳ１８１に進める。

システム制御回路５０は、撮像処理（露光処理）を実行する（ステップＳ１６２）。この露光処理では、撮像センサ１４から出力された画像信号がＡ／Ｄ変換器１６により画像データへ変換され、変換された画像データがメモリ制御回路２２を介してメモリ３０に書き込まれる。なお、露光処理（ステップＳ１６２）の詳細は、図６を用いて後述する。

システム制御回路５０は、その内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断する（ステップＳ１６３）。システム制御回路５０は、画像表示フラグがＯＮ状態ならば、メモリ３０から画像表示部２８の表示形式に合わせて処理を行った画像データを読み出し、メモリ制御回路２２を介して画像表示メモリ２４に表示画像データの転送を行う。システム制御回路５０は、画像表示メモリ２４から読み出した表示画像データを画像表示部２８に表示する、第１のクイックレビュー表示を行う（ステップＳ１６４）。

なお、この第１のクイックレビュー表示処理（ステップＳ１６４）においては、ダーク取り込み処理（ステップＳ１６５）が行われる前であるため、ダーク補正演算を行う前の画像データを用いて表示画像データを作成し、クイックレビュー表示を行う。また、この処においては、まだダーク取り込み処理（ステップＳ１６５）を終えていない状態であるため、画像表示部２８でのクイックレビュー画像表示にｂｕｓｙ等の文字表示を重ねて表示する。

システム制御回路５０は、画像表示フラグが解除（ＯＦＦ）されていたならば（ステップＳ１６３）、画像表示部２８がＯＦＦ状態のまま処理をステップＳ１６５に進める。この場合、撮影を行った後でも画像表示部２８はＯＦＦ状態のままであり、クイックレビュー表示も行われない。これは、光学ファインダー１０４を用いて撮影を続ける場合のように、撮影直後の撮影画像の確認が不要で、画像表示部２８の電子ファインダー機能を使用せずに省電力を重視する使用方法である。

システム制御回路５０は、シャッター１２を閉じた状態で撮像センサ１４の暗電流等のノイズ成分を本撮影と同じ時間蓄積し、蓄積を終えたノイズ画像信号を読み出すダーク取り込み処理を行い（ステップＳ１６５）、処理をステップＳ１６６に進める。

このダーク取り込み処理で取り込んだダーク画像データを用いて補正演算処理を行うことにより、撮像センサ１４で発生する暗電流ノイズや撮像センサ１４固有のキズによる画素欠損等の画質劣化に関して、撮影した画像データを補正することが出来る。

このダーク取り込み処理（ステップＳ１６５）の詳細は図７を用いて後述する。

システム制御回路５０は、メモリ３０の所定領域へ書き込まれた画像データの一部をメモリ制御回路２２を介して読み出す。システム制御回路５０は、読み出した画像データの一部に対して現像処理を行うために必要なＷＢ（ホワイトバランス）積分演算処理、ＯＢ（オプティカルブラック）積分演算処理を行う。システム制御回路５０は、その演算結果をシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

そして、システム制御回路５０は、メモリ３０の所定領域に書き込まれた撮影画像データを読み出すとともに、システム制御回路５０の内部メモリ或いはメモリ５２に記憶した演算結果を読み出す。システム制御回路５０は、これらのデータを用いて、メモリ制御回路２２そして必要に応じて画像処理回路２０を介して、ＡＷＢ（オートホワイトバランス）処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う（ステップＳ１６６）。

さらに、システム制御回路５０は、現像処理において、ダーク取り込み処理において取り込んだダーク画像データを用いて減算処理を行うことにより、撮像センサ１４の暗電流ノイズ等を打ち消すダーク補正演算処理も併せて行う。

この現像処理（ステップＳ１６６）の詳細は、図８を用いて後述する。

そして、システム制御回路５０は、メモリ３０の所定領域に書き込まれた画像データを読み出して、読み出した画像データに対して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２により行う（ステップＳ１６７）。システム制御回路５０は、メモリ３０の画像記憶バッファ領域の空き画像部分に、現像処理を終えた画像データの書き込みを行う。

システム制御回路５０は、メモリ３０の画像記憶バッファ領域に記憶した画像データを読み出して、インタフェース９０或いは９４、コネクタ９２或いは９６を介して、記録媒体２００或いは２１０へ書き込みを行う記録処理を行う（ステップＳ１６８）。

なお、記録媒体２００或いは２１０へ画像データの書き込みを行っている間、書き込み動作中であることを明示するために、報知部５４において例えばＬＥＤを点滅させる等の記録媒体書き込み動作表示を行う。

そして、システム制御回路５０は、その内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断する（ステップＳ１６９）。システム制御回路５０は、画像表示フラグがＯＮ状態ならば、メモリ３０から画像表示部２８の表示形式に合わせて処理を行った画像データを読み出し、メモリ制御回路２２を介して画像表示メモリ２４に表示画像データの転送を行う。システム制御回路５０は、画像表示メモリ２４から読み出した表示画像データを画像表示部２８に表示する、第２のクイックレビュー表示を行う（ステップＳ１７０）。
なお、第２のクイックレビュー表示処理（ステップＳ１７０）においては、ダーク取り込み処理（ステップＳ１６５）が行われた後であるため、現像処理（ステップＳ１６６）においてダーク補正演算を行った後の画像データを用いて表示画像データを作成する。これにより、クイックレビュー表示を行う。また、この処理においては、既にダーク取り込み処理（ステップＳ１６５）を終えた状態であるため、第１のクイックレビュー表示処理（ステップＳ１６４）において画像表示部２８でのクイックレビュー画像表示に重ねて表示したｂｕｓｙ等の文字表示を消去する。

システム制御回路５０は、画像表示フラグが解除（ＯＦＦ）されていたならば（ステップＳ１６９）、画像表示部２８がＯＦＦ状態のまま処理をステップＳ１７１に進める。この場合、撮影を行った後でも画像表示部２８はＯＦＦ状態のままであり、クイックレビュー表示も行われない。これは、光学ファインダー１０４を用いて撮影を続ける場合のように、撮影直後の撮影画像の確認が不要で、画像表示部２８の電子ファインダー機能を使用せずに省電力を重視する使用方法である。

システム制御回路５０は、第１のスイッチＳＷ１がＯＦＦされるまで（ステップＳ１７１）、ステップＳ１７１の処理を繰り返す。

システム制御回路５０は、第１のスイッチＳＷ１がＯＦＦされたならば（ステップＳ１７１）、処理をステップＳ１７２に進める。

ステップＳ１６１において、システム制御回路５０は、単写／連写フラグの状態を判断した結果、連写が設定されていたならば、処理をステップＳ１８１に進める。

システム制御回路５０は、シャッター１２を閉じた状態で撮像センサ１４の暗電流等のノイズ成分を本撮影と同じ時間蓄積し、蓄積を終えたノイズ画像信号を読み出すダーク取り込み処理を行い（ステップＳ１８１）、処理をステップＳ１８２に進める。

このダーク取り込み処理ステップＳ１８１の詳細は、図７を用いて後述する。

システム制御回路５０は、撮像処理（露光処理）を実行する（ステップＳ１８２）。この露光処理では、撮像センサ１４から出力された画像信号がＡ／Ｄ変換器１６により画像データへ変換され、変換された画像データがメモリ制御回路２２を介してメモリ３０に書き込まれる。なお、露光処理（ステップＳ１８２）の詳細は、図６を用いて後述する。

システム制御回路５０は、メモリ３０の所定領域へ書き込まれた画像データの一部をメモリ制御回路２２を介して読み出して、現像処理を行うために必要なＷＢ（ホワイトバランス）積分演算処理、ＯＢ（オプティカルブラック）積分演算処理を行う。システム制御回路５０は、その内部メモリ或いはメモリ５２に、演算結果を記憶する。

そして、システム制御回路５０は、メモリ３０の所定領域に書き込まれた撮影画像データを読み出すとともに、システム制御回路５０の内部メモリ或いはメモリ５２に記憶した演算結果を読み出す。システム制御回路５０は、これらのデータを用いて、メモリ制御回路２２そして必要に応じて画像処理回路２０を介して、ＡＷＢ（オートホワイトバランス）処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う（ステップＳ１８３）。

さらに、システム制御回路５０は、現像処理においては、ダーク取り込み処理において取り込んだダーク画像データを用いて減算処理を行うことにより、撮像センサ１４の暗電流ノイズ等を打ち消すダーク補正演算処理も併せて行う。

この現像処理（ステップＳ１８３）の詳細は、図８を用いて後述する。

そして、システム制御回路５０は、その内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断する（ステップＳ１８４）。システム制御回路５０は、画像表示フラグがＯＮ状態ならば、メモリ３０から画像表示部２８の表示形式に合わせて処理を行った画像データを読み出し、メモリ制御回路２２を介して画像表示メモリ２４に表示画像データの転送を行う。システム制御回路５０は、画像表示メモリ２４から読み出した表示画像データを画像表示部２８に表示する、第３のクイックレビュー表示を行う（ステップＳ１８５）。

この第３のクイックレビュー表示処理（ステップＳ１８５）においては、ダーク取り込み処理（ステップＳ１８１）が行われた後であるため、現像処理（ステップＳ１８３）においてダーク補正演算を行った後の画像データを用いて表示画像データを作成する。これにより、クイックレビュー表示を行う。

システム制御回路５０は、画像表示フラグが解除（ＯＦＦ）されていたならば（ステップＳ１８４）、画像表示部２８がＯＦＦ状態のまま処理をステップＳ１８６に進める。この場合、撮影を行った後でも画像表示部２８はＯＦＦ状態のままであり、クイックレビュー表示も行われない。これは、光学ファインダー１０４を用いて撮影を続ける場合のように、撮影直後の撮影画像の確認が不要で、画像表示部２８の電子ファインダー機能を使用せずに省電力を重視する使用方法である。

そして、システム制御回路５０は、メモリ３０の所定領域に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２により開始する（ステップＳ１８６）。

システム制御回路５０は、メモリ３０の画像記憶バッファ領域に空きがあるならば（ステップＳ１８７）、圧縮処理を終えた画像データのバッファ領域への書き込みを順次行い、処理をステップＳ１８９に進める。

システム制御回路５０は、メモリ３０の画像記憶バッファ領域に空きが無いならば（ステップＳ１８７）、次の処理を行う。システム制御回路５０は、メモリ３０の画像記憶バッファ領域に記憶した画像データを、インタフェース９０或いは９４、コネクタ９２或いは９６を介して、記録媒体２００或いは２１０へ転送して記録する転送・記録処理を行う。また、システム制御回路５０は、圧縮処理を終えた画像データのバッファ領域への書き込みを順次行い、あるいは、圧縮処理を終えた画像データを記録媒体２００或いは２１０へ転送して記録し、処理をステップＳ１８９に進める。

これにより、連写撮影を所定枚数以上行って画像記録バッファ領域が不足した場合は、転送・記録処理を行って画像記録バッファ領域に空きを作ることにより、また連写撮影を再開することが可能となる。

システム制御回路５０は、第２のスイッチＳＷ２がＯＮされていたならば（ステップＳ１８９）、ステップＳ１８２に戻り、一連の連写モードにおける撮影処理を繰り返す。

システム制御回路５０は、第２のスイッチＳＷ２がＯＦＦされたならば（ステップＳ１８９）、第１のスイッチＳＷ１の状態を判断する（ステップＳ１９０）。

システム制御回路５０は、第１のスイッチＳＷ１がＯＮされていたならば（ステップＳ１９０）、ステップＳ１９０の処理を繰り返す。

システム制御回路５０は、第１のスイッチＳＷ１がＯＦＦされたならば（ステップＳ１９０）、直前のステップＳ１８２〜Ｓ１８９のルーチンにおいてステップＳ１８８を経由していない場合、次の処理を行う。システム制御回路５０は、メモリ３０の画像記憶バッファ領域に記憶した画像データを読み出し、読み出した画像データをインタフェース９０或いは９４、コネクタ９２或いは９６を介して、記録媒体２００或いは２１０へ記録する記録処理を行う。そして、システム制御回路５０は、処理をステップＳ１７２に進める。

一方、システム制御回路５０は、直前のステップＳ１８２〜Ｓ１８９のルーチンにおいてステップＳ１８８を経由している場合、すでに記録処理を行っているため、そのまま処理をステップＳ１７２に進める。

システム制御回路５０は、その内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断する（ステップＳ１７２）。システム制御回路５０は、画像表示フラグがＯＮ状態ならば（ステップＳ１７２）、画像表示部２８の表示状態をスルー表示状態に設定して（ステップＳ１７３）（Ａ）、一連の撮影処理を終えて処理をステップＳ１０３に戻す。

この場合、画像表示部２８でのクイックレビュー表示によって撮影画像を確認した後に、次の撮影のために撮像した画像データを逐次表示するスルー表示状態にすることが出来る。

システム制御回路５０は、画像表示フラグが解除（ＯＦＦ）されていたならば（ステップＳ１７２）（Ａ）、一連の撮影処理を終えて処理をステップＳ１０３に戻す。

図５は、図３のステップＳ１３４における焦点調節・測光処理の詳細なフローチャートを示す。

システム制御回路５０は、撮像センサ１４から画像信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に画像データを逐次読み込む（ステップＳ２０１）。この逐次読み込まれた画像データを用いて、画像処理回路２０は、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、ＡＦ（オートフォーカス）処理に用いる所定の演算を行っている。

なお、ここでの各処理は、画像データにおける全画素数のうちの主顔領域を切り取って抽出し、演算に用いている。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、主被写体人物に最適な制御を行うことが可能となる。

画像処理回路２０での演算結果を用いて、システム制御回路５０は、露出（ＡＥ）が適正と判断されるまで（ステップＳ２０２）、露光制御部４０を用いてＡＥ制御を行う（ステップＳ２０３）。

ＡＥ制御で得られた測定データを用いて、システム制御回路５０は、フラッシュが必要か否かを判断する（ステップＳ２０４）。システム制御回路５０は、フラッシュが必要ならばフラッシュフラグをセットし、フラッシュ４０４を充電して（ステップＳ２０５）、処理をステップＳ２０１へ進める。システム制御回路５０は、フラッシュが必要なければそのまま処理をステップＳ２０１へ進める。

システム制御回路５０は、露出（ＡＥ）が適正と判断したならば（ステップＳ２０２）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶して、処理をステップＳ２０６へ進める。

画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、システム制御回路５０は、ホワイトバランス（ＡＷＢ）が適正と判断されるまで（ステップＳ２０６）、画像処理回路２０を用いて色処理のパラメータを調節する。これにより、ＡＷＢ制御を行う（ステップＳ２０７）。

システム制御回路５０は、ホワイトバランス（ＡＷＢ）が適正と判断したならば（ステップＳ２０６）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶して、処理をステップＳ２０８へ進める。

ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、システム制御回路５０は、焦点調節（ＡＦ）が合焦と判断されるまで（ステップＳ２０８）、焦点調節制御部４２を用いてＡＦ制御を行う（ステップＳ２０９）。

システム制御回路５０は、焦点調節（ＡＦ）が合焦と判断したならば（ステップＳ２０８）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、焦点調節・測光処理ルーチン（ステップＳ１３４）を終了する。

図６は、図４のステップＳ１６２又はステップＳ１８２における露光処理の詳細を示すフローチャートである。。

システム制御回路５０は、撮像センサ１４の各画素における蓄積電荷のクリア動作を行った後に（ステップＳ３０１）、撮像センサ１４の電荷蓄積を新たに開始する（ステップＳ３０２）。システム制御回路５０は、露光制御部４０によって、シャッター１２を開き（ステップＳ３０３）、撮像センサ１４の露光を開始する（ステップＳ３０４）。

そして、システム制御回路５０は、フラッシュ・フラグによりフラッシュ４０４による発光が必要か否かを判断し（ステップＳ３０５）、必要な場合（Ｙ）、フラッシュを発光させ（ステップＳ３０６）、処理をステップＳ３０７へ進める。システム制御回路５０は、フラッシュ４０４による発光が必要でない場合（Ｎ）、そのまま処理をステップＳ３０７へ進める。

なお、システム制御回路５０は、フラッシュ４０４が使用不可能な場合、フラッシュ４０４による発光が必要でない（Ｎ）と判断し、処理をステップＳ３０７に進める。

システム制御回路５０は、測光データに従って撮像センサ１４の露光終了させるべきタイミングを待つ（ステップＳ３０７）。システム制御回路５０は、撮像センサ１４の露光を終了させるべきタイミングになると、露光制御部４０によって、シャッター１２を閉じ（ステップＳ３０８）、撮像センサ１４の露光を終了する。

システム制御回路５０は、設定した電荷蓄積時間が経過するまで待つ（ステップＳ３０９）。システム制御回路５０は、設定した電荷蓄積時間が経過したならば、撮像センサ１４の電荷蓄積を終了した後（ステップＳ３１０）、撮像センサ１４から画像信号を読み出し、読み出した画像信号をＡ／Ｄ変換器１６により画像データ（撮影画像データ）に変換する。システム制御回路５０は、Ａ／Ｄ変換器１６から、画像処理回路２０、メモリ制御回路２２を介して、或いは、直接メモリ制御回路２２を介して、メモリ３０の所定領域への画像データを書き込む（ステップＳ３１１）。

一連のステップを終えたならば、露光処理（ステップＳ１６２及びステップＳ１８２）を終了する。

図７は、図４のステップＳ１６５又はステップＳ１８１におけるダーク取り込み処理の詳細を示すフローチャートである。

システム制御回路５０は、撮像センサ１４の各画素における蓄積電荷のクリア動作を行った後に（ステップＳ４０１）、シャッター１２が閉じた状態で、撮像センサ１４の電荷蓄積を新たに開始する（ステップＳ４０２）。

システム制御回路５０は、設定した電荷蓄積時間が経過するまで待つ（ステップＳ４０３）。システム制御回路５０は、設定した電荷蓄積時間が経過したならば、撮像センサ１４の電荷蓄積を終了した後（ステップＳ４０４）、撮像センサ１４からダーク画像信号を読み出し、読み出したダーク画像信号をＡ／Ｄ変換器１６によりダーク画像データに変換する。システム制御回路５０は、Ａ／Ｄ変換器１６から、画像処理回路２０、メモリ制御回路２２を介して、或いは、直接メモリ制御回路２２を介して、メモリ３０の所定領域へのダーク画像データを書き込む（ステップＳ４０５）。

このダーク画像データを用いて現像処理（ＯＢ補正処理）を行うことにより、撮像センサ１４の発生する暗電流ノイズや撮像センサ１４固有のキズによる画素欠損等の画質劣化に関して、撮影した画像データを補正することが出来る。

なお、このダーク画像データは、新たにダーク取り込み処理が行われるか、撮像装置１００の電源がＯＦＦされるまで、メモリ３０の所定領域に保持される。

或いは、メモリ３０の一部或いは全部をＥＥＰＲＯＭやハードディスク等の不揮発性メモリからなる構成として、ダーク画像データを不揮発性メモリに書き込むようにしたならば、ダーク画像データを次のように保持されても良い。新たにダーク取り込み処理が行われるまで、このダーク画像データは、不揮発性メモリの所定領域に保持される。

そして、このダーク画像データは、この後、撮影処理が実行されて、そこで、撮影した画像データを撮像センサ１４より読み出して、現像処理を行う際に用いられる。

一連のステップを終えたならば、ダーク取り込み処理ルーチン（ステップＳ１６５又はステップＳ１８１）を終了する。

図８は、図４のステップＳ１６６又はステップＳ１８３における現像処理の詳細を示すフローチャートである。

システム制御回路５０は、メモリ３０に書き込まれた撮影画像データ及びダーク画像データを読み出して、輝度信号処理やＯＢ補正処理を行う（ステップＳ５０１）。ＯＢ補正処理では、撮影画像データの各画素の輝度値からダーク画像データの各画素の輝度値を減算処理する。そして、システム制御回路５０は、輝度処理された画像データに対して、色処理（ステップＳ５０２）、サムネイル画像処理（ステップＳ５０３）を順次行った後、メモリ３０に処理を終えた画像データを書き込む。

一連のステップを終えたならば、現像処理ルーチン（ステップＳ１６６又はステップＳ１８３）を終了する。

次に、図９〜図１５を用いて、第１の主顔判定処理及び第２の主顔判定処理について説明を行う。図９〜１３は、画像表示部２８の画面の表示例を示す図である。図１４は、第１の主顔判定処理を示すフローチャートである。図１５は、第２の主顔判定処理を示すフローチャートである。

Ａ／Ｂ／Ｃ３人の人物が撮影範囲内に存在し、主顔領域である、人物Ａの顔を対象にＡＦ／ＡＥ評価値の取得を行う場合を考える。

ここで、図９の状況を例として、図１４の第１の主顔判定処理について説明する。

逐次、顔検出判定処理部５００により、標準パターンと画像データとのパターンマッチングを用いて、標準パターンとの特徴量の差が所定量よりも小さい顔領域が複数検出される。図９の場合、人物Ａと人物Ｂの顔領域が検出される。人物Ｃの顔は横顔であるため、顔領域とはみなされない。

ステップＳ１４０１では、顔領域判定処理部５００が、画像データ全体を顔検出対象領域として、中心座標が顔検出対象領域内にある顔領域を抽出する。図９の場合、顔領域判定処理部５００は、人物Ａの顔領域と人物Ｂの顔領域との両方を抽出する。

ステップＳ１４０２では、顔検出判定処理部５００が、顔領域の抽出結果を顔領域判定処理部５００から受ける。顔検出判定処理部５００は、ステップＳ１４０１で抽出された複数の顔領域から、標準パターンとの特徴量の差Ａｂｓが所定量Ｔｐ１よりも小さい顔領域を抽出する。図９の場合、顔検出判定処理部５００は、人物Ａの顔領域と人物Ｂの顔領域とを抽出する。また、顔検出判定処理部５００は、抽出された顔領域の数をカウントする。図９の場合、顔検出判定処理部５００は、抽出された顔領域の数を２とカウントする。

ステップＳ１４０３では、顔検出判定処理部５００が、抽出された顔領域の数が０より大きいか否かを判断する。顔検出判定処理部５００は、抽出された顔領域の数が０より大きいと判断した場合（Ｙ）、処理をステップＳ１４０４へ進め、抽出された顔領域の数が０より以下であると判断した場合（Ｎ）、処理をステップＳ１４０７へ進める。

ステップＳ１４０４では、顔検出判定処理部５００が、複数の顔領域のそれぞれをその大きさ（画素数）により３つのタイプのいずれかに分類する。また、顔検出判定処理部５００は、３つのタイプについて優先度を予め定めておく。

具体的には、顔検出判定処理部５００は、その大きさが第１の閾値Ｔｈ１より小さい顔領域を“小”タイプに分類する。顔検出判定処理部５００は、その大きさが第１の閾値Ｔｈ１以上であって第２の閾値Ｔｈ２より小さい顔領域を“中”タイプに分類する。顔検出判定処理部５００は、その大きさが第２の閾値Ｔｈ１以上である顔領域を“大”タイプに分類する。顔検出判定処理部５００は、優先度を“大”タイプ＞“中”タイプ＞“小”タイプに定めておく。図９の場合、顔検出判定処理部５００は、人物Ａ，Ｂの顔領域のそれぞれのサイズＳｉｚｅＡ，ＳｉｚｅＢについて、Ｔｈ１＜ＳｉｚｅＡ＜ＳｉｚｅＢ＜Ｔｈ２と判断し、ともに“中”タイプに分類する。

ステップＳ１４０５では、顔検出判定処理部５００が、３つのタイプの分類における要素がある分類のうち、最も優先度が大きな分類を選択する。図９の場合、顔検出判定処理部５００は、“中”タイプの分類を選択する。“中”タイプの要素は、人物Ａの顔領域と人物Ｂの顔領域とである。

ステップＳ１４０６では、顔検出判定処理部５００が、ステップＳ１４０５で選択された分類に属する複数の顔領域の中心座標のうち、画像データの中心座標に最も近いものを判定する。顔検出判定処理部５００は、判定した中心座標を有する顔領域を主顔領域であると判定する。図９の場合、顔検出判定処理部５００は、“中”タイプに分類された人物Ａ及び人物Ｂの顔領域のうち、画像データの中心ＣＰに最も近い人物Ａの顔領域が主顔領域であると判定する。これに応じて、画像データにおいて、人物Ａの顔には、主顔領域を示す主顔領域枠ＦＲ１が表示される。

このように、フレーミング状態では、第１の主顔判定処理により撮像装置１００が主顔を自動的に判定し、リアルタイムに主顔領域枠ＦＲ１の表示位置が更新されていく。

例えば、図１０のように、人物Ｃがカメラの方向を向くと、人物Ｃが主顔と判定される。（人物Ｃの顔領域サイズをＳｉｚｅＣとした時にＴｈ１＜ＳｉｚｅＡ＜ＳｉｚｅＢ＜Ｔｈ２＜ＳｉｚｅＣであるとする。）
あるいは、図１１のように、人物Ｃに加えて人物Ａが横を向いてしまうと、人物Ｂの顔領域が主顔領域として判定される。

このように主顔（主被写体）を自動的に判定する撮像装置により複数の人物が撮影範囲内に存在するような被写界を撮像すると、各人物の顔（各被写体）の移動に応じて、主顔領域（主被写体領域）が切り替わる。

従来では、ユーザが人物Ａを主被写体に撮影するために図９の状態で第１のスイッチＳＷ１を押下した後、撮影用に連続的にＡＦ／ＡＥ評価値を取得している期間に主顔領域が図１０のように人物Ｃの顔領域に移動することがある（主顔領域枠ＦＲ２参照）。あるいは、図１１のように人物Ｂの顔領域に移動することがある（主顔領域枠ＦＲ３参照）。この場合、人物Ａの顔領域からＡＦ／ＡＥ評価値を取得したいというユーザの意図に反して、図１０の場合に人物Ｃの顔領域からＡＦ／ＡＥ評価値を取得してしまい、図１１の場合に人物Ｂの顔領域からＡＦ／ＡＥ評価値を取得してしまう。このように、ユーザの意図通りの人物に適正な露出及び焦点合わせができないことがある。

本実施形態では、ユーザが第１のスイッチＳＷ１を押下した時点で、主顔判定モードを切り替えて（図３に示すステップＳ１４４参照）、以降は、第２の主顔判定処理により主顔領域を判定する。この第２の主顔判定処理について、図１５を用いて説明する。

ステップＳ１５０１では、顔領域判定処理部５００が、画像データ全体から、各顔領域の特徴量と前回の主顔領域の特徴量の差が閾値α未満である顔領域を抽出する。これにより、前回の主顔領域に特徴が近い顔領域に対象を絞ることができる。図９の場合、顔領域判定処理部５００は、人物Ａの顔領域と人物Ｂの顔領域とを抽出する。また、顔領域判定処理部５００は、抽出された顔領域の数をカウントする。図９の場合、顔領域判定処理部５００は、抽出された顔領域の数を２とカウントする。

ステップＳ１５０２では、顔領域判定処理部５００が、抽出された顔領域の数が０より大きいか否かを判断する。顔領域判定処理部５００は、抽出された顔領域の数が０より大きいと判断した場合（Ｙ）、処理をステップＳ１５０３へ進める。

ステップＳ１５０３では、顔領域判定処理部５００が、抽出した顔領域のうち、顔領域の中心座標が顔検出対象領域の顔領域かどうかを判定する。ここで、顔検出対象領域は、前回の主顔検出領域を含む領域であって画像データにおける一部の領域である近傍領域とする。図１２の場合、前回の主顔領域の中心座標を（ｘ,ｙ）、主顔領域のサイズが水平Ｈ／垂直Ｖであったとすると、（ｘ−Ｈ，ｙ−Ｖ）、（ｘ＋Ｈ，ｙ＋Ｖ）、（ｘ＋Ｈ，ｙ−Ｖ）、（ｘ−Ｈ，ｙ＋Ｖ）を４頂点とする矩形領域を顔検出対象領域ＤＲ１とする。

顔領域判定処理部５００は、顔検出対象領域ＤＲ１にステップＳ１５０１で抽出した顔領域が含まれている場合（Ｙ）、処理をステップＳ１５０４へ進め、含まれていない場合（Ｎ）、処理をステップＳ１５０５へ進める。

ステップＳ１５０４では、顔領域判定処理部５００が、顔検出対象領域に含まれている１以上の顔領域を、主顔領域の候補として抽出する。

一方、顔領域判定処理部５００は、抽出された顔領域の数が０より以下である、すなわち、画像データ全体において前回の主顔領域の特徴量の差が閾値α未満である顔領域がないと判断した場合（Ｎ）、処理をステップＳ１５０６へ進める。

そして、顔領域判定処理部５００は、検出された全ての顔領域のうち、顔領域の中心座標が顔検出対象領域ＤＲ１に含まれている顔領域を抽出する（ステップＳ１５０６）。また、顔領域判定処理部５００は、抽出された顔領域の数をカウントする。

顔領域判定処理部５００は、抽出された顔領域の数が０以下である、すなわち、ステップＳ１５０６にて顔領域が抽出されなかった場合（ステップＳ１５０７）、前回の主顔領域を新たに主顔領域として判定する（ステップＳ１５０８）。

顔領域判定処理部５００は、抽出された顔領域の数が０より大きい、すなわち、ステップＳ１５０６にて顔領域が抽出された場合（ステップＳ１５０７）、処理をステップＳ１５０５へ進める。

ステップＳ１５０５では、顔領域判定処理部５００が、主顔領域の候補として抽出した１以上の領域から、前回の主顔の特徴量との差が最も小さい特徴量を有する顔領域を主顔領域と判定する。あるいは、顔領域判定処理部５００は、直前のステップＳ１５０３で含まれていない（Ｎ）と判断した場合、ステップＳ１５０１で抽出した顔領域から、前回の主顔の特徴量との差が最も小さい特徴量を有する顔領域を主顔領域と判定する。あるいは、顔領域判定処理部５００は、直前のステップＳ１５０７で顔領域が抽出された（Ｙ）場合、ステップＳ１５０６で抽出した顔領域から、前回の主顔の特徴量との差が最も小さい特徴量を有する顔領域を主顔領域と判定する。

このように、前回の主顔領域を基にした第２の主顔判定処理を用いて判定することにより、図９の状況で主被写体を人物Ａとして第１のスイッチＳＷ１がオンした後、人物Ａの顔領域を逐次的に主顔領域としてＡＦ／ＡＥ評価値取得を行う。

例えば、図１２のように人物Ａが移動することにより、人物Ａの顔領域が第１のスイッチＳＷ１がオンした時点（図９の主顔領域枠ＦＲ１参照）からずれても（図１２の主顔領域枠ＦＲ３参照）、その移動に追従して評価値を取得できる。

あるいは、例えば、図１２のように、従来であれば主顔と判定されるべき人物Ｃが新たに検出された場合でも、ユーザが意図した人物Ａの顔領域を主顔領域として判定でき、人物Ａの顔領域から評価値を取得できる。

あるいは、例えば、図１３のように、人物Ａが横をむいてしまった場合でも、ユーザが意図した人物Ａの顔領域を主顔領域として判定でき、人物Ａの顔領域から評価値を取得できる。

以上のように、ユーザが第１のスイッチＳＷ１をオンさせずにフレーミングしている期間に、撮像装置が主顔領域を自動的に判定してその表示画面に主顔領域を示す主顔領域枠を表示する。そして、ユーザが目標人物の顔に主顔領域枠が表示された時点で第１のスイッチＳＷ１をオンさせた場合には、画面内に複数の人物が存在する場合でもユーザが意図した人物の顔の動きに追従するような主顔判定処理を行うことにより主顔領域を判定する。これにより、評価値を取得するための指示を受け付けた後にユーザの意図した被写体が画角内で移動した場合であっても、ユーザの意図した被写体に対する適正な評価値を得て、それにより適正な制御処理（ＡＥ／ＡＦ制御処理など）を行うことができる。

次に、上述した各実施形態の機能を実現するためのプログラムについて説明する。

上述した各実施形態の機能を実現するように各種のデバイスを動作させ、その各種のデバイスと接続された装置あるいはシステム内のコンピュータに対して上述した各実施形態の機能を実現させるソフトウェアのプログラムコード（プログラム）を供給する。

そして、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に（ソフトウェア的に又はハードウェア的に）格納されたプログラムにしたがって上記の各種のデバイスを動作させるようにしたものも、本発明の範疇に含まれる。

また、この場合、上記のソフトウェアのプログラム自体が上述した実施形態の機能を実現することになる。

また、そのプログラム自体、及びそのプログラムのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムを格納した記憶媒体も、本発明の範疇に含まれる。

かかるプログラムを記憶する記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、供給されたプログラムをコンピュータが実行することにより、上述の実施形態の機能が実現されるだけではない。

例えば、そのプログラムがコンピュータにおいて稼動しているＯＳ（オペレーティングシステム）あるいは他のアプリケーション等と協働して上述の実施形態の機能を実現させる場合にも、かかるプログラムは、本発明の範疇に含まれる。

さらに、供給されたプログラムは、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納される。

そして、そのプログラムの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合にも、かかるプログラムは、本発明の範疇に含まれる。

なお、記録媒体２００及び２１０は、ＰＣＭＣＩＡカードやコンパクトフラッシュ等のメモリカード、ハードディスク等でもよい。あるいは、記録媒体２００及び２１０は、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていてもよい。

また、記録媒体２００及び２１０がメモリカードとハードディスク等が一体となった複合媒体であってもよい。さらに、その複合媒体から一部が着脱可能な構成としてもよい。

そして、実施形態の説明においては、記録媒体２００及び２１０は撮像装置１００と分離していて任意に接続可能なものとして説明したが、いずれか或いは全ての記録媒体が撮像装置１００に固定したままとなっていてもよい。

また、撮像装置１００に記録媒体２００或いは２１０が、単数或いは複数の任意の個数接続可能な構成であっても構わない。

そして、撮像装置１００に記録媒体２００及び２１０が装着する構成として説明したが、記録媒体は単数或いは複数の何れの組み合わせの構成であってもよい。

また、フラッシュ装置４００は撮像装置１００と分離していて任意に接続可能なものとして説明したが、フラッシュ装置４００が撮像装置１００に固定したままとなっていても勿論問題ない。

そして、複数のフラッシュ装置４００が、個々に撮像装置１００と接続可能及び或いは固定したままの状態となる構成であっても問題ない。

本発明の実施形態に係る撮像装置１００の構成を示す図。実施形態に係る撮像装置１００の動作における主ルーチンのフローチャート。実施形態に係る撮像装置１００の動作における主ルーチンのフローチャート。実施形態に係る撮像装置１００の動作における主ルーチンのフローチャート。焦点調節・測光処理の詳細を示すフローチャート。露光処理の詳細を示すフローチャート。ダーク取り込み処理の詳細を示すフローチャート。現像処理の詳細を示すフローチャート。画像表示部２８の画面の表示例を示す図。画像表示部２８の画面の表示例を示す図。画像表示部２８の画面の表示例を示す図。画像表示部２８の画面の表示例を示す図。画像表示部２８の画面の表示例を示す図。第１の主顔判定処理を示すフローチャート。第２の主顔判定処理を示すフローチャート。

符号の説明

１００撮像装置
５００顔領域判定処理部

Claims

複数の被写体を撮像して前記複数の被写体の像を含む画像データを生成する撮像手段と、
前記撮像手段により生成された前記画像データから、前記複数の被写体に対応した複数の被写体領域を抽出する抽出手段と、
前記抽出手段により抽出された複数の被写体領域から、主被写体領域を判定する判定手段と、
前記画像データに応じた画像に重なるように、前記主被写体領域の位置を示すオブジェクトを表示部に表示させる表示制御手段と、
評価値を取得し、取得した評価値に基づく制御処理を行う動作制御手段と、
評価値を取得するための第１の指示と撮影処理を行うための第２の指示とをそれぞれ受け付ける入力手段と、
を備え、
前記判定手段は、前記第１の指示を受ける前に、前記複数の被写体領域から選択した被写体領域を主被写体領域として判定し、前記第１の指示に応じて、前記主被写体領域に含まれるべき被写体を確定して、確定した被写体に対応した被写体領域を主被写体領域として逐次的に判定し、
前記動作制御手段は、前記第１の指示に応じて、前記判定手段により判定された前記主被写体領域から評価値を取得し、前記第２の指示に応じて、取得した評価値に基づく制御処理を行う
ことを特徴とする撮像装置。
前記判定手段は、前記第１の指示に応じて、前記抽出手段により抽出された前記複数の被写体領域から、直前に判定した主被写体領域の特徴量との差が閾値以下でありかつ最も小さい特徴量を有する被写体領域を、前記確定した被写体に対応した主被写体領域として判定する
ことを特徴とする請求項１に記載の撮像装置。
前記判定手段は、前記第１の指示に応じて、前記抽出手段により抽出された前記複数の被写体領域から、直前に判定した主被写体領域に最も近くに位置する被写体領域を、前記確定した被写体に対応した主被写体領域として判定する
ことを特徴とする請求項１に記載の撮像装置。
前記抽出手段は、前記第１の指示に応じて、前記判定手段により直前に判定された主被写体領域を含む領域であって前記撮像手段により直前に生成された前記画像データにおける一部の領域である近傍領域から、１以上の被写体領域を抽出し、
前記判定手段は、前記抽出手段により抽出された前記１以上の被写体領域から、前記確定した被写体に対応した主被写体領域を判定する
ことを特徴とする請求項１に記載の撮像装置。
前記抽出手段は、前記判定手段により直前に判定された主被写体領域の大きさに基づいて、前記近傍領域を決定する
ことを特徴とする請求項４に記載の撮像装置。
前記判定手段は、前記第１の指示に応じて、前記抽出手段により抽出された前記複数の被写体領域から、直前に判定した主被写体領域の特徴量との差が最も小さい特徴量を有する被写体領域を、前記確定した被写体に対応した主被写体領域として判定する
ことを特徴とする請求項１に記載の撮像装置。
前記判定手段は、前記第１の指示に応じて、主被写体領域が得られなかった場合、直前に判定した主被写体領域を新たに主被写体領域として判定する
ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
前記複数の被写体のそれぞれは、人物の顔である
ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
前記動作制御手段は、前記第１の指示に応じて、取得した評価値を、露出制御、焦点調節、フラッシュプリ発光制御、及びホワイトバランス制御の少なくとも１つに用いる
ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。