JP2020053720A - 電子機器および領域選択方法 - Google Patents

Abstract

【課題】ユーザーの意図をより確実に反映した領域選択を可能にする。【解決手段】電子機器は、画像から顔および瞳を検出する検出部と、画像が表示された表示画面上におけるユーザーの指定位置を取得する取得部と、指定位置により特定される顔の左側の瞳を選択するための左側領域と右側の瞳を選択するための右側領域を設定する設定部と、指定位置が前記左側領域または前記右側領域に存在する場合に、対応する瞳の瞳領域を選択する選択部と、を備える。設定部は、所定条件を満たす場合に、前記特定された顔の端に近い方の瞳を選択するための領域を拡張する。ここで、所定条件には、特定された顔が主被写体となる条件を満たしていることが含まれる。【選択図】図２

Description

本発明は電子機器および領域選択方法に関する。

デジタルカメラ（以下、カメラ）において、カメラが自動的に検出した被写体、またはユーザーが任意で選択した被写体に対してオートフォーカス（ＡＦ）する機能が知られている。特に近年カメラでは、被写体として顔を検出するだけでなく、顔の器官（例えば瞳など）を検出し、より被写体の精密な位置へのＡＦを実現している。

こうしたカメラにおいては、顔をＡＦ対象位置とするか、瞳をＡＦ対象位置とするかをユーザーが選択できるようにすることで、よりユーザーの意図を反映できるような仕様にすることが重要である。例えば特許文献１では、ユーザーがＬＣＤ画面上をタッチすることで、そのタッチ位置にあるのが顔か瞳かを判断し、顔と瞳のいずれかをＡＦ対象として選択する技術が記載されている。特許文献１では、ＬＣＤ画面上の瞳の大きさが小さい場合には、タッチに対する瞳の選択反応領域を広げるようにしている。これによりユーザーが撮影シーンに応じて手軽に瞳をＡＦ対象位置として指定できるため、ユーザービリティの高いカメラが実現され得る。

特開２０１３−０７０１６４号公報

しかしながら、上記の特許文献１において、瞳が小さいことに応じて瞳のための選択領域を広く取ってしまうと、顔が振り向いている場合など瞳が顔領域の端にある場合において、瞳の選択領域が背景を含んでしまう場合がる。このような場合、瞳の近くにある物体を焦点検出領域として選択できなくなってしまう。

本発明は、ユーザーの意図をより確実に反映した領域選択を可能にすることを目的とする。

本発明の一態様による電子機器は、
画像から顔および瞳を検出する検出手段と、
前記画像が表示された表示画面上におけるユーザーの指定位置を取得する取得手段と、
前記指定位置により特定される顔の左側の瞳を選択するための左側領域と右側の瞳を選択するための右側領域を設定する設定手段と、
前記指定位置が前記左側領域または前記右側領域に存在する場合に、対応する瞳の瞳領域を選択する選択手段と、を備え、
前記設定手段は、所定条件を満たす場合に、前記特定された顔の端に近い方の瞳を選択するための領域を拡張し、前記所定条件は前記特定された顔が主被写体となる条件を満たしていることを含む。

本発明によれば、ユーザーの意図をより確実に反映した領域選択が可能になる。

実施形態におけるカメラの外観図。 実施形態におけるカメラの構成例を示す機能ブロック図。 実施形態における撮影モード処理を示すフローチャート。 実施形態における焦点検出領域の自動設定処理を示すフローチャート。 実施形態における焦点検出領域の手動設定処理を示すフローチャート。 正面顔（選択中）の焦点検出領域設定処理を示すフローチャート。 正面顔（非選択）の焦点検出領域設定処理を示すフローチャート。 斜め顔（非選択）の焦点検出領域設定処理を示すフローチャート。 実施形態における、主顔を決定のための評価値の例を示す図。 実施形態におけるタッチダウンによる焦点検出領域の例を示す図。 斜め顔（選択中）の焦点領域設定処理を説明するフローチャート。 正面顔（選択中）の焦点検出領域設定処理の他の例を示すフローチャート。

以下、図面を参照して本発明の実施形態を説明する。なお、以下に説明する実施形態では、本発明による電子機器およびその制御方法を、静止画・動画の撮影が可能なデジタルカメラに適用した場合を例としている。

図１Ａに本実施形態による撮像装置の一例としてのデジタルカメラ１００の背面外観図を示す。表示部２８は画像や各種情報を表示する表示部である。表示部２８には、図１Ｂで説明されるように背面表示パネル２８ａと、ファインダー内の表示部である電子ビューファインダー２８ｂが含まれる。シャッターボタン６１は撮影指示を行うための操作部である。モード切り替えスイッチ６０は各種モードを切り替えるための操作部である。コネクタ１１２は、パーソナルコンピュータやプリンタなどの外部機器と接続するための接続ケーブル１１１とデジタルカメラ１００とを接続するためのコネクタである。操作部７０はユーザーからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る。コントローラホイール７３は操作部７０に含まれる回転操作可能な操作部材である。電源スイッチ７２は、電源オン、電源オフを切り替えるための押しボタンである。

記録媒体２００は、例えばメモリカードやハードディスク等を含み、デジタルカメラ１００により撮影された画像等を格納する。記録媒体スロット２０１は記録媒体２００を着脱可能に格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となり、記録や再生が可能となる。蓋２０２は記録媒体スロット２０１の蓋である。図１Ａにおいては、蓋２０２を開けて記録媒体スロット２０１から記録媒体２００の一部を取り出して露出させた状態を示している。

図１Ｂは、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図１Ｂにおいて、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０１は絞り機能を備えるシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行う。画像処理部２４により得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。また、画像処理部２４は、システム制御部５０と協働して画像データから顔および瞳を検出する検出部としても機能する。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、例えば、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、スルー画像表示（ライブビュー表示（ＬＶ表示））を行える。以下、ライブビューで表示される画像をＬＶ画像と称する場合もある。

不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータプログラムのことである。

システム制御部５０は、デジタルカメラ１００全体を制御する少なくとも１つのプロセッサーまたは回路である。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切り替えスイッチ６０、シャッターボタン６１、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

モード切り替えスイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オートモード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ６０により、ユーザーはこれらのモードのいずれかに直接切り替えることができる。あるいは、モード切り替えスイッチ６０でメニューボタンに一旦切り換えた後に、メニューボタンに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４を有する。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザーの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサーよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザーの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ/Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号等の送受信を行う。通信部５４は無線ＬＡＮ（Local Area Network）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。

接眼検知部５７は目（物体）の接近（接眼）を検知する。システム制御部は、接眼検知部５７で検知された状態に応じて、背面表示パネル２８ａと電子ビューファインダー２８ｂの表示／非表示を切り替える。すなわち、接眼検知部５７が接眼を検知している場合は表示先を電子ビューファインダー２８ｂとし、接眼検知部５７が接眼を検知していない場合は表示先を背面表示パネル２８ａとする。

なお操作部７０の一つとして、背面表示パネル２８ａに対する接触（位置）を検知可能なタッチパネル７０ａを有する。タッチパネル７０ａと背面表示パネル２８ａとは一体的に構成することができる。例えば、タッチパネル７０ａは、光の透過率が背面表示パネル２８ａの表示を妨げないように構成され、背面表示パネル２８ａの表示画面の内部に組み込まれる内蔵型（インセル型）とすることができる。タッチパネル７０ａにおける入力座標と背面表示パネル２８ａの表示画面上の表示座標とを対応付けることで、恰もユーザーが背面表示パネル２８ａの表示画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を提供できる。システム制御部５０はタッチパネル７０ａへの以下のユーザー操作、あるいは状態を検出できる。
・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと、すなわち、タッチの開始（以下、タッチダウン（Touch-Down）と称する）の検出。
・タッチパネル７０ａを指やペンでタッチしている状態であること（以下、タッチオン（Touch-On）と称する）の検出。
・タッチパネル７０ａを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Touch-Move）と称する）の検出。
・タッチパネル７０ａへタッチしていた指やペンを離したこと、すなわち、タッチの終了（以下、タッチアップ（Touch-Up）と称する）の検出。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Touch-Off）と称する）の検出。

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている間である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知され、システム制御部５０は通知された情報に基づいてタッチパネル７０ａ上にどのような操作が行なわれたかを判定する。例えば、タッチムーブに関して、システム制御部５０は、タッチパネル７０ａ上で移動する指やペンの移動方向を、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。またタッチパネル７０ａ上をタッチダウンから一定のタッチムーブを経てタッチアップをしたとき、ストロークを描いたこととする。

素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル７０ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でタッチムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。

タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式のものがあるが、いずれの方式でもよい。

上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦ、瞳ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。瞳ＡＦとは顔検出機能の一種でもある器官検出機能によって検出された撮影画面内の顔に含まれる瞳に対してＡＦを行うことである。

顔検出機能について説明する。上述したように、システム制御部５０と画像処理部２４は、画像から顔および該顔の器官（目、鼻、口、耳など）を検出可能な検出部として機能する。システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。システム制御部５０の制御下で画像処理部２４は、画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部５０の制御下で画像処理部２４は、画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタを適用することにより、画像データからエッジ成分が検出される。

その後、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳などの顔の器官の候補群を抽出する。そして、システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを目と判断し、目の候補群の絞り込みを行う。そして、システム制御部５０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳などの器官）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部５０は、顔の検出結果に応じて、検出された顔の数、各顔の位置、大きさ、向き、内容する器官（目、鼻、口、耳）などの位置や大きさ等の顔情報を出力し、処理を終了する。このとき、システム制御部５０は、顔の数などの特徴量をシステムメモリ５２に記憶する。一旦顔として検出された領域は、コントラストや色、大きさ等の条件が合致していれば所定期間（１秒程度）は顔として検出し続ける。これによって、一時的に被写体が後ろを向いた、目を瞑った等によって顔の器官が検出されなくなっても、顔として検出し続けることが可能である。

システム制御部５０は、上述の顔検出機能によって検出された顔について抽出済みとなっている目を、検出された目（瞳）として確定し、瞳検出結果として瞳情報を出力する。瞳情報には、例えば、画像中における目の位置、顔における目の位置、大きさ等、また、目の位置と大きさに基づく瞳領域が含まれる。瞳検出は、顔の要素（パーツ）を検出する器官検出の一種である。

以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して、顔や瞳などの特定の被写体情報を検出することが可能である。

なお、顔ＡＦと同時に顔ＡＥ，顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。

さらに、システム制御部５０は、画像処理部２４を用いて、色、コントラスト、動きベクトルなどの条件によって、主要被写体と想定されるモノ（人物の顔と器官以外のモノ）を検出することも可能である。

また、デジタルカメラ１００では、撮影時のオートフォーカス（ＡＦ）の動作モードとして、複数のＡＦモードからユーザー操作に応じて１つのＡＦモードを設定することが可能である。ＡＦモードの設定は、設定メニュー画面における、ＡＦモードを設定するためのメニュー項目が選択されて表示されるＡＦモード設定画面でのユーザー操作に基づいて行われる。ＡＦを行う位置の決定方式ごとに複数のＡＦモードが用意されている。本実施形態では、ＡＦモードとして、一点ＡＦモードと、追尾優先モードのいずれかが設定できるものとする。

一点ＡＦモードは、撮影範囲の中央、あるいはユーザーが指定した一点に焦点調節位置を表すＡＦ枠を設定するＡＦモードである。一点ＡＦモードでは、ＡＦ枠は被写体に変化があっても移動せず、顔などの被写体が検出されているか否かに関わらず、ＡＦ枠の位置から得られた情報（コントラスト値や位相差ＡＦ用のデフォーカス量）に基づいてＡＦが行われる。

追尾優先モードでは、ユーザーからの追尾指定がない場合（追尾待機状態、追尾解除状態）は、デジタルカメラ１００が自動的に主被写体と判定した被写体がＡＦ対象（焦点調節位置）となる。人物の顔が検出された場合は、検出された人物の瞳または顔を優先して主被写体としてＡＦ対象にする。人物の顔が検出されていない場合は、動体、コントラスト値の高い被写体、中央に近い被写体などの所定の条件に従って主被写体をデジタルカメラ１００が自動的に決定してＡＦ対象とする。また、ユーザーからの追尾指定がなされた後は、ＬＶ画像中で指定された被写体を追尾し続け、追尾している被写体の撮影範囲内での位置が変わっても、追尾している被写体をＡＦ対象とする。例えばユーザーが人物Ａの瞳または顔を追尾指定した場合（追尾中）は、ＬＶ画像上で人物Ａが移動しても人物Ａの瞳または顔を追い続け、ＡＦ対象とする。

また、人物以外を追尾対象とすることも可能であり（モノ追尾）、追尾指定された位置の色、コントラスト、形状などを条件として、同一の被写体がＬＶ画像中で移動しても追い続け、ＡＦ対象とする。すなわち、追尾優先モードは追尾を行うことによるＡＦ位置の決定が可能なＡＦモードである。なお、ＡＦモードは一点ＡＦモードと追尾優先モードに限られるものではない。例えばユーザーが指定した限定領域内で追尾を行うＡＦモード（「ゾーンＡＦ」）などがあってもよい。設定したＡＦモードは、不揮発性メモリ５６に記憶され、撮影モード処理においてはシステムメモリ５２に読み出される。

ここで、本実施形態の撮像部２２に用いられる撮像素子を説明する。撮像素子は、Ｃ−ＭＯＳセンサーとその周辺部で構成され、横方向にｍ個、縦方向にｎ個の複数の画素部がマトリクス状に配置されている。各画素部が１つの光電変換素子を有している。撮像素子は、撮像用画素部と焦点検出用画素部の２種類の画素部を有する。２行×２列の画素のうち、対角に配置される一対のＧ画素は撮像用画素部とし、Ｒ画素とＢ画素の一部を焦点検出用画素部としている。

焦点検出用画素部は、撮影光学系の異なる射出瞳の領域を通る光束を受光する２つのグループのいずれかに属する。これにより、２つのグループのそれぞれの焦点検出用画素群から互いに視差を有するＡ像信号とＢ像信号が得られ、公知の位相差式焦点検出を行うことができる。このように、撮像素子では、撮像素子から取得した信号に基づいて位相差式の焦点検出を行う、いわゆる撮像面位相差式の焦点検出を行うことができる。

システム制御部５０は、焦点検出用画素部から取得したＡ像信号とＢ像信号とを用いて位相差式の焦点検出処理を行う。より具体的には、システム制御部５０は視差を有する一対の像信号であるＡ像信号とＢ像信号との像ずれ量を、公知の相関演算により算出する。また、像ずれ量に所定の係数を掛けることでデフォーカス量を算出し、当該デフォーカス量に基づいてフォーカスレンズの駆動量を算出する。

なお、本実施例では焦点検出を行うための構成として上述の構成を例示したが、焦点検出を行うことができる構成であれば、異なる構成であってもよい。例えば、異なる画素構成によって撮像面位相差式の焦点検出を実現しても良いし、公知のコントラスト式の焦点検出を採用しても良い。また、焦点検出専用センサーを用いることで位相差式の焦点検出を実現しても良い。

図２は、本実施形態によるデジタルカメラ１００の撮影モード処理を示すフローチャートである。

Ｓ２０１において、システム制御部５０は、撮像部２２を通して取得された映像を画像処理部２４で表示用の画像に変換してメモリ３２に書き込み、メモリ３２に書き込まれた画像を表示部２８に表示させる。システム制御部５０は、この動作を繰り返し行うことで、撮像部２２で撮像された画像をライブビューとして表示する。また、このタイミングで、システム制御部５０と画像処理部２４は、表示されている画像から顔および瞳を検出する検出処理を開始する。顔と瞳の検出は繰り返し実行され、システム制御部５０は、その検出結果を使用する。

Ｓ２０２ではシステム制御部５０は、タッチパネル７０ａへのタッチダウン操作を検知したか否かを判断する。Ｓ２０２でタッチパネル７０ａへのタッチダウン操作を検知したと判断された場合、処理はＳ２０４に進み、タッチダウン操作を検知しなかったと判断された場合、処理はＳ２０３に進む。ここで、システム制御部５０は、検知されたタッチダウン操作に基づいて、画像が表示された表示画面上におけるユーザーの指定位置を取得する。Ｓ２０３では、システム制御部５０は焦点調節の対象となる焦点検出領域の自動設定処理を行う。焦点検出領域の自動設定処理は、ライブビュー中にデジタルカメラが焦点検出領域を決める処理であり、詳細については図３のフローチャートにより後述する。Ｓ２０４では、システム制御部５０は焦点検出領域の手動設定処理を行う。焦点検出領域の手動設定処理は、ライブビュー中に検出したタッチダウンの位置に基づいて焦点検出領域を決定する処理であり、詳細については図４のフローチャートにより後述する。

Ｓ２０５において、システム制御部５０は、焦点検出領域の手動設定の解除が行われたかどうかを判断する。焦点検出領域の手動設定の解除操作は、例えば、操作部７０の操作部材への所定の操作であってもよいし、タッチパネル７０ａの特定の場所へのタッチダウンであってもよい。Ｓ２０５において焦点検出領域の手動設定の解除操作がなされたと判断された場合、処理はＳ２０６へ進み、解除操作がなされていないと判断された場合、処理はＳ２０２に戻る。

Ｓ２０６では、システム制御部５０がシャッターボタン６１の操作途中（半押し）において第１シャッタースイッチ６２から得られる第１シャッタースイッチ信号ＳＷ１を検知したか否かを判断する。第１シャッタースイッチ信号ＳＷ１が検知された場合、処理はＳ２０７に進み、第１シャッタースイッチ信号ＳＷ１が検知さない場合、処理はＳ２１１に進む。

Ｓ２０７では、システム制御部５０は、Ｓ２０３またはＳ２０４における領域選択処理により設定された焦点検出領域に対して焦点検出処理を行い、焦点検出結果に応じて撮影レンズ１０３のフォーカスレンズを駆動する。こうして、手動または自動で設定された焦点検出領域を用いた焦点調節が行われる。Ｓ２０８において、システム制御部５０は第２シャッタースイッチ６４から得られる第２シャッター信号ＳＷ２を検知したかどうかを判断する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了（全押し）に応じて第２シャッター信号ＳＷ２を出力する。Ｓ２０８において、システム制御部５０が第２シャッタースイッチ信号ＳＷ２を検知した場合、処理はＳ２０９に進み、第２シャッタースイッチ信号ＳＷ２を検知しなかった場合、処理はＳ２１０へ進む。

Ｓ２１０において、システム制御部５０は、第１シャッタースイッチ信号ＳＷ１を検知しているか否かを判断する。これにより、第１シャッタースイッチ信号ＳＷ１が維持されているか（シャッターボタン６１の半押し状態が維持されているか）が確認される。Ｓ２１０において第１シャッタースイッチ信号ＳＷ１が検知された場合、処理はＳ２０８へ戻り、検知されなかった場合、処理はＳ２１１に進む。

Ｓ２０９において、システム制御部５０は撮影動作を行う。Ｓ２１１において、システム制御部５０は、終了操作（記録モードの終了）を検知したか否かを判断する。Ｓ２１１において、システム制御部５０が記録モードの終了を検知した場合はこのフローを終了し、記録モードの終了を検知しなかった場合、処理はＳ２０２に戻る。システム制御部５０は、例えば、モード切り替えスイッチ６０により電源オフ設定や、再生モード、ＰＣ接続モード等の記録モード以外のモード設定になされたことを検知した場合に記録モードの終了と判断する。

次に図３のフローチャートを用いて焦点検出領域の自動設定処理（Ｓ２０３）について説明する。焦点検出領域の自動設定処理はライブビュー中に、デジタルカメラが自動的に焦点検出領域を決める領域選択処理である。

Ｓ３０１において、システム制御部５０は、焦点検出をする対象となる被写体が、ユーザーのタッチダウン操作により選択済みとなっているかどうかを判定する。焦点検出をする対象となる被写体の選択は、タッチパネル７０ａのユーザーが選択した被写体が表示されている位置をタッチダウンすることによって選択することができる。Ｓ３０１で焦点検出をする対象となる被写体を選択済みと判定された場合、処理はＳ３０２に進み、選択されていないと判定された場合、処理はＳ３０４に進む。

Ｓ３０２では、システム制御部５０は、焦点検出をする対象として選択中の被写体を検出しているか否か（ライブビュー画像に存在するか否か）を判定する。選択中の被写体（領域）とは、直前の自動設定処理（Ｓ２０３）、手動設定処理（Ｓ２０４）により、焦点検出領域に選択された被写体の領域である。例えば、ユーザーが選択した被写体が画像から無くなっている場合、選択中の被写体が検出されていないと判定される。Ｓ３０２において選択中の被写体を検出していると判定された場合、処理はＳ３０３に進み、検出していないと判定された場合、処理はＳ３０４へ進む。Ｓ３０３において、システム制御部５０は、焦点検出の対象となる領域を選択中の被写体の領域として、本処理を終了する。本処理が終了すると、処理は図２のＳ２０６に進む。

Ｓ３０４以降の処理は、ユーザーのタッチダウン位置（指定位置）に基づいて選択された被写体が画像（ライブビュー画像）に存在しない場合に実行される、焦点検出領域の自動選択処理である。自動選択処理では、画像に瞳が存在すれば、その瞳の領域が自動的に選択される。複数の瞳が存在する場合には、それらの瞳のうち、カメラに近い側の瞳、または、大きく撮影されている方の瞳が選択される。システム制御部５０は、焦点検出領域に設定された領域を示す枠（ＡＦ枠）を表示部２８の表示画面に表示する（ライブビュー画像に重畳表示する）枠表示処理を行ってもよい。なお、Ｓ３０４以降の処理は、顔ＡＦと瞳ＡＦの実行時における焦点検出領域の設定にも用いられ得る処理である。顔ＡＦであっても、瞳検出設定（Ｓ３０７）がＯＮであれば、瞳領域が焦点検出領域に設定される。但し、この場合、焦点検出領域を示すＡＦ枠は、瞳領域が焦点検出領域に設定されても顔を囲むように表示される。ユーザーが顔ＡＦを指定しているにもかかわらず瞳領域を示す枠を表示することでユーザーが混乱してしまうことを防ぐためである。

まず、Ｓ３０４において、システム制御部５０は、ライブビューの表示用画像データに対して顔が検出されているかどうかを判定する。上述したように顔の検出はシステム制御部５０と画像処理部２４により実施される。Ｓ３０４で顔を検出していないと判定された場合、処理はＳ３０５に進み、顔を検出していると判定された場合、処理はＳ３０６に進む。

Ｓ３０５では、顔が検されていないため、システム制御部５０は、撮影画角内で最も撮像面から近い場所に１つ以上の焦点検出領域を設定し、本処理を終了する。撮像面から近い場所に焦点検出領域を設定するのは、ピントを合わせたい被写体を至近に配置するようユーザーがフレーミングして撮影する可能性が高いからである。最も撮像面から近い場所を特定する方法の一例として、撮像面に最も近い距離にピント合わせた状態からコントラストのある領域が検索できるまでピントを合わる距離を遠距離側に移動させ、焦点検出領域を決定する方法がある。

Ｓ３０６では、システム制御部５０は、ライブビューの表示用画像データから検出されている顔から主顔を決定する。主顔とは主被写体の顔である。検出されている顔が１つであれば、その顔が主顔に決定される。複数の顔を検出していた場合には、顔の大きさや顔の位置に応じてシステム制御部５０が主顔を決定する。例えば、顔の大きさがより大きく、また静止画または動画として撮影される画像の中心により近い顏を主顔に設定する。例えば図８のように画像における顔の大きさと顔の位置に応じて評価値が設定される。図８における「顔の大きさ（水平）」は検出された顔の水平画素数に応じた評価値である。「画角中心からの顔位置」は、画像中心から画像対角までを１００％とした場合に、顔の中心が画像中心からどの程度離れているかに応じた評価値である。例えば、顔の大きさが３５ピクセルで顔の中心が画像中心にあった場合は顔の大きさによる評価値は３０で画像中心からの顔位置による評価値は５０となり、総合の評価値は８０となる。顏が複数検出された場合はそれぞれの顔に対して総合の評価値求めて、最も総合の評価値の高い顔を主顔とする。

Ｓ３０７では、システム制御部５０は瞳検出設定がＯＮになっているかどうかを判断する。瞳検出設定のＯＮ／ＯＦＦはユーザー操作により設定可能である。Ｓ３０７で瞳検出設定がＯＮであると判定された場合、処理はＳ３０９へ進み、瞳検出設定がＯＮであると判定されなかった場合、処理はＳ３０８に進む。Ｓ３０８では、システム制御部５０は焦点検出領域を主顔の顏領域に設定し、本処理を終了する。顏領域とは、顔全体を含む領域（例えば、顔に外接する矩形）である（例えば、図９（ａ）のＨＬ×ＷＬの矩形の領域）。なお、顔の内接矩形を顔領域としても構わない。

Ｓ３０９において、システム制御部５０は、主顔から両方の瞳が検出されたか否かを判定する。両方の瞳が検出されたと判定された場合、処理はＳ３１０へ進み、両方の瞳が検出されていないと判定された場合、処理はＳ３０８へ進む。Ｓ３０８の処理は上述したとおりである。

Ｓ３１０において、システム制御部５０は、顔の顏向きが正面を向いているかどうか、すなわち、主顔が正面顔か否かを判定する。図９（ｂ）は正面顔を示している。図９（ｃ）のようにカメラに対して顔が斜めを向いている場合は、顔の向きは正面ではない（非正面顔とも称する）。なお、顔が正面を向いているかどうかの判定は、例えば画像処理部２４が正面を向いた顔をテンプレートとしてパターンマッチングを行い、テンプレートとマッチした場合には顔が正面を向いていると判定することによって可能である。また、検出された顔の位置と顔に含まれる器官（瞳、鼻、口等）の位置から正面顔か否かを判定するようにしても良い。例えば、顔の中心から左右ぞれぞれの瞳の位置までの水平方向と垂直方向の両方の距離が等しければ顔が正面を向いていると判定し、等しくなければ顔が正面を向いていないと判定することができる。

Ｓ３１０において、主顔が正面顔であると判定された場合、処理はＳ３１１へ、正面顔でないと判定された場合、処理はＳ３１２へ進む。Ｓ３１１において、システム制御部５０は、主顔の両方の瞳のうち画面中央に近い瞳に焦点検出領域を設定する。例えば、検出された瞳位置を中心として、顔の大きさに対して一定の割合を掛けた大きさの領域（瞳領域）が、瞳への焦点検出領域として設定される。瞳に対する焦点検出領域の設定はもちろんこれに限られるものではなく、例えば、検出された瞳位置を含む領域であって、他の器官（鼻、口等）を含まない領域を設定するようにしてもよい。

Ｓ３１２において、システム制御部５０は顔の向きがカメラから向かって右向きに傾いている顏かどうかを判定する。Ｓ３１２で主顔が右向きに傾いていると判定された場合、処理はＳ３１３に進み、主顔が右向きに傾いていない（この場合、左向きに傾いている）と判定された場合、処理はＳ３１４へ進む。Ｓ３１３において、システム制御部５０は、主顔のカメラから向かって左側の瞳に焦点検出領域を設定し、本処理を終了する。左側の瞳領域を焦点検出領域に設定するのは、カメラから向かって顔が右向きの顔の場合は、カメラから向かって左側の瞳が右側の瞳よりもカメラに近い側にあると判断しているからである。Ｓ３１４では、システム制御部５０は、主顔のカメラから向かって右側の瞳に焦点検出領域を設定して本処理を終了する。なお、主顔が正面に向いていない場合に（Ｓ３１０でＮＯ）、２つの瞳のうち画像において大きい方の瞳に焦点検出領域が設定されるようにしてもよい。

次に図４のフローチャートを用いて焦点検出領域の手動設定処理（Ｓ２０４）について説明する。焦点検出領域の手動選択処理は、タッチダウンの位置に応じて焦点検出の領域を設定する領域選択処理である。

Ｓ４０１では、システム制御部５０はライブビューの表示用画像データに対して顔が検出されているかどうかを判定する。上述したように、顔の検出はシステム制御部５０と画像処理部２４により実施される。顔が検出されていると判定された場合、処理はＳ４０３へ進み、検出されていないと判定された場合、処理はＳ４０２へ進む。Ｓ４０２では、システム制御部５０は、タッチダウン位置に対して画像処理部２４に物体検出を行わせ、検出された物体の領域を焦点検出領域に設定し、本フローを終了する。フローを終了すると処理は、図２のＳ２０５に遷移する。なお、タッチダウン位置とは、画像表示された表示画面上（背面表示パネル２８ａ上）におけるタッチダウンの位置であり、表示画面上へのユーザーの指定位置の一例である。以下、ユーザーの指定位置をタッチダウン位置として実施形態の説明を行う。また、物体検出の方法としては、周囲の領域よりも色や輝度の顕著な領域を抽出して物体領域とする方法や、カメラからの距離がタッチダウンした位置と同一距離にある領域を物体領域として抽出する方法、などがあげあれる。

Ｓ４０３では、システム制御部５０は瞳検出設定がＯＮになっているかどうかを判断する。Ｓ４０３で瞳検出がＯＮになっていると判定されなかった場合、処理はＳ４０４に進み、瞳検出がＯＮになっていると判定された場合、処理はＳ４０７に進む。Ｓ４０４において、システム制御部５０はタッチダウン位置が顔領域内かどうかを判定する。Ｓ４０４でタッチダウン位置が顔領域であると判定された場合、処理はＳ４０５に進み、タッチダウン位置が顔領域ではないと判定された場合、処理はＳ４０６へ進む。Ｓ４０５において、システム制御部５０は、タッチダウン位置の顏領域を焦点検出領域として設定してフローを終了する。Ｓ４０６において、システム制御部５０は、タッチダウンした位置に対して画像処理部２４による物体検出を行い、検出された物体の領域を焦点検出領域に設定してフローを終了する。

Ｓ４０７で、システム制御部５０はタッチダウン位置が顔の近傍範囲内かどうかを判定する。例えば、図９（ｃ）（ｄ）の領域９３３内にあればタッチダウン位置が顔の近傍範囲内であると判断し、領域９３３の外であれば顔の近傍範囲にはないと判断する。したがって、顔の近傍範囲（領域９３３）内にタッチダウン位置があるということは、顔領域（ＨＬ×ＷＬの矩形領域内）にタッチダウン位置がある場合を含む。本例では、顔の中心位置に対して、顔の大きさの水平サイズＷＬ、垂直サイズＨＬそれぞれにＡを掛けた領域を領域９３３とする。Ａは１以上の数値であれば整数でなくてもいくつでも構わない。Ｓ４０７でタッチダウン位置が顔の近傍範囲にあると判断されなかった場合、処理はＳ４０２に進み、タッチダウン位置が顔の近傍範囲にあると判断された場合、処理はＳ４０８に進む。Ｓ４０２については、上述したとおりである。

Ｓ４０８において、システム制御部５０はタッチダウン位置に基づいて特定された顔の少なくとも左右どちらか一方の瞳が検出されているかどうかを判定する。本実施形態では、タッチダウン位置に基づいて特定された顔として、タッチダウン位置に最も近い顔（タッチダウン位置がその領域内に存在する顔を含む）を用いて説明する。Ｓ４０８において、どちらの瞳も検出されていない判断された場合、処理はＳ４０４に進み、少なくともどちらかの瞳が検出されている判断された場合、処理はＳ４０９に進む。Ｓ４０４に進んだ場合の処理は、上述したとおりである。

Ｓ４０９では、システム制御部５０がタッチダウン位置から最も近い顔、またはその顔の左右の瞳のうちのいずれかが既にタッチダウンによって選択されているかどうかを判定する。既にタッチダウンによって選択されていると判定された場合、処理はＳ４１０に進み、選択されていないと判定された場合、処理はＳ４１４に進む。

Ｓ４１０で、システム制御部５０は、タッチダウン位置が顔領域内かどうかを判定する。Ｓ４１０でタッチダウン位置が顔領域内であると判定された場合、処理はＳ４１１へ進み、そうではないと判定された場合、処理はＳ４０２に進む。Ｓ４０２の処理は上述したとおりである。Ｓ４１１において、システム制御部５０は、タッチダウン位置の顔が正面顔かどうかを判定する。Ｓ４１１でタッチダウン位置の顏が正面顔と判定された場合、処理はＳ４１２に進み、正面顔と判定されなかった場合、処理はＳ４１１に進む。Ｓ４１２では、システム制御部５０は、正面顔（選択中）の焦点領域設定処理を実行してフローを終了する。正面顔（選択中）の焦点領域設定処理については、図５を用いて後述する。Ｓ４１３では、システム制御部５０は、斜め顔（選択中）の焦点領域設定処理を実行してフローを終了する。斜め顔（選択中）の焦点領域設定処理については、図１０を用いて後述する。

Ｓ４１４で、システム制御部５０は、タッチダウン位置から最も近い顔（特定された顔）が正面向きかどうかを判断する。顔が正面向きであると判定された場合、処理はＳ４１６に進み、顔が正面向きでないと判定された場合、処理はＳ４１５へ進む。Ｓ４１５において、システム制御部５０は、斜め顔（非選択）の焦点検出領域設定処理を実行し、本フローを終了する。斜め顔（非選択）の焦点検出領域設定処理については、図７を用いて後述する。

Ｓ４１６において、システム制御部５０は、タッチダウン位置が顔領域内かどうかを判定する。タッチダウン位置が顔領域内であると判定された場合、処理はＳ４１７に進み、顔領域内でないと判定された場合、処理はＳ４１８へ進む。Ｓ４１７では、システム制御部５０は、正面顔（非選択）の焦点検出領域設定処理を実行し、本フローを終了する。正面顔の焦点検出領域設定処理については図６を用いて後述する。また、Ｓ４１８では、タッチダウンした位置に対して画像処理部２４による物体検出を行い、検出された物体の領域を焦点検出領域に設定してフローを終了する。

次に図５を用いて、正面顔（選択中）の焦点検出領域設定処理（Ｓ４１２の処理）の詳細を説明する。人物選択中の焦点検出領域設定処理は、既にタッチダウンによって人物の顏または瞳が焦点検出領域として選択された状態において、同一人物の顔領域に再度タッチダウンした場合に、焦点検出領域を手動で設定する処理である。本実施形態では、ユーザーの指定位置により特定された顔において既に一方の瞳が焦点検出領域のために選択されている場合に、非選択となっている他方の瞳の選択領域を設定し、選択されている一方の瞳について選択領域を設定しない。これにより、同一人物の顔領域に再度タッチダウンするたびに、焦点検出領域を設定する対象となる瞳が切り替わることになる。図５の処理では、ユーザーの指定位置により特定された顔において既に一方の瞳が焦点検出領域として選択されている場合に、特定された顔の領域を上下に分けた上側の領域が、非選択中となっている他方の瞳の選択領域に設定される。例えば、図９（ａ）の領域９０１が非選択中の瞳の選択領域に設定される。

なお、本実施形態では、非選択中の瞳の選択領域を拡張する処理として、領域９０１の全体が非選択中の瞳のための選択領域となるようにしたが、これに限られるものではない。例えば、非選択中の瞳のための選択領域が選択中の瞳の選択領域よりも小さくなる所定のサイズ比で領域９０１を分割して、それぞれの瞳の選択領域として設定するようにしてもよい。

Ｓ５０１において、システム制御部５０はタッチダウン位置が顔領域を上下に分けた下側の領域にあるかどうかを判断する。本実施形態では、例えば、図９（ａ）に示されるように、顔領域を上下に半分に分け、領域９００が顔の下側の領域、領域９０１が上側の領域である。タッチダウン位置が顔領域の下側の領域であると判定された場合、処理はＳ５０２に進み、そうでない場合、処理はＳ５０３へ進む。タッチダウン位置が顔領域の下側の領域であると判定されない場合とは、顔領域の下側の領域を除く上側の領域、例えば、タッチダウン位置が図９（ａ）の領域９０１であった場合である。Ｓ５０２において、システム制御部５０は、顔領域を焦点検出領域として設定する。

Ｓ５０３では、システム制御部５０は、人物のカメラから向かって右側の瞳がタッチダウンによって選択されているか否か、すなわち、右側の瞳領域が焦点検出領域として手動で設定されているか否かを判定する。右側の瞳が選択されていると判定された場合、処理はＳ５０４に進み、選択されていないと判定された場合、処理はＳ５０７に進む。Ｓ５０４では（右側の瞳が選択中の場合）、システム制御部５０は、人物のカメラから向かって左側の瞳が検出されているか否かを判定する。Ｓ５０４で左側の瞳が検出されていると判定された場合、処理はＳ５０５に進み、左側の瞳が検出されていないと判定された場合、処理はＳ５０６へ進む。

Ｓ５０５において、システム制御部５０は、左側の瞳領域を焦点検出領域として設定して、本フローを終了する。Ｓ５０６では、システム制御部５０は、顔領域を焦点検出領域として設定し、本フローを終了する。本フローを終了すると図４の焦点検出領域の手動設定処理も終了し、処理は図２のＳ２０５に遷移する。

Ｓ５０７では（左側の瞳が選択中の場合）、システム制御部５０は、人物のカメラから向かって右側の瞳が検出されているか否かを判定する。右側の瞳が検出されていると判定された場合、処理はＳ５０８に進み、右側の瞳が検出されていると判定されなかった場合、処理はＳ５０６へ進む。Ｓ５０８において、システム制御部５０は、右側の瞳領域を焦点検出領域に設定して本フローを終了する。Ｓ５０６の処理は、上述したとおりである。

次に、図６を用いて正面顔（非選択）の焦点検出領域設定処理（Ｓ４１７）について説明する。正面顔（非選択）の焦点検出領域設定処理は、人物の顏または瞳が焦点検出領域として選択されていない場合で、正面顔の人物の領域がタッチダウンされた場合に焦点検出領域を設定する処理である。

Ｓ６０１において、システム制御部５０は、タッチダウン位置が顔領域の下半分かどうかを判断する。例えば、図９（ｂ）において、領域９１０が顔の下半分の領域である。Ｓ６０１において、タッチダウン位置が顔領域の下半分であると判定された場合、処理はＳ６０２に進み、タッチダウン位置が顔領域の下半分であると判定されなかった場合、処理はＳ６０３へ進む。タッチダウン位置が顔領域の下半分であると判定されない場合とは、例えば、図９（ｂ）における領域９１１または領域９１２がタッチダウンされたと場合である。Ｓ６０２において、システム制御部５０は、顔領域を焦点検出領域として設定し、本フローを終了する。本フローを終了すると図４に示される焦点検出領域の手動設定処理も終了し、処理は図２のＳ２０５に遷移する。

Ｓ６０３では、システム制御部５０は、人物のカメラから向かって左側の領域がタッチダウンされているかどうか、例えば、図９（ｂ）において領域９１１がタッチダウンされているかどうかを判断する。顔の左側の領域がタッチダウンされていると判定された場合、処理はＳ６０４に進み、顔の左側の領域がタッチダウンされていないと判定された場合（顔の右側の領域がタッチダウンされている場合）、処理はＳ６０７に進む。以上、Ｓ６０１、Ｓ６０３の処理は、ユーザーの指定位置により特定される顔の左側の瞳を選択するための左側領域（図９（ｂ）の領域９１１）と右側の瞳を選択するための右側領域（図９（ｂ）の領域９１２）を設定することと等価である。

Ｓ６０４では、システム制御部５０が、人物のカメラから向かって左側の瞳が検出されているか否かを判定する。Ｓ６０４で左側の瞳が検出されていると判定された場合、処理はＳ６０５に進み、左側の瞳が検出されていないと判定された場合、処理はＳ６０６へ進む。Ｓ６０５において、システム制御部５０は、左側の瞳領域を焦点検出領域として設定して本フローを終了する。Ｓ６０６において、システム制御部５０は顔領域を焦点検出領域として設定して本フローを終了する。

Ｓ６０７において、システム制御部５０は、人物のカメラから向かって右側の瞳が検出されているか否かを判定する。右側の瞳が検出されていると判定された場合、処理はＳ６０８に進み、右側の瞳が検出されていないと判定された場合、処理はＳ６０６に進む。Ｓ６０８において、システム制御部５０は、右側の瞳領域を焦点検出領域として設定し、本フローを終了する。Ｓ６０６の処理は上述したとおりである。

次に図７を用いて斜め顔（非選択）の焦点検出領域設定処理（Ｓ４１５）について説明する。斜め顔（非選択）の焦点検出領域設定処理は、人物の顏または瞳が焦点検出領域として選択されていない場合で、かつ、正面を向いていない人物の領域にタッチダウンされた場合に焦点検出領域を設定する処理である。

Ｓ７０１において、システム制御部５０はタッチダウン位置が顔領域の下半分かどうかを判定する。例えば、図９（ｃ）において、近傍範囲（領域９３３）における領域９２０および領域９２４が顔の下半分の領域である。Ｓ７０１において、タッチダウン位置が顔領域の下半分であると判定された場合、処理はＳ７０２に進み、他の場合、処理はＳ７０５へ進む。Ｓ７０５において、システム制御部５０はタッチダウン位置から最も近い顏の左右両方の瞳を検出したかどうかを判定する。左右両方の瞳を検出したと判定された場合、処理はＳ７０６へ進み、左右両方の瞳を検出したと判定されなかった場合、処理はＳ７０２に進む。

Ｓ７０２において、システム制御部５０はタッチダウン位置が顔領域内かどうかを判定する。タッチダウン位置が顔領域内であると判定された場合、処理はＳ７０３に進み、他の場合、処理はＳ７０４へ進む。Ｓ７０３において、システム制御部５０は、タッチダウン位置の顏領域を焦点検出領域に設定し、本フローを終了する。顔領域域内であると判断する領域は、例えば、図９（ｃ）において領域９２０である。本フローを終了すると図４の焦点検出領域の手動設定処理も終了し、処理は図２のＳ２０５に遷移する。Ｓ７０４において、システム制御部５０はタッチダウン位置に対して画像処理部２４で物体検出を行い、検出された物体の領域を焦点検出領域に設定し、本フローを終了する。

Ｓ７０６において、システム制御部５０は、左右の瞳の選択の境界を左右瞳の中央に設定する。図９（ｃ）の線９２５は、左右の瞳の選択の境界の設定例である。Ｓ７０７でシステム制御部５０はタッチダウン位置から最も近い顔が主顔かどうかを判断する。主顔と判定された場合、処理はＳ７１３に進み、主顔と判定されなかった場合、処理はＳ７０８に遷移する。

Ｓ７０８でシステム制御部５０はタッチダウン位置が顔領域内であるかどうかを判定する。タッチダウン位置が顔領域内であると判定された場合、処理はＳ７１０へ進み、その他の場合、処理はＳ７０９に進む。Ｓ７０９では、システム制御部５０はタッチダウン位置に対して画像処理部２４で検出を行い、検出された物体の領域を焦点検出領域に設定し、本フローを終了する。

Ｓ７１０において、システム制御部５０はタッチダウン位置がＳ７０６で決定した境界よりも左側にあるかどうか、つまり図９（ｃ）に示す領域９２１にあるかどうかを判定する。タッチダウン位置が境界よりも左側（領域９２１）にあると判定された場合、処理はＳ７１１に進み、他の場合、すなわち、タッチダウン位置が境界よりも右側（領域９２２）にあると判定された場合、処理はＳ７１２に進む。タッチダウン位置が境界よりも右側にある場合とは、図９（ｃ）の例の場合、タッチダウン位置が領域９２２にあると判定された場合である。Ｓ７１１において、システム制御部５０は、左側の瞳領域を焦点検出領域として設定し、本フローを終了する。また、Ｓ７１２では、システム制御部５０は、右側の瞳領域を焦点検出領域として設定して本フローを終了する。以上のように、システム制御部５０は、ユーザーの指定位置により特定される顔の左側の瞳を選択するための左側領域と右側の瞳を選択するための右側領域を、それぞれ当該顔領域に収まるように設定する（Ｓ７０１、Ｓ７１０）。そして、システム制御部５０は、ユーザーの指定位置が左側領域または右側領域に存在する場合に、対応する瞳の瞳領域を焦点検出領域として選択する（Ｓ７１１、Ｓ７１２）。なお、

Ｓ７１３では、システム制御部５０がタッチダウン位置から最も近い顔の瞳に対して端側の瞳を決定する。端側の瞳とは左右の瞳のうちより顔領域の端にある瞳の事である。端側の瞳の決定方法としては、顔の領域と左右の瞳位置から顔の領域の端に近い方の瞳を端側の瞳として決定すればよい。もちろん、これに限られるものではなく、例えば、Ｓ７０６で決めた左右の瞳選択の境界に基づいて領域の狭い方の瞳を端側の瞳として決定してもよい。あるいは、顔の振り向き角度ごとのテンプレート情報と顔画像を比較することで顔の振り向き角度を求め、求めた振り向き角度からカメラから見て奥側にある瞳が端側にあると推測するようにしてもよい。

Ｓ７１４において、システム制御部５０は、端側の瞳の信頼度を求め、これが閾値Ａ以上かどうかを判定する。瞳の検出結果の信頼度とは、瞳検出において検出された瞳の確からしさを示す度合いを示す数値（評価値とも称する）であり、数値が高ければ検出された瞳の確からしさが高くなる。

瞳の信頼度の算出方法として、例えば検出できた器官のパーツ数による信頼度と画像に含まれるノイズ成分による信頼度を求めてそれらを足し合わせたものを最終的な信頼度とする。検出できた器官のパーツ数による信頼度は、器官を複数のパーツに分け、検出できたパーツの数から信頼度を算出する。各々のパーツの検出は、検出する器官に応じたパーツ検出領域を設定し、画像処理部２４の内部に保存してあるパーツのテンプレートと一致している領域がパーツ検出領域内に存在すると破断した場合はパーツが検出されたものとする。１つの器官に対して検出できたパーツの数に応じて器官検出の信頼度を算出する。例えば器官を瞳として検出した場合、目の虹彩、目頭、目尻、まぶた上部、まぶた下部、など複数のパーツに分けて検出できたパーツが多いほど信頼度が高くなる。

また、画像に含まれるノイズ成分による信頼度は、器官検出領域の画像のノイズ成分を抽出してノイズが少ないと判断した場合は信頼度を高く設定しノイズが多いと判断した場合は信頼度を低く設定する。ノイズ成分の抽出方法としては、検出領域のオリジナル画像に対して検出領域のオリジナル画像にローパスフィルターをかけた画像を減算し、減算された画像の差の絶対値を取る方法などがある。

なお、器官検出の信頼度の算出には、他の方法が用いられてもよい。例えば、器官だと判断した領域に対して輝度ヒストグラムを取り、画像処理部２４内部に保存してある器官のテンプレートの輝度ヒストグラムとの一致度を算出することによって信頼度を算出するようにしてもよい。あるいは、器官であるとは判断された領域からエッジ情報を抽出し、エッジ量から信頼度を算出するようにしてもよい。また、複数の方法を加味して信頼度を算出してもよい。例えば、閾値Ａは、ノイズ成分は考慮せず器官のパーツがすべて検出できる閾値を目安に設定する。

Ｓ７１４で、端側の瞳の信頼度が閾値Ａ以上であると判定された場合、処理はＳ７１５へ進み、端側の瞳の信頼度が閾値Ａ以上であると判定されなかった場合、処理はＳ７０８に進む。Ｓ７０８以降の処理は上述したとおりである。

Ｓ７１５では、システム制御部５０は、端側の瞳が焦点検出領域であると判定するための、タッチダウン位置の領域を広げる。例えば、図９（ｄ）の領域９３２に示すように、端側の瞳である右側の瞳を焦点検出領域であると判定するタッチダウン位置の領域を顔領域の外側に広げる。左右瞳の中心から顔領域右端にかけての領域の水平サイズＷＬ＿Ｒに対し、Ｂ倍して顔領域の外の背景側を含むように領域を拡大する。以上のように、システム制御部５０は、所定条件を満たす場合に、特定された顔の端（顔の領域の境界）に近い方の瞳を選択するための領域を拡張する。ここで、所定条件は、特定された顔が主被写体となる条件を満たしていること（Ｓ７０７）と、特定された顔の境界に近い方の瞳の、瞳としての検出の信頼度が所定値以上であること（Ｓ７１４）である。また、本実施形態では、所定条件として、特定された顔およびその瞳のいずれもが、焦点検出領域として選択されていないこと（Ｓ４０９）、特定された顔が正面顔でないこと（Ｓ４１４）を含む。

以上のように、システム制御部５０は、瞳を選択するための領域の拡張を行わない場合、図９（ｃ）に示すように左側領域（領域９２１）と右側領域（領域９２２）の双方を検出された顔の大きさに基づく顔領域に収まるように設定する（Ｓ７１１、Ｓ７１２）。他方、瞳を選択するための領域の拡張を行う場合、システム制御部５０は、図９（ｄ）に示されるように、拡張対象の領域を顔領域の外側へ向かって拡張する。

Ｓ７１６において、システム制御部５０は、タッチダウン位置がＳ７１５で拡大された領域内かどうかを判定する。例えば、タッチダウン位置が、図９（ｄ）における領域９３２内であるかどうかを判定する。タッチダウン位置がＳ７１５で拡大した領域内であると判定された場合、処理はＳ７１７に進み、そうでない場合、処理はＳ７１８へ進む。Ｓ７１７において、システム制御部５０は、端側の瞳領域を焦点検出領域として設定して本フローを終了する。

Ｓ７１８において、システム制御部５０はタッチダウン位置が顔領域内かどうかを判定する。これは、例えば、図９（ｄ）において、領域９３１の領域内かどうかの判定となる。Ｓ７１８でタッチダウン位置が顔領域内と判定された場合、処理はＳ７１９に進み、タッチダウン位置が顔領域内と判定されなかった場合、処理はＳ７２０へ進む。Ｓ７１９において、システム制御部５０は中央側、つまり端側とは逆の瞳領域を焦点検出領域として設定して本フローを終了する。Ｓ７２０において、システム制御部５０はタッチダウン位置に対して画像処理部２４で物体検出を行い、検出された物体の領域を焦点検出領域に設定し、本フローを終了する。

次に図１０を用いて斜め顔（選択中）の焦点検出領域設定処理について説明する。斜め顔（選択中）の焦点検出領域設定処理は、人物の顏または瞳が焦点検出領域として選択されていない場合で正面を向いていない人物の領域にタッチダウンした場合に焦点検出領域を設定する処理である。

Ｓ１００１において、システム制御部５０はタッチダウン領域が顔領域の下半分かどうかを判断する。例えば、図９（ｃ）において、領域９２０および領域９２４が顔の下半分の領域である。Ｓ１００１において、タッチダウン領域が顔領域の下半分であると判断された場合、処理はＳ１００２へ進み、タッチダウン領域が顔領域の下半分ではないと判断された場合、処理はＳ１００５へ進む。

Ｓ１００２において、システム制御部５０はタッチダウン領域が顔領域内かどうかを判断する。顔領域内と判断される領域は、図９（ｃ）における領域９２０である。Ｓ１００２において顔領域内であると判断された場合、処理はＳ１００３に進み、タッチダウン領域が顔領域内ではないと判断された場合、処理はＳ１００４に進む。Ｓ１００３において、システム制御部５０は、タッチダウン位置の顏領域を焦点検出領域として設定し、本処理を終了する。また、Ｓ１００４において、システム制御部５０はタッチダウンした位置に対して画像処理部２４で物体検出を行い、検出された物体を被写体として焦点検出領域に設定して本処理を終了する。本処理を終了すると図４の焦点検出領域の手動設定処理も終了し、図２のＳ２０５に遷移する。

Ｓ１００５において、システム制御部５０はタッチダウンした位置から最も近い顏の左右両方の瞳を検出したかどうかを判定する。Ｓ１００５において左右両方の瞳を検出したと判断された場合、処理はＳ１００６へ進み、左右両方の瞳を検出していないと判断された場合、処理はＳ１００２に進む。Ｓ１００２以降の処理は上述したとおりである。Ｓ１００６において、システム制御部５０は、左右の瞳の選択の境界を左右の瞳の中央に設定する。左右の瞳の選択の境界の例を図９（ｃ）の線９２５に示す。

Ｓ１００７において、システム制御部５０はタッチダウンした位置から最も近い顔が主顔かどうかを判断する。Ｓ１００７において主顔と判断された場合、処理はＳ１０１３に進み、主顔と判断されなかった場合、処理はＳ１００８に進む。Ｓ１００８で、システム制御部５０はタッチダウン位置が顔領域内であるかどうかを判断する。Ｓ１００８で顔領域内であると判断された場合、処理はＳ１０１０に進み、顔領域内であると判断されなかった場合、処理は、Ｓ１００９に進む。

Ｓ１００９において、システム制御部５０はタッチダウンした位置に対して画像処理部２４で検出を行い、検出された物体の領域焦点検出領域に設定し、本処理を終了する。Ｓ１０１０において、システム制御部５０は、タッチダウン位置がＳ１００６で決定した境界よりも左側にあるかどうか、つまり図９（ｃ）に示す領域９２１にあるかどうかを判断する。タッチダウン位置が境界よりも左側にあると判断された場合、処理はＳ１０１１に進み、そうではない場合、処理はＳ１０１２に進む。Ｓ１０１１において、システム制御部５０は、左側の瞳領域を焦点検出領域に設定し、本処理を終了する。Ｓ１０１２では、システム制御部５０は、図９（ｃ）に示す領域９２２がタッチダウンされたものと判断し、右側の瞳領域を焦点検出領域に設定して本処理を終了する。以上のＳ１００８〜Ｓ１０１２の処理は、上述したＳ７０８〜Ｓ７１２と同様の処理である。

Ｓ１０１３では、システム制御部５０は、タッチダウン位置から最も近い顔の瞳に対して端側の瞳を決定する。端側の瞳とは左右の瞳のうちより顔領域の端にある瞳の事である。例えば、システム制御部５０は、顔の領域と左右の瞳位置から顔の領域の端に近い方の瞳を端側の瞳として決定する。なお、端側の瞳の決定方法はこれに限られるものではない。例えば、Ｓ１００６で決めた左右の瞳選択の境界に基づいて領域の狭い方の瞳を端側の瞳として決定してもよい。或は、顔の振り向き角度ごとのテンプレート情報と顔画像を比較することで顔の振り向き角度を求めて振り向き角度からカメラから見て奥側にある瞳を端側の瞳に決定するようにしてもよい。

Ｓ１０１４において、システム制御部５０は端側と逆側の瞳がユーザーによって既に選択されているかどうかを判定する。Ｓ１０１４で既に選択されていると判断された場合、処理はＳ１０１５へ進み、既に選択されていると判断されなかった場合、処理はＳ１００８に進む。Ｓ１０１５において、システム制御部５０は端側の瞳の信頼度を求め、これが閾値Ａ以上かどうかを判断する。瞳の検出の信頼度については、Ｓ７１４において上述したとおりである。Ｓ１０１５で信頼度が閾値Ａ以上と判断された場合、処理はＳ１０１６へ進み、信頼度が閾値Ａ以上と判断されなかった場合、処理はＳ１００８へ進む。Ｓ１００８以降の処理は上述したとおりである。

Ｓ１０１６以降では、システム制御部５０は、タッチダウンにより端側の瞳を焦点検出領域であると判断する領域を広げた上で、タッチダウン位置との関係から焦点検出領域を設定する。Ｓ１０１６〜Ｓ１０２１の処理は、図７のＳ７１５〜Ｓ７２０の処理と同様である。

以上説明したように、上記実施形態によれば、被写体の顔が主被写体の場合は瞳選択を行いやすくすることでユーザーが適切に焦点検出領域を選択することが可能となる。すなわち、ユーザーが瞳を焦点検出領域として選択する可能性が高い場合に瞳領域として反応する領域を広げることで、従来よりもユーザーの意図を組みとった焦点検出領域の設定が可能になる。

なお、上記実施形態では、図４のＳ１１２（図５）で、タッチダウン位置が正面顔の領域内であった場合に、顔領域の下半分へのタッチダウンにより常に顔が選択され、顔領域の上半分へのタッチダウンが繰り返されると右目と左目が交互に選択される。しかしながら、これに限られるものではない。例えば、タッチダウン位置が正面顔の領域内であった場合に、その位置が下半分であるか上半分であるかに関わらず、タッチダウンが繰り返されると、顔→右目→左目→顔のように焦点検出領域が順次に切り替わるようにしてもよい。図１１は、正面顔（選択中）の焦点検出領域設定処理の他の例を示すフローチャートであり、タッチダウンに応じて顔→右目→左目→顔のように焦点検出領域を順次に切り替える処理を示す。図１１に示した処理は、図４のＳ４１２の処理を詳述するものであり、図５に示した処理に置き換わるものである。

Ｓ５２１において、システム制御部５０は、人物の顔がタッチダウンによって選択されているか否か、すなわち、顔が焦点検出領域として手動で設定されているか否かを判定する。Ｓ５２１において顔が選択されていると判定されると、処理はＳ５２２に進む。Ｓ５２２において、システム制御部５０は、人物のカメラから向かって右側の瞳が検出されているか否かを判定する。右側の瞳が検出されていると判定された場合、処理はＳ５２３に進み、システム制御部５０は、右側の瞳領域を焦点検出領域に設定する。一方、Ｓ５２２において右側の瞳が検出されていないと判定された場合、処理はＳ５２５へ進む。

Ｓ５２１において、人物の顔が選択中ではないと判定された場合、処理はＳ５２４へ進む。Ｓ５２４において、システム制御部５０は、人物のカメラから向かって右側の瞳がタッチダウンによって選択されているか否か、すなわち、右側の瞳領域が焦点検出領域として手動で設定されているか否かを判定する。右側の瞳領域が焦点検出領域として選択されていると判定された場合、処理はＳ５２５へ進む。Ｓ５２５において、システム制御部５０は、人物のカメラから向かって左側の瞳が検出されているか否かを判定する。左側の瞳が検出されていると判定された場合、処理はＳ５５２６に進み、システム制御部５０は、左側の瞳領域を焦点検出領域に設定する。一方、Ｓ５２５において左側の瞳が検出されていないと判定された場合、処理はＳ５２７へ進む。Ｓ５２４において、右側の瞳が選択中ではないと判定された場合も、処理はＳ５２７へ進む。Ｓ５２７において、システム制御部５０は、顔領域を焦点検出領域に設定する。

以上のように、図１１に示した処理によれば、顔領域へのタッチ操作に応じて、焦点検出領域が、顔→右側の瞳領域→左側の瞳領域の順に切り替わる。すなわち、顔領域の全体が、顔の選択領域→右側の瞳領域の選択領域→左側の瞳の選択領域の様に切り替わることになる。このような構成によれば、狭い領域へのタッチをしなくてすみ、広い顔領域をタッチすることで右目、左目、顔を、より確実に指定できる。なお、顔→右側の瞳領域→左側の瞳領域の順番において、右側の瞳あるいは左側の瞳が検出されていない場合は、スキップされる。例えば、右側の瞳が検出されていない場合は、タッチ操作に応じて焦点検出領域が顔→左側の瞳領域の順に切り替わることになる。また、切り替えの順番は、顔→右側の瞳領域→左側の瞳領域に限られるものではなく、例えば、顔→左側の瞳領域→右側の瞳領域であってもよいことは明らかである。

なお、システム制御部５０は、上述した処理によって焦点検出領域に設定された領域を示す枠（ＡＦ枠）を表示部２８の表示画面に表示する（ライブビュー画像に重畳表示する）枠表示処理を行ってもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、選択した領域が顏かどうかの判断において、顏の下半分のタッチダウンを検出した時に顏を焦点検出領域としたが、顔の半分でなくても構わない。また、焦点検出領域の手動設定処理で縦方向の顔の振り向き角度をみて斜め顔かどうか判定しても構わないし、斜め顔の焦点検出領域設定処理において端側の瞳が選択される領域を垂直方向に拡大しても構わない。また、上記実施形態では、焦点検出領域の設定を目的として領域選択を行っているが、これに限られるものではない。例えば、露出測定のための領域の設定を目的としたものであってもよい。

なお、システム制御部５０が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明を撮像装置に適用した場合を例にして説明したが、これはこの例に限定されるものではない。例えば、追尾枠や検出枠の表示に関しては、撮影された画像を表示する機能と画像上の位置を指定する機能を有した電子機器であれば適用可能である。例えば、撮影済みの画像を再生して顔、目、口、鼻を検出し、赤目補正する目を選ぶのか、別の理由で顔を選ぶのか（例えば人物名を入力する）といった際のタッチ操作に適用可能である。他にも、顔または器官を選択して行う処理としては次のようなものがある。顔全体または目を選択してモザイクまたはマスクをかける、目を選択して瞳の強調処理（大きくするなど）を行う、鼻を選択して大きく強調する画像処理を施す、顔全体または頬などを選択して美肌効果の画像処理を施す。口を選択して唇の赤みを強調する、光沢を付けるなどの画像処理を掛ける。これらのような場合の顔の器官の選択方法として、ＬＶ画像の変わりに、記録済み画像を対象として上述の処理を適用可能である。また、ＡＦ枠の表示に関しても、撮像機能がある各種電子機器に適用可能である。すなわち、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、シール印刷システムなどに適用可能である。

また、上記実施形態ではタッチパネルへのタッチ操作により表示画面上の領域を指定したがこれに限られるものではなく、例えば、マウスによるマウスポインタの操作により画面上の領域（顔領域や瞳領域）を指定するようにしてもよい。また、上記実施形態では、追尾対象の器官として瞳を例示したが、これに限られるものではなく、例えば、鼻、口などの他の器官を追尾対象（ＡＦ対象）として指定可能としてもよい。例えば、口を追尾対象（ＡＦ対象）とする場合、顔領域を上下方向に半分に分け、下領域を口、上領域を顔というように関連づければよい。

また、撮像装置本体に限らず、有線または無線通信を介して撮像装置（ネットワークカメラを含む）と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。その場合、そのような制御装置は撮像装置のＡＦ機構を制御するＡＦ制御を実行することになる。すなわち、図５Ａ、図５Ｂにより上述したＡＦ処理は、撮像装置などの外部装置が有するＡＦ機構を制御するためのＡＦ制御であってもよい。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２８：表示パネル、２８ａ背面表示パネル、２８ｂ：電子ビューファインダー、５０：システム制御部、７０：操作部、７０ａ：タッチパネル、１００：デジタルカメラ、２００：記録媒体

Claims (28)

1. 画像から顔および瞳を検出する検出手段と、
   前記画像が表示された表示画面上におけるユーザーの指定位置を取得する取得手段と、
   前記指定位置により特定される顔の左側の瞳を選択するための左側領域と右側の瞳を選択するための右側領域を設定する設定手段と、
   前記指定位置が前記左側領域または前記右側領域に存在する場合に、対応する瞳の瞳領域を選択する選択手段と、を備え、
   前記設定手段は、所定条件を満たす場合に、前記特定された顔の端に近い方の瞳を選択するための領域を拡張し、前記所定条件は前記特定された顔が主被写体となる条件を満たしていることを含む、ことを特徴とする電子機器。
2. 前記所定条件は、前記画像において前記特定された顔の端に近い方の瞳の、瞳としての検出の信頼度が所定値以上であることをさらに含む、ことを特徴とする請求項１に記載の電子機器。
3. 画像から顔および瞳を検出する検出手段と、
   前記画像が表示された表示画面上におけるユーザーの指定位置を取得する取得手段と、
   前記指定位置により特定される顔の左側の瞳を選択するための左側領域と右側の瞳を選択するための右側領域を設定する設定手段と、
   前記指定位置が前記左側領域または前記右側領域に存在する場合に、対応する瞳の瞳領域を選択する選択手段と、を備え、
   前記設定手段は、所定条件を満たす場合に、前記特定された顔の端に近い方の瞳を選択するための領域を拡張し、前記所定条件は、前記端に近い方の瞳の検出の信頼度が所定値以上であることを含むことを特徴とする電子機器。
4. 前記所定条件は、前記特定された顔および前記特定された顔における瞳のいずれもが、前記選択手段による選択中になっていないことをさらに含む、ことを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
5. 瞳を選択するための領域の拡張を行わない場合、前記設定手段は、前記左側領域と前記右側領域の双方を、前記検出手段で検出された顔の大きさに基づく顔領域に収まるように設定する、ことを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。
6. 前記設定手段は、前記領域を顔領域の外側へ向かって拡張することを特徴とする請求項１乃至５のいずれか１項に記載の電子機器。
7. 前記所定条件は、前記特定された顔が正面顔ではないことを含むことを特徴とする請求項１乃至６のいずれか１項に記載の電子機器。
8. 前記特定された顔の端から遠い方の瞳が選択されている場合、前記設定手段は、非選択となっている他方の瞳の選択領域を拡張することを特徴とする請求項１乃至７のいずれか１項に記載の電子機器。
9. 前記特定された顔において既に一方の瞳が選択されている場合、前記設定手段は、非選択となっている他方の瞳の選択領域を設定し、前記選択されている一方の瞳について選択領域を設定しないことを特徴とする請求項１乃至７のいずれか１項に記載の電子機器。
10. 前記特定された顔の領域を上下に分けた上側の領域を前記非選択となっている他方の瞳の選択領域に設定することを特徴とする請求項９に記載の電子機器。
11. 前記特定された顔の領域の前記上側の領域を除く下側の領域が指定された場合、前記選択手段は、前記顔に対応する領域を選択することを特徴とする請求項１０に記載の電子機器。
12. 前記特定された顔とは、前記指定位置に最も近い顔であることを特徴とする請求項１乃至１１のいずれか１項に記載の電子機器。
13. 前記画像における前記特定された顔の画像から、顔の振り向き角度を判定する判定手段をさらに備え、
    前記設定手段は、前記振り向き角度に基づいて、顔の端に近い瞳を特定することを特徴とする請求項１乃至１２のいずれか１項に記載の電子機器。
14. 左右の２つの瞳のうち瞳領域から電子機器までの距離が近い方の瞳を、顔の端に近い瞳に特定することを特徴とする請求項１に記載の電子機器。
15. 画像から顔と瞳を検出する検出手段と、
    前記画像が表示された表示画面におけるユーザーの指定位置を取得する取得手段と、
    前記指定位置により特定された顔の左側の瞳を選択するための左側領域と右側の瞳を選択するための右側領域を設定する設定手段と、
    前記指定位置が前記左側領域または前記右側領域に存在する場合に、対応する瞳の瞳領域を選択する選択手段と、を備え、
    前記設定手段は、前記特定された顔の領域から遠い方の瞳が選択中になっている場合には、前記特定された顔の端に近い方の瞳を選択するための領域を拡張することを特徴とする電子機器。
16. 画像から顔と瞳を検出する検出手段と、
    前記画像が表示された表示画面におけるユーザーの指定位置を取得する取得手段と、
    前記指定位置により特定された顔の左側の瞳を選択するための左側領域と右側の瞳を選択するための右側領域を設定する設定手段と、
    前記指定位置が前記左側領域または前記右側領域に存在する場合に、対応する瞳の瞳領域を選択する選択手段と、を備え、
    前記設定手段は、前記特定された顔の一方の瞳が選択中になっている場合には、選択中の前記一方の瞳について選択領域を設定せず、前記顔の非選択中である他方の瞳、あるいは前記顔の瞳を選択することなく前記顔を選択するための選択領域を設定することを特徴とする電子機器。
17. 前記設定手段は、前記指定位置が取得されるたびに、顔、右側の瞳、左側の瞳の領域のうち、非選択中である領域を選択領域に設定することを特徴とする請求項１６に記載の電子機器。
18. 前記設定手段は、顔、右側の瞳、左側の瞳の領域の順に、または、顔、左側の瞳、右側の瞳の領域の順に、選択領域を設定することを特徴とする請求項１７に記載の電子機器。
19. 前記選択手段が選択した領域は、焦点調節の対象となる焦点検出領域として用いられることを特徴とする請求項１乃至１８のいずれか１項に記載の電子機器。
20. 前記選択手段により選択された領域を示す枠を前記表示画面に表示する枠表示手段をさらに備えることを特徴とする請求項１乃至１９のいずれか１項に記載の電子機器。
21. 前記選択手段は、前記指定位置に基づいて選択された被写体が前記画像に存在しない場合に前記画像に存在する瞳の領域を自動的に選択することを特徴とする請求項１乃至２０のいずれか１項に記載の電子機器。
22. 前記選択手段による自動的な選択では、前記画像に存在する瞳のうち、カメラに近い側の瞳、または、大きく撮影されている方の瞳を選択することを特徴とする請求項２１に記載の電子機器。
23. 電子機器による領域選択方法であって、
    画像から顔および瞳を検出する検出工程と、
    前記画像が表示された表示画面上におけるユーザーの指定位置を取得する取得工程と、
    前記指定位置により特定される顔の左側の瞳を選択するための左側領域と右側の瞳を選択するための右側領域を設定する設定工程と、
    前記指定位置が前記左側領域または前記右側領域に存在する場合に、対応する瞳の瞳領域を選択する選択工程と、を備え、
    前記設定工程は、所定条件を満たす場合に、前記特定された顔の端に近い方の瞳を選択するための領域を拡張し、前記所定条件は前記特定された顔が主被写体となる条件を満たしていることを含む、ことを特徴とする領域選択方法。
24. 電子機器による領域選択方法であって、
    画像から顔および瞳を検出する検出工程と、
    前記画像が表示された表示画面上におけるユーザーの指定位置を取得する取得工程と、
    前記指定位置により特定される顔の左側の瞳を選択するための左側領域と右側の瞳を選択するための右側領域を設定する設定工程と、
    前記指定位置が前記左側領域または前記右側領域に存在する場合に、対応する瞳の瞳領域を選択する選択工程と、を備え、
    前記設定工程は、所定条件を満たす場合に、前記特定された顔の端に近い方の瞳を選択するための領域を拡張し、前記所定条件は、前記端に近い方の瞳の検出の信頼度が所定値以上であることを含むことを特徴とする領域選択方法。
25. 電子機器による領域選択方法であって、
    画像から顔と瞳を検出する検出工程と、
    前記画像が表示された表示画面におけるユーザーの指定位置を取得する取得工程と、
    前記指定位置により特定された顔の左側の瞳を選択するための左側領域と右側の瞳を選択するための右側領域を設定する設定工程と、
    前記指定位置が前記左側領域または前記右側領域に存在する場合に、対応する瞳の瞳領域を選択する選択工程と、を備え、
    前記設定工程は、前記特定された顔の領域から遠い方の瞳が焦点検出領域として選択されている場合には、前記特定された顔の端に近い方の瞳を選択するための領域を拡張することを特徴とする領域選択方法。
26. 電子機器による領域選択方法であって、
    画像から顔と瞳を検出する検出工程と、
    前記画像が表示された表示画面におけるユーザーの指定位置を取得する取得工程と、
    前記指定位置により特定された顔の左側の瞳を選択するための左側領域と右側の瞳を選択するための右側領域を設定する設定工程と、
    前記指定位置が前記左側領域または前記右側領域に存在する場合に、対応する瞳の瞳領域を選択する選択工程と、を備え、
    前記設定工程は、前記特定された顔の一方の瞳が焦点検出領域に選択されている場合には、選択中の前記一方の瞳について選択領域を設定せず、前記顔の非選択中である他方の瞳、あるいは前記顔の瞳を選択することなく前記顔を選択するための選択領域を設定することを特徴とする領域選択方法。
27. コンピュータを、請求項１乃至２２のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。
28. コンピュータを、請求項１乃至２２のいずれか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images