JP2021105694A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】 大きさおよび位置が不定な複数の画像領域の１つを視線によって選択可能とするための視線判定領域を適切に設定可能な撮像装置およびその制御方法を提供することを目的とする。【解決手段】 ユーザの視線に基づいて、画像中の注視点の位置を検出する第１の検出工程と、前記注視点の位置、および、撮影条件に基づき、被写体を検出する範囲を設定する被写体を検出する第１の設定工程と、前記画像から特徴領域を検出する第２の検出工程と、前記被写体を検出する範囲に含まれる前記特徴領域の位置に応じて、焦点検出領域を設定する第２の設定工程と、を有する。【選択図】 図５

Description

本発明は、撮像装置およびその制御方法に関し、特には主被写体の選択を支援する技術に関する。

従来、同一の大きさを有し、位置が固定された複数の候補領域の１つを視線によって選択可能とした撮像装置が知られている（特許文献１）。このような撮像装置では、候補領域ごとに予め設定した検出領域のうち、視線の方向から得られる画像中の注視点の座標を含む視線判定領域に対応する候補領域を、ユーザが選択した領域とみなすことができる。

特開２００５−２４９８３１号公報

例えば、大きさおよび位置が不定な複数の画像領域の１つを視線によって選択可能に構成しようとした場合、視線判定領域も動的に設定する必要があるが、従来、そのような技術は存在していなかった。

本発明はこのような従来技術の課題に鑑みてなされたものである。本発明は、大きさおよび位置が不定な複数の画像領域の１つを視線によって選択可能とするための視線判定領域を適切に設定可能な撮像装置およびその制御方法を提供することを目的とする。

本発明の技術的特徴として、ユーザの視線に基づいて、画像中の注視点の位置を検出する第１の検出工程と、前記注視点の位置、および、撮影条件に基づき、被写体を検出する範囲を設定する被写体を検出する第１の設定工程と、前記画像から特徴領域を検出する第２の検出工程と、前記被写体を検出する範囲に含まれる前記特徴領域の位置に応じて、焦点検出領域を設定する第２の設定工程と、を有することを特徴とする。

本発明によれば、大きさおよび位置が不定な複数の画像領域の１つを視線によって選択可能とするための視線判定領域を適切に設定可能な撮像装置およびその制御方法を提供することができる。

実施形態に係る撮像装置の機能構成例を示すブロック図である。 実施形態に係る撮像装置の射出瞳と光電変換部との対応関係の例を示す図である。 実施形態に係る視線検出部の構成例を示す模式図である。 第１実施形態に係る焦点検出領域の説明図である。 第１実施形態に係る被写体を検出する範囲に関する図である。 第１実施形態に係る視線方向の平均化処理に関する図である。 第１実施形態に係るフレキシブルゾーンＡＦの説明図である。 第１実施形態に係る焦点検出領域設定に関するフローチャートである。 第２実施形態に係る視線検出キャリブレーション処理に関するフローチャートである。 第２実施形態に係る視線検出キャリブレーション処理に関する図である。 第２実施形態に係る被写体を検出する範囲の設定処理に関するフローチャートである。 第３実施形態に係わる撮影者の眼球を表す図である。 第３実施形態に係わる視線検出部の構成例を示す模式図である。 第３実施形態に係わる被写体を検出する範囲に関する図である。 第３実施形態に係わる焦点検出領域設定に関するフローチャートである。 第４実施形態に係わる被写体を検出する範囲に関する図である。 第５実施形態に係わる被写体を検出する範囲に設定処理に関するフローチャートである。 第５実施形態に係わる被写体を検出する範囲に関する図である。 第６実施形態に係わる被写体を検出する範囲に設定処理に関するフローチャートである。 第６実施形態に係わる被写体を検出する範囲に関する図である。

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下の実施形態では、本発明をレンズ交換式のデジタルカメラで実施する場合に関して説明する。しかし、本発明は視線検出機能ならびに撮像機能を搭載可能な任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダなどが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。また、視線検出機能と撮像機能とを互いに通信可能な別個の機器（例えば本体とリモートコントローラ）に設ける構成にも本発明は適用可能である。

（第１の実施形態）
＜撮像装置の構成＞
図１は、本発明の実施形態にかかる撮像装置の一例としてのデジタルカメラシステムの機能構成例を示すブロック図である。デジタルカメラシステムは、レンズ交換式デジタルカメラの本体１００と、本体１００に着脱可能なレンズユニット１５０とを有している。なお、レンズ交換式であることは本発明に必須でない。

レンズユニット１５０は本体１００に装着されると本体１００に設けられた通信端子１０と接触する通信端子６を有する。通信端子１０および６を通じて本体１００からレンズユニット１５０に電源が供給される。また、レンズシステム制御回路４と本体１００のシステム制御部５０とは通信端子１０および６を通じて双方向に通信可能である。

レンズユニット１５０において、レンズ群１０３は可動レンズを含む複数のレンズから構成される撮像光学系である。可動レンズには少なくともフォーカスレンズが含まれる。また、レンズユニット１５０によっては、変倍レンズ、ぶれ補正レンズの１つ以上がさらに含まれうる。ＡＦ駆動回路３はフォーカスレンズを駆動するモータやアクチュエータなどを含む。フォーカスレンズは、レンズシステム制御回路４がＡＦ駆動回路３を制御することによって駆動される。絞り駆動回路２は絞り１０２を駆動するモータアクチュエータなどを含む。絞り１０２の開口量は、レンズシステム制御回路４が絞り駆動回路２を制御することによって調整される。

メカニカルシャッタ１０１はシステム制御部５０によって駆動され、撮像素子２２の露光時間を調整する。なお、メカニカルシャッタ１０１は動画撮影時には全開状態に保持される。

撮像素子２２は例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサである。撮像素子２２には複数の画素が２次元配置され、各画素には１つのマイクロレンズ、１つのカラーフィルタ、および１つ以上の光電変換部が設けられている。本実施形態においては、各画素に複数の光電変換部が設けられ、光電変換部ごとに信号を読み出し可能に構成されている。画素をこのような構成にすることにより、撮像素子２２から読み出した信号から撮像画像、視差画像対、および位相差ＡＦ用の像信号を生成することができる。

Ａ／Ｄ変換器２３は、撮像素子２２から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換するために用いられる。なお、Ａ／Ｄ変換器２３は撮像素子２２が備えてもよい。

図２（ａ）は、撮像素子２２が有する画素が２つの光電変換部を有する場合の、レンズユニット１５０の射出瞳と各光電変換部との対応関係を模式的に示した図である。

画素に設けられた２つの光電変換部２０１ａおよび２０１ｂは１つのカラーフィルタ２５２および１つのマイクロレンズ２５１を共有する。そして、光電変換部２０１ａには射出瞳の部分領域２５３ａを通過した光が、光電変換部２０１ｂには射出瞳の部分領域２５３ｂを通過した光が、それぞれ入射する。

したがって、ある画素領域に含まれる画素について、光電変換部２０１ａから読み出された信号で形成される画像と、光電変換部２０１ｂから読み出される信号で形成される画像とは視差画像対を構成する。また、視差画像対は位相差ＡＦ用の像信号（Ａ像信号およびＢ像信号）として用いることができる。さらに、光電変換部２０１ａおよび２０１ｂから読み出される信号を画素ごとに加算することで、通常の画像信号（撮像画像）を得ることができる。

なお、本実施形態では撮像素子２２の各画素が、位相差ＡＦ用の信号を生成するための画素（焦点検出用画素）としても、通常の画像信号を生成するための画素（撮像用画像）としても機能する。しかしながら、撮像素子２２の一部の画素を専用の焦点検出用とし、他の画素を撮像用画素とした構成であってもよい。図２（ｂ）は、専用の焦点検出用画素の構成と、入射光が通過する射出瞳の領域２５３についての一例を示している。図２（ｂ）に示す構成の焦点検出用画素は、図２（ａ）の光電変換部２０１ｂと同様に機能する。実際には、図２（ｂ）に示す構成の焦点検出用画素と、図２（ａ）の光電変換部２０１ａと同様に機能する別の種類の焦点検出用画素とを撮像素子２２の全体に分散配置することにより、実質的に任意の場所及び大きさの焦点検出領域を設定することが可能になる。

図２（ａ），（ｂ）は、記録用の画像を得るための撮像素子を位相差ＡＦ用のセンサとして用いる構成であるが、本発明は大きさおよび位置が不定の焦点検出領域を利用可能であればＡＦの方式には依存しない。例えばコントラストＡＦを用いる構成であっても本発明は実施可能である。コントラストＡＦのみを用いる場合、各画素が有する光電変換部は１つである。

図１に戻り、Ａ／Ｄ変換器２３が出力する画像データ（ＲＡＷ画像データ）は、必要に応じて画像処理部２４で処理されたのち、メモリ制御部１５を通じてメモリ３２に格納される。メモリ３２は画像データや音声データを一時的に記憶するバッファメモリとして用いられたり、表示部２８用のビデオメモリとして用いられたりする。

画像処理部２４は、画像データに対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部２４は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

ここで、画像処理部２４が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、レンズユニット１５０の光学収差を補正する処理、色を補正する処理などが含まれる。検出処理には、特徴領域（たとえば顔領域や人体領域）の検出および追尾処理、人物の認識処理などが含まれる。データ加工処理には、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理には、位相差ＡＦ用の１対の像信号やコントラストＡＦ用の評価値や、自動露出制御に用いる評価値などの算出処理が含まれる。なお、これらは画像処理部２４が実施可能な画像処理の例示であり、画像処理部２４が実施する画像処理を限定するものではない。また、評価値算出処理はシステム制御部５０が行ってもよい。

Ｄ／Ａ変換器１９は、メモリ３２に格納されている表示用の画像データから表示部２８での表示に適したアナログ信号を生成して表示部２８に供給する。表示部２８は例えば液晶表示装置を有し、Ｄ／Ａ変換器１９からのアナログ信号に基づく表示を行う。

動画の撮影と、撮影された動画の表示とを継続的に行うことで、表示部２８を電子ビューファインダ（ＥＶＦ）として機能させることができる。表示部２８をＥＶＦとして機能させるために表示する動画をライブビュー画像と呼ぶ。表示部２８は接眼部を通じて観察するように本体１００の内部に設けられてもよいし、接眼部を用いずに観察可能なように本体１００の筐体表面に設けられてもよい。表示部２８は、本体１００の内部と筐体表面との両方に設けられてもよい。

システム制御部５０は例えばＣＰＵ（ＭＰＵ、マイクロプロセッサとも呼ばれる）である。システム制御部５０は、不揮発性メモリ５６に記憶されたプログラムをシステムメモリ５２に読み込んで実行することにより、本体１００およびレンズユニット１５０の動作を制御し、カメラシステムの機能を実現する。システム制御部５０は、通信端子１０および６を通じた通信によってレンズシステム制御回路４に様々なコマンドを送信することにより、レンズユニット１５０の動作を制御する。

不揮発性メモリ５６は書き換え可能であってよい。不揮発性メモリ５６は、システム制御部５０が実行するプログラム、カメラシステムの各種の設定値、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の画像データなどを記憶する。システムメモリ５２は、システム制御部５０がプログラムを実行する際に用いるメインメモリである。

システム制御部５０はその動作の一部として、画像処理部２４または自身が生成した評価値に基づく自動露出制御（ＡＥ）処理を行い、撮影条件を決定する。撮影条件は例えば静止画撮影であればシャッター速度、絞り値、感度である。システム制御部５０は、設定されているＡＥのモードに応じて、シャッター速度、絞り値、感度の１つ以上を決定する。システム制御部５０はレンズユニット１５０の絞り機構の絞り値（開口量）を制御する。また、システム制御部５０は、メカニカルシャッタ１０１の動作も制御する。

また、システム制御部５０は、画像処理部２４または自身が生成した評価値もしくはデフォーカス量に基づいてレンズユニット１５０のフォーカスレンズを駆動し、レンズ群１０３を焦点検出領域内の被写体に合焦させる自動焦点検出（ＡＦ）処理を行う。

また、本実施形態の本体１００は、異なる大きさの複数の焦点検出領域を備える。図４（ａ）は、１点ＡＦを示す模式図であり、比較的小さな焦点検出領域４０１が設定され、動きの少ない被写体に対して、ピンポイントでピント合わせを行う際に適したＡＦエリアモードである。図４（ｂ）は、ゾーンＡＦを示す模式図であり、比較的大きい焦点検出領域４０２が設定され、動きの速い被写体に対してピント合わせを行う際に、フレーミングによって被写体を捕捉しやすいＡＦエリアモードである。ここで、２つのＡＦエリアモードの例を説明したが、さらに多くのＡＦエリアモードを備えていても良い。

システムタイマー５３は内蔵時計であり、システム制御部５０が利用する。

操作部７０はユーザが操作可能な複数の入力デバイス（ボタン、スイッチ、ダイヤルなど）を有する。操作部７０が有する入力デバイスの一部は、割り当てられた機能に応じた名称を有する。シャッターボタン６１、モード切替スイッチ６０、電源スイッチ７２は便宜上、操作部７０と別に図示ししているが、操作部７０に含まれる。表示部２８がタッチディスプレイである場合、タッチパネルもまた操作部７０に含まれる。操作部７０に含まれる入力デバイスの操作はシステム制御部５０が監視している。システム制御部５０は、入力デバイスの操作を検出すると、検出した操作に応じた処理を実行する。

シャッターボタン６１は半押し状態でＯＮする第１シャッタースイッチ（ＳＷ１）６２と、全押し状態でＯＮする第２シャッタースイッチ（ＳＷ２）６４とを有する。システム制御部５０は、ＳＷ１のＯＮを検出すると、静止画撮影の準備動作を実行する。準備動作には、ＡＥ処理やＡＦ処理などが含まれる。また、システム制御部５０は、ＳＷ２のＯＮを検出すると、ＡＥ処理で決定した撮影条件に従った静止画の撮影および記録動作を実行する。

モード切替スイッチ６０は、既に説明したＡＦエリアモードを切り替えて設定するための操作部であり、異なる大きさの焦点検出領域を有する複数のＡＦエリアモードからいずれか１つを選択することが可能である。

また、本実施形態の操作部７０は、ユーザの視線方向を検出する視線検出部７０１を有している。視線検出部７０１はユーザが直接操作する部材ではないが、視線検出部７０１が検出した視線の方向を入力として取り扱うため、操作部７０に含めている。

図３は、ファインダ内に設ける視線検出部７０１の構成例を模式的に示す側面図である。視線検出部７０１は、本体１００の内部に設けられた表示部２８をファインダのアイピースを通じて見ているユーザの眼球５０１ａの光軸の回転角を視線の方向として検出する。検出された視線の方向に基づいて、ユーザが表示部２８で注視している位置（表示画像中の注視点）を特定することができる。

表示部２８には例えばライブビュー画像が表示され、ユーザはアイピースの窓を覗き込むことにより、表示部２８の表示内容を接眼レンズ７０１ｄおよびダイクロックミラー７０１ｃを通じて観察することができる。光源７０１ｅは、アイピースの窓方向（本体１００の外部方向）に赤外光を発することができる。ユーザがファインダを覗いている場合、光源７０１ｅが発した赤外光は眼球５０１ａで反射されてファインダ内に戻ってくる。ファインダに入射した赤外光はダイクロックミラー７０１ｃで受光レンズ７０１ｂ方向に反射される。

受光レンズ７０１ｂは、赤外光による眼球像を撮像素子７０１ａの撮像面に形成する。撮像素子７０１ａは赤外光撮影用のフィルタを有する２次元撮像素子である。視線検出用の撮像素子７０１ａの画素数は撮影用の撮像素子２２の画素数よりも少なくてよい。撮像素子７０１ａによって撮影された眼球画像はシステム制御部５０に送信される。システム制御部５０は、眼球画像から赤外光の角膜反射の位置と瞳孔の位置とを検出し、両者の位置関係から視線方向を検出する。また、システム制御部５０は、検出した視線方向に基づいて、ユーザが注視している表示部２８の位置（表示画像中の注視点）を検出する。なお、眼球画像から角膜反射の位置と瞳孔の位置を画像処理部２４で検出し、システム制御部５０は画像処理部２４からこれらの位置を取得してもよい。

なお、本発明は視線検出の方法や視線検出部の構成には依存しない。したがって、視線検出部７０１の構成は図３（ａ）に示したものに限定されない。例えば、図３（ｂ）に示すように、本体１００の背面に設けられた表示部２８の近傍に配置されたカメラ７０１ｆにより得られた撮像画像に基づいて視線を検出してもよい。点線で示すカメラ７０１ｆの画角は、表示部２８を見ながら撮影を行うユーザの顔が撮影されるように定められている。カメラ７０１ｆで撮影した画像から検出した目領域の画像に基づいて視線の方向を検出することができる。赤外光の画像を用いる場合にはカメラ７０１ｆの近傍に配置した光源７０１ｅで画角内の被写体に赤外光を投写して撮影を行えばよい。得られた画像から視線の方向を検出する方法は図３（ａ）の構成と同様でよい。また、可視光の画像を用いる場合には光を投射しなくてもよい。可視光の画像を用いる場合には、目領域の目頭と虹彩の位置関係などから視線の方向を検出することができる。

再び図１に戻り、電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、電池やＡＣアダプター等からなる。

Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００には、撮影された画像や音声などのデータファイルが記録される。記録媒体２００に記録されたデータファイルはＩ／Ｆ１８を通じて読み出され、画像処理部２４およびシステム制御部５０を通じて再生することができる。

通信部５４は、無線通信および有線通信の少なくとも一方による外部機器との通信を実現する。撮像素子２２で撮像した画像（ライブビュー画像を含む）や、記録媒体２００に記録された画像は、通信部５４は通じて外部機器に送信可能である。また、通信部５４を通じて外部機器から画像データやその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対する本体１００の姿勢を検知する。姿勢検知部５５は加速度センサ、または角速度センサであってよい。システム制御部５０は、撮影時に姿勢検知部５５で検知された姿勢に応じた向き情報を、当該撮影で得られた画像データを格納するデータファイルに記録することができる。向き情報は、例えば記録済みの画像を撮影時と同じ向きで表示するために用いることができる。

本実施形態の本体１００は、画像処理部２４が検出した特徴領域が適切な画像となるように各種の制御を実施することが可能である。このような制御には以下の様なものがある。特徴領域に合焦させる自動焦点検出（ＡＦ）、特徴領域が適正露出となるような自動露出制御（ＡＥ）、特徴領域のホワイトバランスが適切になるような自動ホワイトバランス、および特徴領域の明るさが適切になるような自動フラッシュ光量調整。ただし、これらに限定されない。画像処理部２４は例えばライブビュー画像に対して公知の方法を適用して、予め定められた特徴に当てはまると判定される領域を特徴領域として検出し、各特徴領域の位置、大きさ、信頼度といった情報をシステム制御部５０に出力する。本発明は特徴領域の種類や検出方法には依存せず、また特徴領域の検出には公知の方法を利用可能であるため、特徴領域の検出方法についての説明は省略する。

また、特徴領域は、被写体情報を検出するためにも用いることができる。特徴領域が顔領域の場合、被写体情報としては、例えば、赤目現象が生じているか否か、目をつむっているか否か、表情（例えば笑顔）などがあるが、これらに限定されない。

本実施形態では、大きさおよび位置が不定である複数の画像領域の一例としての複数の特徴領域から、各種の制御に用いたり、被写体情報を取得したりするための１つの特徴領域（以下、主被写体領域と呼ぶ）を、ユーザが視線を用いて選択することを支援する。以下、検出されたユーザの視線を視線入力と呼ぶ。

＜視線入力の特徴＞
視線入力の特徴は、生体由来であることによる視線方向の不安定さである。ある一点を注視しているつもりでも、眼球が微小に移動したり、無意識に視線を外してしまったりすることがある。したがって、画像中の注視点を特定するためには、ある時間にわたって検出された視線方向を統計的に処理する必要がある。そこで、所定期間に検出された複数の注視点の位置に基づき、ノイズ低減処理を行うことで、注視点の位置を平滑化する。ノイズ低減処理においては、焦点検出領域の大きさが小さいほど、ノイズ低減効果が大きくなるようにノイズ低減処理を行う。

＜視線入力による主被写体（または主被写体領域）の選択方法の概要＞
本実施形態では、所定期間に連続的に検出された視線方向の平均値を算出することで、視線検出結果のばらつきを抑制し、現在時刻の視線方向を決定する。また、視線方向に対して、選択されたＡＦエリアモードによって設定される焦点検出領域の大きさに応じて被写体を検出する範囲を設ける。被写体を検出する範囲内に画像中より検出した特徴領域が含まれる場合は、その特徴領域を主被写体領域と見なし、焦点検出領域を主被写体領域の位置に設定する。

視線入力による主被写体の選択方法について、図５（ａ）〜（ｄ）を参照しながら、詳細に説明する。図５は、特徴領域として顔領域を検出する構成において、画像中に２つの顔５０２、５０３が存在し、画像処理部２４が顔領域５０４、５０５を検出した例を模式的に示している。

図５（ａ）および（ｂ）は、ＡＦエリアモードとして、動きの少ない被写体に対して、ピンポイントでピント合わせを行う際に適した１点ＡＦが選択され、比較的小さい大きさの焦点検出領域５０１が設定されている。図５（ａ）の視線方向５０６は、視線検出部７０１で検出された情報を統計的に処理したある時刻の視線方向を示している。システム制御部５０は、設定された焦点検出領域５０１の大きさに基づき、視線方向５０６に対して、よりピンポイントに主被写体が検出できるよう比較的小さい被写体を検出する範囲５０７を設定する。システム制御部５０は、被写体を検出する範囲内に最も多く含まれる特徴領域５０４を主被写体として選択し、図５（ｂ）に示すように焦点検出領域５０１を特徴領域５０４に重なるように設定する。

図５（ｃ）および（ｄ）では、ＡＦエリアモードとして、動きの速い被写体に対してピント合わせを行う際に、フレーミングによって被写体を捕捉しやすいゾーンＡＦが選択され、比較的大きい焦点検出領域５０９が設定されている。図５（ｃ）の視線方向５０６は、視線検出部７０１で検出された情報を統計的に処理したある時刻の視線方向を示している。システム制御部５０は、設定された焦点検出領域５０９の大きさに基づき、視線方向５０６に対して、より主被写体が捕捉しやすくなるように比較的大きい被写体を検出する範囲５０８を設定する。システム制御部５０は、被写体を検出する範囲内に最も多く含まれる特徴領域５０４を主被写体として選択し、図５（ｄ）に示すように焦点検出領域５０９を特徴領域５０４に重なるように設定する。

なお、主被写体の判定方法は、上記に限定されない。例えば、視線方向と複数の特徴領域の距離が近い方を主被写体として選択したり、被写体を検出する範囲内に収まる時間が長い方を主被写体として選択しても良い。

また、図５（ａ）及び（ｃ）において、システム制御部５０は、被写体を検出する範囲内に特徴領域が所定量以上含まれない場合、主被写体の選択は行わず、焦点検出領域５０１、５０９の位置変更は行わない。若しくは、被写体を検出する範囲内に特徴領域が所定量以上含まれない場合は、視線方向５０６に基づき、焦点検出領域５０１，５０９を設定してもよい。

また、システム制御部５０は、図５（ａ）及び（ｃ）において、設定した被写体を検出する範囲５０７、５０８の大きさに基づき、視線検出結果ばらつきの抑制効果を変更する。図６に視線方向の平均化処理の一例を示す。図６（ａ）は、ＡＦエリアモードとして１点ＡＦが選択された場合の焦点検出結果のばらつきの抑制処理の説明図である。図６（ａ）の実線は、視線検出部７０１から出力される画像中の視線方向であり、現在時刻ｎから時刻ｎ−９までの期間に連続的に出力された履歴情報である。同図の点線は、履歴情報を用いて、直近の７つのデータを使用し、平均化処理を施した視線方向の算出結果となっている。１点ＡＦ時は、動きの少ない被写体に対して、ピンポイントでピント合わせを行う際に適したモードであるため、比較的、平均化処理に使用するデータ数を多くすることで、視線検出結果ばらつきの抑制効果を高めている。図６（ｂ）は、ＡＦエリアモードとしてゾーンＡＦが選択された場合の焦点検出結果のばらつきの抑制処理の説明図である。図６（ｂ）の実線は、視線検出部７０１から出力される画像中の視線方向であり、現在時刻ｎから時刻ｎ−９までの期間に連続的に出力された履歴情報である。同図の点線は、履歴情報を用いて、直近の３つのデータを使用し、平均化処理を施した視線方向の算出結果となっている。ゾーンＡＦ時は、動きの速い被写体に対してピント合わせを行う際に適したモードであるため、比較的、平均化処理に使用するデータ数を少なくすることで、視線検出結果の平均化処理による遅延を抑制している。

（変形例）
ＡＦエリアモードとして、焦点検出領域の大きさ・形状を変更可能なフレキシブルゾーンＡＦが設定されている場合の例を図７に示す。図７（ａ）は、フレキシブルゾーンＡＦの設定画面の例であり、表示部２８に表示される。システム制御部５０は、タッチパネルや入力デバイス（ボタン、ダイヤル）などの操作部７０からの入力に基づき、ユーザの意図に合わせて、焦点検出領域７０１ａの大きさ・形状を罫線７０２に合わせて適宜変更する。なお、フレキシブルゾーンＡＦの焦点検出領域の設定方法は、上記に限定されない。図７（ｂ）の視線方向７０３は、視線検出部７０１で検出された情報を統計的に処理したある時刻の視線方向を示している。システム制御部５０は、設定された焦点検出領域７０１ｂの大きさ・形状に基づき、視線方向７０３に対して、被写体を検出する範囲７０４を設定する。図７（ｂ）の例では、焦点検出領域７０１ｂの大きさ・形状は、ユーザの意図により横方向に広範囲な焦点検出領域に設定されている。このことから、横方向に移動する被写体やパンニングを想定したシーンであることが推測可能である。このため、システム制御部５０は、ライブビュー画像の遅延や視線検出結果の平均化処理の遅延により、検出される視線方向７０３も横方向に誤差が大きくなることが想定される。よって、横長の被写体を検出する範囲７０４を設定している。つまり、焦点検出領域７０１ｂの大きさ・形状により、視線方向７０３の誤差を想定した、被写体を検出する範囲７０４の設定が可能である。

＜視線入力による主被写体の選択動作＞
次に、本実施形態における視線入力による主被写体の選択動作に関して、図８に示すフローチャートを用いて説明する。この動作は例えば撮影スタンバイ状態において表示部２８にライブビュー画像が表示されている際に、ライブビュー画像の生成や表示に関する動作を並行して実行することができる。

Ｓ１０１において画像処理部２４において特徴領域の検出処理を実行する。画像処理部２４は検出した特徴領域の数や、個々の特徴領域の情報（例えば大きさ、位置、信頼度など）をシステム制御部５０に出力する。特徴領域は人物の顔検出に限らず、人体領域、瞳領域、動物の顔領域、乗り物領域など、パターンマッチングなど公知の技術によって検出可能な任意の特徴領域であってよい。また、特徴領域の候補の検出のみを行ってもよい。

Ｓ１０２においてシステム制御部５０は、ユーザが選択可能なＡＦエリアモードによって設定される焦点検出領域の大きさ・形状を取得する。Ｓ１０３においてシステム制御部５０は、視線検出部７０１から画像を取得し、図３に関して説明したようにして視線方向を検出する。さらに、システム制御部５０は、Ｓ１０２で取得した焦点検出領域の大きさに基づき、検出した視線方向を図６で説明した手法により平均化処理を行い、ユーザが注視している表示部２８もしくはライブビュー画像中の位置（注視点の位置）を特定する。

Ｓ１０４においてシステム制御部５０は、Ｓ１０３で特定したユーザが注視しているライブビュー画像中の位置（注視点の位置）に対して、Ｓ１０２で取得した焦点検出領域の大きさ・形状に基づき、上述した手法により被写体を検出する範囲を設定する。

Ｓ１０５においてシステム制御部５０は、Ｓ１０１で検出した特徴領域が、Ｓ１０４で設定した被写体を検出する範囲内に含まれるか否かを判定し、図５で説明した手法により主被写体を選択する。

Ｓ１０６においてシステム制御部５０は、Ｓ１０５で選択した主被写体のライブビュー画像中の位置に焦点検出領域を設定する。

Ｓ１０７でシステム制御部５０は、例えばＳＷ１のＯＮまたはＳＷ２のＯＮを検出したり、視線の検出ができないといった、終了条件が満たされたか否かを判定する。システム制御部５０は、終了条件が満たされたと判定された場合にはその時点で判定されている主被写体が選択されたものとして処理を終了する。一方、システム制御部５０は、終了条件が満たされたと判定されない場合には処理をＳ１０１に戻す。

以上説明したように本実施形態では、不安定なユーザの視線（画像中の注視点の位置）、および、設定された焦点検出領域の大きさ・形状に基づいて、適宜、視線方向の平均化処理、および、被写体を検出する範囲を設定する。これにより、ユーザの意図に合った焦点検出領域を設定することを可能としている。

（第２の実施形態）
次に、本発明の第２実施形態について説明する。本実施形態では、視線検出のキャリブレーション時に視線検出のばらつきを取得し、その視線検出のばらつきによって被写体を検出する範囲の大きさを設定する。

＜視線検出のキャリブレーション＞
図９に、視線検出のキャリブレーションのフローを示す。視線検出結果と表示部の任意の位置とを対応付けるため、視線検出のキャリブレーションが行われる。

ステップＳ９０１で、キャリブレーションカウンタを１に初期化する。ステップＳ９０２で、表示部２８にターゲットを表示する。ターゲットはユーザの視線を特定の部分に集めるために表示するものである。ターゲットの形状は任意のものでよいが、視認性がよいものが望ましい。ターゲットの表示位置は、キャリブレーションカウンタに対応したものを表示する。

図１０に表示部２８が表示する画面１００１上にターゲット１０１１、１０１２、１０１３、１０１４を表示する例を示す。例えばキャリブレーションカウンタが１のときは、画面１００１上のＸ座標ｘ１、Ｙ座標ｙ１にターゲット１０１１のみを表示する。キャリブレーションカウンタが２のときは、画面１００１上のＸ座標ｘ１、Ｙ座標ｙ１にターゲット１０１２のみを表示する。キャリブレーションカウンタが３のときは、画面１００１上のＸ座標ｘ３、Ｙ座標ｙ３にターゲット１０１３のみを表示する。キャリブレーションカウンタが４のときは、画面１００１上のＸ座標ｘ４、Ｙ座標ｙ４にターゲット１０１４のみを表示する。

ステップＳ９０３で、本体１００の姿勢を検出する。姿勢検知部５５を動作させ、視線位置検出時の本体１００の姿勢を検出する。

ステップＳ９０４で、視線検出部７０１を駆動させて、ユーザの視線位置の検出を行う。このときユーザの視線位置を複数回検出する。このようにすることでユーザが特定の部分を注視しているときの平均の視線位置やそのばらつきを得ることができるからである。

ここでキャリブレーションカウンタがｎのとき、視線検出部７０１で得られたユーザの視線位置の平均Ｘ座標をｕｎ、平均Ｙ座標をｖｎとする。

ステップＳ９０５で、ステップＳ９０４で得られた複数回のユーザの視線位置のばらつきを求める。視線検出部７０１で得られたユーザの視線位置のＸ方向のばらつきをｉｎ、Ｙ方向のばらつきをｊｎとする。

ステップＳ９０６で、キャリブレーションカウンタを１加算する。

ステップＳ９０７で、キャリブレーションカウンタが所定値を超えたかどうか評価する。所定値は表示部２８に表示するターゲットの位置の総数である。図１０の例において所定値は「４」である。

ステップＳ９０８で、視線検出位置と表示部２８に表示したターゲットとの対応関係を求める。これによって、視線検出部７０１で検出されたユーザの視線位置が表す位置が表示部２８の座標のどこであるかを得る。

図１０の例において、画面１００１上のターゲット１０１１の座標（ｘ１、ｙ１）に対応する視線検出部の座標は（ｕ１，ｖ１）である。また、ターゲット１０１２の座標（ｘ２、ｙ２）に対応する視線検出部の座標は（ｕ２，ｖ２）である。また、ターゲット１０１３の座標（ｘ３、ｙ３）に対応する視線検出部の座標は（ｕ３，ｖ３）である。また、ターゲット１０１４の座標（ｘ４、ｙ４）に対応する視線検出部の座標は（ｕ４，ｖ４）となる。

この対応関係を用いて、キャリブレーション以降に視線検出部で得られた任意のＸ座標、任意のＹ座標より線形補間等によって画面１００１上のＸ座標およびＹ座標に変換するための情報を求める。

ステップＳ９０５で得られたユーザの視線位置のばらつきを前述の対応関係に基づいて画面１００１上のＸ座標、Ｙ座標のばらつきに変換する。

ステップＳ９０９で、ステップＳ９０８で得られた視線検出位置と表示部の座標との対応関係およびユーザの視線検出位置のばらつきを表示部の座標に変換したものをメモリ３２に保存する。ユーザの視線検出位置のばらつきは、視線検出位置と対応させて保存する。図１０の例においてはターゲット１０１１を表示したときのばらつきとターゲット１０１４を表示したときのばらつきを別々に保存するということである。ユーザが撮影しようとするとき、表示部２８の画面１００１上のさまざまな箇所を見ることが想定され、そのような状況で視線検出位置のばらつきを測ることは難しい。一方視線検出のキャリブレーション時には、ユーザの視線位置を画面１００１上に表示するターゲットによって固定しやすくなるため、視線検出位置のばらつきを安定的に取得できる。さらに複数のターゲットによってキャリブレーションを行うことで、視線検出位置ごとのばらつきを得ることができる。さらにステップＳ９０３で得られた本体１００の姿勢を視線検出位置のばらつき、視線検出位置、表示部２８の座標との対応関係と対応付けて保存してもよい。

＜キャリブレーション結果で得られたばらつきの活用＞
次に、本実施形態における被写体を検出する範囲の設定動作を説明する。本実施形態における視線入力による焦点検出領域の決定は図８のフローチャートと同じであり、ステップＳ１０４の詳細を図１１のフローチャートを用いて説明する。

ステップＳ１１０１において、視線検出位置に対応するばらつきを求める。このばらつきは、ステップＳ９０９でメモリ３２に保存した視線検出位置のばらつきを用いる。変形例として、メモリ３２に保存されているステップＳ１０３で得られた注視点の位置に対応する視線検出位置のばらつきを使ってもよい。さらなる変形例として、姿勢検知部５５を駆動させ得られた本体１００の姿勢と、メモリ３２に保存されている本体１００の姿勢およびステップＳ１０３で得られた注視点の位置に対応する視線検出位置のばらつきを使ってもよい。そのようにすることで姿勢に応じて視線検出位置のばらつきが異なるときでも対応できる。

ステップＳ１１０２において、視線検出位置のばらつきに応じた被写体を検出する範囲を設定する。視線検出位置のばらつきの大小は、視線検出位置の信頼性を表している。そのためステップＳ１１０２で得られた視線検出位置のばらつきが大きいときは被写体を検出する範囲を広く設定し、視線検出位置のばらつきが小さいときは被写体を検出する範囲を狭く設定する。

以上説明したように本実施形態では、視線検出のキャリブレーション時に得られたばらつきに基づいて、被写体を検出する範囲を設定することで、ユーザの意図に合った焦点検出範囲を設定することを可能としている。

（第３の実施形態）
次に、本発明の第３実施形態について説明する。本実施形態では、撮影環境に応じた視線検出方向の確からしさ（以下、信頼性）を考慮した、視線入力による主被写体の選択方法について説明する。

始めに、視線方向の信頼性が変化する要因について説明する。

＜撮影環境に起因する要因＞
撮影環境による視線方向の信頼性特性としては、視線方向の明るさによって変化する。例えば、暗いときには撮りたい被写体がどこにいるのかわかりづらく、撮影者が被写体を見つける動作が生じる。そうすると、視線検出方向は被写体一点にとどまるような結果ではなく、視線方向がふらふらして不安定な視線方向が得られてしまう。視線方向が１点に定まっている場合を視線方向の検出結果が良いとした場合、視線方向がふらふらした不安定な状態は信頼性が悪いと言える。

＜撮影者に起因する要因＞
撮影者による信頼性特性として、例えば目つぶりや撮影者の眼球に対する瞼のかかり具合によって変化する。受光レンズ７０１ｂが赤外光による眼球像を撮像素子７０１ａの撮像面に形成する際に、撮影者が目つぶりをしていると、形成された画像から瞳孔の位置を検出することができない。そうすると視線方向を検出することができない。図１２は撮影者の眼球１２０１に対して瞼１２０３がかかっており、瞳孔１２０２が瞼によって半分程度隠れている様子を示す図である。図１２のように撮影者の瞳孔に瞼がかかっていると、正確に瞳孔の位置を検出することができない。例えば、図１２のように瞳孔の上部分が瞼で隠れていると、一般的に上方向に視線方向の検出誤差が多くなる。このように瞼で瞳孔が隠れていると、視線方向の検出精度が落ちてしまう。

図１３（ａ）は撮影者が眼鏡１３０１を装着している場合に赤外光が眼鏡に反射することで生じる光線１３０２を模式的に示す側面図である。図３（ａ）で説明した模式図に眼鏡１３０１と眼鏡１３０１に反射する赤外光線１３０２を追加した模式図であり、１３０１と１３０２以外の番号は図３と同じであるため、図３で説明した内容と重なる部分の説明は省略する。

眼鏡をかけた撮影者がファインダを覗いている場合、光源７０１ｅが発した赤外光は一部の光線が眼鏡１３０２で反射されてダイクロックミラー７０１ｃで受光レンズ７０１ｂ方向に反射される。受光レンズ７０１ｂは、眼鏡で反射された赤外光を撮像素子７０１ａの撮像面に形成し、図１３（ｂ）のように眼球１３０３を撮影した画像にゴースト１３０５が発生してしまう。

このゴーストが撮影者の瞳孔１３０４に重なってしまうと瞳孔の位置を正確に検出することができず、視線方向の検出精度が落ちてしまうことになる。

以上のように、撮影環境に起因して視線方向が不安定になったり、撮影者に起因する目つぶりや眼鏡の装着で生じるゴーストの発生で検出精度が低下し、検出した視線方向の信頼性が悪くなる。視線方向の信頼性が悪い場合、その視線方向を基にして設定する被写体を検出する範囲も不安定になり、被写体検出精度の低下を招いてしまう。

視線方向の信頼性は、眼鏡をかけている、ゴーストが発生した、瞳孔が目つむりや瞼によって隠されている等が検出された際に信頼性を下げてもよいし、過去複数回の視線方向のばらつき度合いに応じて信頼性を決定してもよい。

以下に、視線方向の信頼性を加味した主被写体の選択方法について、図１４（ａ）〜（ｃ）を参照しながら、詳細に説明する。図１４は、特徴領域として顔領域を検出する構成において、画像中に２つの顔１４０２、１４０３が存在し、画像処理部２４が顔領域１４０４、１４０５を検出した例を模式的に示している。

図１４（ａ）および（ｂ）（ｃ）は、１点ＡＦが選択され、比較的小さい大きさの焦点検出領域１４０１が設定されている場合の模式図である。なお、図１４では焦点検出領域が１点ＡＦについて説明しているが、１点ＡＦより広い焦点検出領域の設定でもよい。図５（ａ）の視線方向１４０６は、視線検出部７０１で検出された情報を統計的に処理したある時刻の視線方向を示している。検出された視線方向の信頼性が良い場合、システム制御部５０は視線方向１４０６に対して、よりピンポイントに主被写体が検出できるよう比較的小さい被写体を検出する範囲１４０７を設定する。システム制御部５０は、被写体を検出する範囲内に最も多く含まれる特徴領域１４０４を主被写体として選択し、図１４（ｂ）に示すように焦点検出領域１４０１を特徴領域１４０４に重なるように設定する。

一方、検出された視線方向の信頼性が悪い場合には、図１４（ｃ）のようにシステム制御部５０は視線方向１４０６に対して、より主被写体が捕捉しやすくなるように比較的大きい被写体を検出する範囲１４０８を設定する。システム制御部５０は、被写体を検出する範囲内に最も多く含まれる特徴領域１４０４を主被写体として選択し、図１４（ｂ）に示すように焦点検出領域１４０９を特徴領域１４０４に重なるように設定する。

また、図１４（ａ）及び（ｃ）において、システム制御部５０は、被写体を検出する範囲内に特徴領域が所定量以上含まれない場合、主被写体の選択は行わず、焦点検出領域１４０１の位置変更は行わない。若しくは、被写体を検出する範囲内に特徴領域が所定量以上含まれない場合は、視線方向１４０６に基づき、焦点検出領域１４０１を設定してもよい。

＜視線入力による主被写体の選択動作＞
次に、本実施形態における視線入力による主被写体の選択動作に関して、図１５に示すフローチャートを用いて説明する。この動作は例えば撮影スタンバイ状態において表示部２８にライブビュー画像が表示されている際に、ライブビュー画像の生成や表示に関する動作を並行して実行することができる。

ステップＳ１５０１において画像処理部２４において特徴領域の検出処理を実行する。画像処理部２４は検出した特徴領域の数や、個々の特徴領域の情報（例えば大きさ、位置、信頼度など）をシステム制御部５０に出力する。特徴領域は人物の顔検出に限らず、人体領域、瞳領域、動物の顔領域、乗り物領域など、パターンマッチングなど公知の技術によって検出可能な任意の特徴領域であってよい。また、特徴領域の候補の検出のみを行ってもよい。

ステップＳ１５０２においてシステム制御部５０は、視線検出部７０１から画像を取得し、図３に関して説明したようにして視線方向を検出する。

さらに、検出した視線方向を図６で説明した手法により平均化処理を行い、ユーザが注視している表示部２８もしくはライブビュー画像中の位置（注視点の位置）を特定する。

ステップＳ１５０３においてシステム制御部５０は、ステップＳ１５０２で特定したユーザが注視しているライブビュー画像中の位置（注視点の位置）とその信頼性に応じて、上述した手法により被写体を検出する範囲を設定する。

ステップＳ１５０４においてシステム制御部５０は、ステップＳ１５０１で検出した特徴領域が、ステップＳ１５０３で設定した被写体を検出する範囲内に含まれるか否かを判定し、図１４で説明した手法により主被写体を選択する。

ステップＳ１５０５においてシステム制御部５０は、ステップＳ１５０４で選択した主被写体のライブビュー画像中の位置に焦点検出領域を設定する。

ステップＳ１５０６でシステム制御部５０は、例えばＳＷ１のＯＮまたはＳＷ２のＯＮを検出したり、視線の検出ができないといった、終了条件が満たされたか否かを判定する。システム制御部５０は、終了条件が満たされたと判定された場合にはその時点で判定されている主被写体が選択されたものとして処理を終了する。一方、システム制御部５０は、終了条件が満たされたと判定されない場合には処理をステップＳ１５０１に戻す。

以上説明したように本実施形態では、不安定なユーザの視線（画像中の注視点の位置）と視線位置の信頼性に基づいて、適宜、視線方向の平均化処理、および、被写体を検出する範囲を設定する。これにより、ユーザの意図に合った焦点検出領域を設定することを可能としている。

（第４の実施形態）
次に、本発明の第４実施形態として、動画記録モード時の動作について、上述してきた内容との差分を中心に説明する。本実施形態のデジタルカメラシステムにおいても、動画撮影、および動画記録が可能になっており、操作部（７０）からの入力により、記録モードを選択して、静止画撮影を行うモードであるか、動画を記録するモードであるかを切り替えるものとなっている。また記録する動画のサイズやフレームレートも選択可能となっており、サイズとしては、４Ｋ（水平３８４０画素×垂直２１６０画素）や、２Ｋ（水平１９２０画素×垂直１０８０画素）、ＨＤ（水平１２８０画素×垂直７２０画素）を選択可能である。またフレームレートとしては、２４０ｆｐｓ、１２０ｆｐｓ、６０ｆｐｓ、３０ｆｐｓ、２４ｆｐｓのいずれかが選択可能となっている。これらの設定に応じて、デジタルカメラ内部では、撮像素子（２２）から読み出すサイズや読み出しレートが相応に設定されて動作する。

ここで、この動画記録モード時の視線検出位置と被写体を検出する範囲例を図１６に示す。図１６において、被写体１６０１、視線検出位置１６０４としている。その視線検出位置１６０４に対して、破線１６０３が動画記録時の被写体を検出する範囲を示している。これは、視線入力位置１６０４を中心とした半径ｒ２の円形となっていることを示している。また、比較対象として、破線１６０２にて示しているのが、静止画記録時の被写体を検出する範囲であり、視線検出位置１６０４を中心とした半径ｒ１の円形となっている。すなわち、これは動画記録モードの場合には、静止画記録モードに比べて、半径で（ｒ２−ｒ１）相当広がることを示している。動画撮影では動くものを撮影することが前提になっていることで、被写体の動き量が大きい可能性が高いためである。また、動画記録の場合は、静止画撮影のようにピンポイントに短時間で集中しにくいシーンも多くなることから、視線位置と被写体位置との差が大きくなる可能性が高いためである。これらの理由により静止画記録モード時よりも動画記録モード時の方が被写体を検出する範囲を広げるようになっている。さらにこの（ｒ２−ｒ１）の広がる量については、フレームレートによって変わるようにしている。大きさの基準を６０ｆｐｓにして、
ｒ２＝（６０÷フレームレート）×α×ｒ１ …式（１）

αは、静止画に対する動画の拡大率であり、本実施例ではα＝１．２を採用している。なお、視線検出部（７０１）のデバイス特性を踏まえて、おおむね１＜α＜１．５とすればよい。また、この式（１）に限らず、様々な計算方法が考えられ、ここでは本実施例としての一例としている。αの範囲も他の様々な条件を加味してシステムごとに決めるものでよい。以上のように、動画記録時には静止画記録モードよりも被写体を検出する範囲が広がり、その広がる量はフレームレートに依存しており、フレームレートが高ければ広がる量は小さめとなり、フレームレートが低ければやや大き目に広がるシステムとなっている。

このように設定された被写体を検出する範囲を用いて、先述した実施例同等に、被写体検出、および焦点検出領域を設定されて、動作するデジタルカメラシステムとなっている。

（第５の実施形態）
次に、本発明の第５実施形態について説明する。本実施形態では、被写体及びカメラの動きを検出し、それらの動きの有無に応じて被写体を検出する範囲の大きさを設定する。

＜動きのあるシーンにおける視線入力の課題＞
視線入力の特徴は、生体由来であることによる視線方向の不安定さであり、安定した視線方向を特定するために統計的な処理が用いられることは第一の実施形態で説明した通りである。一方で、被写体が動体である場合や撮像装置自体をパンニングしながら撮影する場合など、動きのあるシーンでは課題が生じる。具体的には、先述べた視線方向を統計的に処理することによる遅延の影響や、生体由来の無意識な視線移動によりユーザが意図した主被写体を適切に選択できない課題が生じる。

＜視線入力による主被写体（または主被写体領域）の選択方法の概要＞
上記の課題を踏まえ、本実施形態における動きのあるシーンに適した視線入力による主被写体の選択方法について、図１８（ａ）〜（ｄ）を参照しながら、詳細に説明する。

図１８（ａ）（ｂ）及び（ｃ）（ｄ）は２つの代表的なシーンを示している。図１８（ａ）（ｂ）は静止している顔１８０１が存在し、画像処理部２４が顔領域１８０２を検出した例を模式的に示している。図１８（ａ）の視線方向１８０３は、視線検出部７０１で検出された情報を統計的に処理したある時刻の視線方向を示している。システム制御部５０は、静止した被写体に対して視線によるユーザのより詳細な被写体指定が反映しやすいように比較的小さい被写体を検出する範囲１８０４を設定する。システム制御部５０は、被写体を検出する範囲内に最も多く含まれる特徴領域１８０２を主被写体として選択し、図１８（ｂ）に示すように焦点検出領域１８０５を特徴領域１８０２に重なるように設定する。

一方で、図１８（ｃ）（ｄ）は動いている顔１８０６が存在し、画像処理部２４が顔領域１８０７を検出した例を模式的に示している。

図１８（ｃ）の視線方向１８０３は、図１８（ａ）と同様に統計的に処理したある時刻の視線方向を示している。システム制御部５０は、動体の被写体に対して視線による動体に対する被写体指定が反映しやすいように大きな被写体を検出する範囲１８０８を設定する。図１８（ｃ）の１８０４は被写体を検出する範囲の大小関係を比較、説明するために静止した被写体に適用される被写体を検出する範囲を示している。図１８（ｃ）（ｄ）の例では動体向けの被写体を検出する範囲１８０８は静止した被写体向けの被写体を検出する範囲１８０４よりも大きな範囲が設定される。

先に示した動体と静止体での被写体を検出する範囲の切り替えの判断には動体判定もしくは撮像装置のパンニングの判定の結果を用いる。

本実施形態における動体判定では動きベクトルを用いて動体であるか否かを判断する。例えばシステム制御部５０は、特徴領域の中心位置の時系列データを取得し、所定の複数フレームに渡って平均した、フレーム間の中心位置の移動量および移動方向を動きベクトルの成分とする。算出された動きベクトルの大きさが所定値以上である特徴領域については被写体が動いたと判定することができる。なお、動きベクトルは他の方法で求めてもよい。また、特徴領域（被写体）の面内方向の動きを表す情報であれば、動きベクトル以外の情報を取得してもよい。

本実施形態におけるパンニング判定では姿勢検出部５５にて得られる撮像装置の現在の振れ量に基づいてパンニング中であるか否かを判断する。振れ量とは例えば角速度や角加速度などである。振れ量が所定の振れ閾値以上である場合にはパンニングが検出されたと見なす。

本実施形態では先に示した動体判定、パンニング判定より得られる情報に基づきシステム制御部５０は被写体を検出する範囲の配置を決定する。例えば、動体と判断される場合には算出された動きベクトルの大きさを加味し、視線方向１８０３に対して被写体の進行方向に大きくなるように被写体を検出する範囲１８０８を設定する。また、パンニング中と判断される場合も同様に、撮像装置のパンニング方向及び振れ量を加味することで視線方向１８０３に対してパンニング方向に大きくなるように被写体を検出する範囲１８０８を設定する。これにより、注目する被写体に対して視線方向が遅れた場合であってもシステム制御部５０は、被写体を検出する範囲内に最も多く含まれる特徴領域１８０７を主被写体として選択できる。このため、図１８（ｄ）に示すように焦点検出領域１８０９を特徴領域１８０７に重なるように設定することが可能となる。

＜視線入力による被写体を検出する範囲の設定動作＞
次に、本実施形態における被写体を検出する範囲の設定動作を説明する。本実施形態における視線入力による焦点検出領域の決定は図８のフローチャートと同じであり、ステップＳ１０４の詳細を図１７のフローチャートを用いて説明する。

Ｓ１７０１においてシステム制御部５０は、検出された特徴領域のそれぞれについて動きベクトルを算出し動体判定を行う。判定処理の詳細は先に説明した通りである。システム制御部５０は、動きベクトルの大きさが所定値以上である特徴領域が存在する場合には動体であると判定する。

Ｓ１７０２においてシステム制御部５０は、姿勢検出部５５にて撮像装置の現在の振れ量を検出する。振れ量が所定の振れ閾値以上である場合にはパンニングが検出されたと見なす。

Ｓ１７０３においてシステム制御部５０は、被写体を検出する範囲の切り替え条件が成立したか否かを判断する。本実施形態においては、Ｓ１７０１の動体判定、およびＳ１７０２のパンニング判定のいずれかもしくは両方が成立している場合には該当するものとする。Ｓ１７０３において、被写体を検出する範囲の切り替え条件が成立した場合にはＳ１７０５に進み、成立しない場合にはＳ１７０４に進む。

Ｓ１７０４においてシステム制御部５０は図８のＳ１０３で特定したユーザが注視しているライブビュー画像中の位置（注視点の位置）に対して、被写体を検出する範囲を設定する。Ｓ１７０４では図１８（ａ）（ｂ）で説明した静止した被写体向けの被写体を検出する範囲が設定される。

Ｓ１７０５においてシステム制御部５０は図８のＳ１０３で特定したユーザが注視しているライブビュー画像中の位置（注視点の位置）に対して、被写体を検出する範囲を設定する。Ｓ１７０５では図１８（ｃ）（ｄ）で説明した動体の被写体向けの被写体を検出する範囲が設定される。

以上説明したように本実施形態では、動体被写体やパンニング等の撮影状況に基づいて被写体を検出する範囲を設定することで、ユーザが意図した主被写体を適切に選択し焦点検出領域を設定することが可能となる。

（第６の実施形態）
次に、本発明の第６実施形態について説明する。本実施形態では、動体に対して継続的に焦点調整を行うサーボＡＦの追従特性の強さに応じて被写体を検出する範囲の大きさを設定する。

＜動きのあるシーンにおける視線入力の課題＞
継続的に焦点調整動作を実施することが望ましい被写体の入れ替わりの多い、動きのあるシーンでは第５実施形態と同様の課題が生じる。

＜視線入力による主被写体（または主被写体領域）の選択方法の概要＞
上記の課題を踏まえ、本実施形態における動きのあるシーンに適した視線入力による主被写体の選択方法について、図２０（ａ）（ｂ）を参照しながら、詳細に説明する。

図２０（ａ）はサーボＡＦの追従特性の強さとしてユーザが選択・設定可能な項目（図中の追従特性Ａ）とその設定値に対応する被写体を検出する範囲の大きさ算出するための係数の関係を示した表である。本実施形態では１つのサーボ追従特性項目（追従特性Ａ）の切り替えに対して被写体を検出する範囲の係数を決定し、この係数を用いて被写体を検出する範囲の大きさを変更する。

図２０（ｂ）は上記設定を反映した際の被写体を検出する範囲の例を示している。本実施形態ではユーザの視線方向２００１に基づき決定される基準となる被写体を検出する範囲２００２を決める。これに対して図２０（ａ）で示した追従特性Ａの設定値に対応する係数を乗算することで実際に使用する被写体を検出する範囲を決定する。したがって、追従特性Ａの設定値がそれぞれ−１、０、＋１の場合には対応する１／２、１、２の係数が適用され、２００３、２００２、２００４の異なる大きさの被写体を検出する範囲が決定される。このサーボ追従特性項目に連動した被写体を検出する範囲内に画像中より検出した特徴領域が含まれる場合は、その特徴領域を主被写体領域と見なし、焦点検出領域を主被写体領域の位置に設定する。

なお、本実施形態における追従特性Ａとは「被写体の速度変化に対するサーボＡＦの追従しやすさ」であり、被写体の加速、減速に対するサーボＡＦの追従敏感度をユーザが設定できるものとする。この例では、追従特性Ａを強く設定すること（設定値を＋１に設定）は、すなわち動きが激しい被写体の撮影を想定しており、ユーザが視線入力にて被写体を捉え続けることが困難であることが予想される。そのため、本実施形態では図２０（ａ）（ｂ）で説明した通り、被写体を検出する範囲を通常よりも広く設定することで、ユーザが意図した主被写体を適切に選択できるようにする。

＜視線入力による被写体を検出する範囲の設定動作＞
次に、本実施形態における被写体を検出する範囲の設定動作を説明する。本実施形態における視線入力による焦点検出領域の決定は図８のフローチャートと同じであり、ステップＳ１０４の詳細を図１９のフローチャートを用いて説明する。

Ｓ１９０１においてシステム制御部５０は、システムメモリ５２に保存されているサーボ追従特性設定の現在の設定値を読み出す。

なお設定値は、あらかじめユーザが撮影状況に合わせて設定しておくことが可能である。また、読みだされる設定値は先の図２０（ａ）で説明したとおり、−１、０、＋１のいずれかが取得できる。

Ｓ１９０２においてシステム制御部５０は、被写体を検出する範囲を算出する係数を選択する。このとき不揮発性メモリ５６に保存されているユーザが選択・設定可能な追従特性Ａの項目とその設定値に連動する被写体を検出する範囲の大きさを表す係数の関係をまとめたテーブル情報に基づき、被写体を検出する範囲を算出する係数を選択する。これは先の図２０（ａ）で説明した設定値に応じて１／２、１、２のいずれかが選択される。

Ｓ１９０３においてシステム制御部５０はＳ１９０２で選択された係数に基づき被写体を検出する範囲を設定する。被写体を検出する範囲の設定については先に図２０（ｂ）を用いて説明した通りである。

以上説明したように本実施形態では、継続的に焦点調整を行うサーボＡＦの追従特性に基づいて被写体を検出する範囲を設定することで、ユーザが意図した主被写体を適切に選択し焦点検出領域を設定することが可能となる。

（変形例）
なお、本実施形態では被写体を検出する範囲の大きさと連動するサーボＡＦの追従特性の項目は１つのみであったが、本発明はこれに限定されるものではない。

例えば、図２０（ｃ）に示すように新たに追従特性Ｂ加え、複数の設定項目に対応する被写体を検出する範囲の係数に基づき被写体を検出する範囲を算出する構成であってもよい。

例えば、本実施形態における追従特性Ｂとは、「被写体の切り替わりやすさ」であり、複数の被写体が混在するシーンにけるサーボＡＦの被写体切り替えの敏感度をユーザが設定できるものとする。この例では、追従特性Ｂを強く設定すること（設定値を＋１に設定）は、すなわち複数の被写体が頻繁に切り替わるようシーンでの撮影を想定しており、ユーザが視線入力にて被写体を切り替えやすくすることが望ましい。そのため、本実施形態では図２０（ａ）（ｂ）で説明した通り、被写体を検出する範囲を通常よりも狭く設定することで、ユーザが意図した主被写体を適切に選択できるようにする。

このように複数の追従特性を設定可能な構成では、図１９のフローチャートにおけるＳ１９０１において、追従特性ＡからＢの設定値を取得し、Ｓ１９０２において、それぞれの設定項目に対応する係数を選択する。Ｓ１９０３にてＳ１９０２で選択した複数の被写体を検出する範囲の係数を乗算し最終的な係数とする。ただし、ライブビュー画像サイズより設定可能な最大サイズが限られること、また視線方向のばらつきにより最小サイズが限られることから、係数の上限、下限を設ける構成であってもよい。

また、本実施形態で示したサーボ追従特性設定の設定項目に関して、本発明は今回説明した項目に限定されるものではなく、継続的に実施される焦点調整動作において内部制御を切り替える要因であればよい。

１００ 本体
４ レンズシステム制御回路
２２ 撮像素子
５０ システム制御部
２４ 画像処理部
２８ 表示部
３２ メモリ
５６ 不揮発性メモリ
７０ 操作部

Claims (19)

1. ユーザの視線に基づいて、画像中の注視点の位置を検出する第１の検出手段と、
   前記注視点の位置、および、撮影条件に基づき、被写体を検出する範囲を設定する第１の設定手段と、
   前記画像から特徴領域を検出する第２の検出手段と、
   前記被写体を検出する範囲に含まれる前記特徴領域の位置に応じて、焦点検出領域を設定する第２の設定手段と、を有することを特徴とする撮像装置。
2. 前記撮影条件は、ＡＦエリアモードであって、
   前記ＡＦエリアモードには、少なくとも第１の大きさの焦点検出領域を画像中に配置する第１のモードと、前記第１の大きさよりも大きい第２の大きさの焦点検出領域を画像中に配置する第２のモードがあり、
   前記第１の設定手段は、前記第２のモードの場合に、前記第１のモードの場合よりも前記被写体を検出する範囲が広くなるように設定することを特徴とする請求項１に記載の撮像装置。
3. 前記撮影条件は、ユーザの指定により設定された焦点検出領域の大きさと形状の少なくとも１つであることを特徴とする請求項１に記載の撮像装置。
4. 前記第２の設定手段は、前記被写体を検出する範囲に前記特徴領域が所定量以上含まれない場合は、焦点検出領域を変更しないことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第２の設定手段は、前記被写体を検出する範囲に前記特徴領域が所定量以上含まれない場合は、前記注視点の位置に基づき、焦点検出領域を設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記第１の検出手段によって、所定期間に検出された複数の注視点の位置に基づき、ノイズ低減処理を行うことで、注視点の位置を平滑化する平滑化手段を更に有し、
   前記平滑化手段は、前記焦点検出領域の大きさが小さいほど、ノイズ低減効果が大きくなるように前記ノイズ低減処理を行うことを特徴とする請求項２に記載の撮像装置。
7. 前記第１の検出手段によって検出された複数の注視点の位置に基づいて、注視点の位置のばらつきを取得するキャリブレーション手段と、
   前記キャリブレーション手段によって検出された注視点の位置のばらつきを記憶する第１の記憶手段と、を更に有し、
   前記撮影条件は、前記第１の記憶手段に記憶された注視点の位置のばらつきであることを特徴とする請求項１に記載の撮像装置。
8. 撮像装置の姿勢を検出する第３の検出手段と、
   前記第１の検出手段によって検出された複数の注視点の位置に基づいて、注視点の位置のばらつきを取得するキャリブレーション手段と、
   前記キャリブレーション手段によって検出された注視点の位置のばらつきと前記姿勢検出手段で検出された姿勢を対応付けて記憶する第２の記憶手段と、を更に有し、
   前記撮影条件は、前記第２の記憶手段に記憶された前記第３の検出手段によって検出された姿勢に対応する注視点の位置のばらつきであることを特徴とする請求項１に記載の撮像装置。
9. 前記撮影条件は、前記第１の検出手段によって検出された注視点の位置の確からしさであって、
   前記第１の設定手段は、前記注視点の位置の確からしさが第１の確からしさの場合に、前記第１の確からしさよりも前記注視点の位置の確からしさが良い第２の確からしさの場合よりも前記被写体を検出する範囲が広くなるように設定することを特徴とする請求項１に記載の撮像装置。
10. 前記撮影条件は、記録モードであり、
    前記第１の設定手段は、前記記録モードが動画記録モードの場合に、前記記録モードが静止画記録モードの場合に比べて、前記被写体を検出する範囲が広くなるように設定することを特徴とする請求項１に記載の撮像装置。
11. 動画記録のフレームレートを設定する手段を更に有し、
    前記第１の設定手段は、前記動画記録のフレームレートに応じて被写体を検出する範囲を設定することを特徴とする請求項１０に記載の撮像装置。
12. 前記撮影条件は、動体判定手段により検出された被写体の動きであって、
    前記第１の設定手段は、被写体が動体である場合には、動体でない場合よりも前記被写体を検出する範囲が広くなるように設定することを特徴とする請求項１に記載の撮像装置。
13. 被写体が動体である場合、前記第１の設定手段は、被写体を検出する範囲が動体の動き方向に広くなるように設定することを特徴とする請求項１２に記載の撮像装置。
14. 前記撮影条件は、撮像装置がパンニング中であるか否かであって、
    前記第１の設定手段は、撮像装置がパンニング中である場合には、パンニング中でない場合よりも被写体を検出する範囲が広くなるように設定することを特徴とする請求項１に記載の撮像装置。
15. パンニング中である場合、前記第１の設定手段は、撮像装置のパンニング方向に前記被写体を検出する範囲が広くなるように設定することを特徴とする請求項１４に記載の撮像装置。
16. 前記撮影条件は、焦点調整動作における被写体の追従特性であって、
    前記第１の設定手段は、前記追従特性の強さの度合いに応じて被写体を検出する範囲の広さを決定することを特徴とする請求項１に記載の撮像装置。
17. 前記追従特性は被写体の速度変化に対する追従敏感度であって、前記第１の設定手段は、前記被写体の速度変化に対する追従敏感度が第１の追従敏感度の場合には、前記第１の追従敏感度よりも低い第２の追従敏感度の場合よりも前記被写体を検出する範囲が広くなるように設定することを特徴とする請求項１６に記載の撮像装置。
18. 前記追従特性は被写体の切り替わりやすさであって、前記第１の設定手段は、前記被写体の切り替わりやすさが第１の切り替わりやすさの場合には、前記第１の切り替わりやすさよりも弱い第２の切り替わりやすさの場合よりも前記被写体を検出する範囲が狭くなるように設定することを特徴とする請求項１６に記載の撮像装置。
19. ユーザの視線に基づいて、画像中の注視点の位置を検出する第１の検出工程と、
    前記注視点の位置、および、撮影条件に基づき、被写体を検出する範囲を設定する第１の設定工程と、
    前記画像から特徴領域を検出する第２の検出工程と、
    前記被写体を検出する範囲に含まれる前記特徴領域の位置に応じて、焦点検出領域を設定する第２の設定工程と、を有することを特徴とする撮像装置の制御方法。

Images