JP2023029458A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】 視線によるＡＦ位置の指定において操作性が良い撮像装置を提供することを目的とする。【解決手段】 第１のＡＦモードの場合は、特定の操作部材への所定の操作に応じて、所定の操作が行われた時点において視線検出手段により検出された視線位置に基づいて追尾対象の被写体及を決定し、追尾対象の被写体を追尾して当該追尾対象の被写体の移動に応じてＡＦ位置を移動するように制御し、第２のＡＦモードの場合は、特定の操作部材への所定の操作に応じて、所定の操作が行われた時点において視線検出手段により検出された視線位置に基づいてＡＦ位置を決定し、視線検出手段により検出された視線位置に基づくＡＦ位置の変更を行わず、ＡＦ位置の被写体が移動したとしてもＡＦ位置を移動しないように制御することを特徴とする。【選択図】 図３

Description

本発明は、ユーザーの視線による視線入力が可能な撮像装置、及び撮像装置の制御方法に関するものである。

従来、ユーザーである撮影者の視線方向を検出し、撮影者がファインダー視野内のどの領域（位置）を観察しているかを検出して、自動焦点調節等の撮影機能を制御するカメラが提案されている。特許文献１には、ユーザーがシャッターボタンを押したときに、シャッターボタンが押された時点での視線位置を検出してファインダー内に表示し、視線位置に応じた被写体に焦点を合わせるカメラが開示されている。特許文献２には、シャッターボタンの押下継続により連続撮影を行っている間は、１回の撮影毎にユーザーの視線位置を検出し、視線位置に焦点調節を行うことが開示されている。特許文献３には、ユーザーの視線を検出し、検出された視線位置にカーソル移動が可能であることが開示されている。また特許文献３では、ユーザーの視線位置にカーソルが追従するカーソル追従モードについて、ユーザーのジェスチャ、音声、視線、操作のいずれか１つによってカーソル追従モードのＯＮ／ＯＦＦが切り替え可能である。

特開昭６１－６１１３５号公報 特開平９－６１７００号公報 特開２００１－１００９０３号公報

しかし特許文献１では、最初にシャッターボタンを押した時点での視線位置に応じた被写体に合焦するため、ユーザーが連続撮影を行ったときに被写体が移動していると、被写体に合焦していない写真が撮影されてしまう。特許文献２では、ユーザーは、シャッターボタン操作中は合焦させたい位置を見続ける必要があった。例えば、ユーザーがシャッターボタン操作中に画像全体をチェックするために合焦させたい被写体から視線を離すと、視線に追従してユーザー所望の被写体ではない位置で合焦してしまい、使いづらく感じることがあった。特許文献３では、視線入力によるカーソル追従モードのＯＮ／ＯＦＦを切り替えてしまうため、ＯＮの場合にはユーザーの意図しない視線移動にも常に視線位置にカーソルが追従し、カーソルを固定するには、モードをＯＦＦに切り替える必要があった。固定したカーソルを視線位置に更新するためには、再度モードをＯＦＦからＯＮに切り替えなければならず、ユーザーが煩わしく感じる可能性が生じる。

そこで本発明は、視線によるＡＦ位置の指定において操作性が良い撮像装置を提供することを目的とする。

上記目的を達成するために、本発明は、
撮像部と、ユーザーの視線によりＡＦ位置を指定するために、ユーザーの視線位置を検出する視線検出手段と、特定の操作部材と、制御手段と、を有し、制御手段は、第１のＡＦモードの場合は、特定の操作部材への所定の操作に応じて、所定の操作が行われた時点において視線検出手段により検出された視線位置に基づいて追尾対象の被写体及を決定し、追尾対象の被写体を追尾して当該追尾対象の被写体の移動に応じてＡＦ位置を移動するように制御し、第２のＡＦモードの場合は、特定の操作部材への所定の操作に応じて、所定の操作が行われた時点において視線検出手段により検出された視線位置に基づいてＡＦ位置を決定し、視線検出手段により検出された視線位置に基づくＡＦ位置の変更を行わず、ＡＦ位置の被写体が移動したとしてもＡＦ位置を移動しないように制御する、ことを特徴とする。

本発明によれば、視線によるＡＦ位置の指定において操作性が良い撮像装置を提供することができる。

本発明の実施形態である、デジタルカメラの外観図である。 本発明の実施形態である、デジタルカメラの構成を示すブロック図である。 本実施形態における、視線入力と操作部材によるＡＦ枠の制御処理フローチャートである。 本実施形態における、視線入力と操作部材によるＡＦ枠の表示例である。 本実施形態における、視線に関する設定画面の表示例である。

以下、図面を参照して本発明の好適な実施形態を説明する。

図１（ａ）、（ｂ）に本発明を適用可能な装置の一例としてのデジタルカメラ１００の外観図を示す。図１（ａ）はデジタルカメラ１００の前面斜視図であり、図１（ｂ）はデジタルカメラ１００の背面斜視図である。図１において、表示部２８は画像や各種情報を表示する、カメラ背面に設けられた表示部である。タッチパネル７０ａはタッチ操作可能な操作部材であり、表示部２８の表示面（操作面）に対するタッチ操作を検出することができる。ファインダー外表示部４３は、カメラのファインダー外に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。端子カバー４０は外部機器との接続ケーブルとデジタルカメラ１００とを接続するコネクタ（不図示）を保護するカバーである。メイン電子ダイヤル７１は操作部７０に含まれる回転操作部材であり、このメイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ７２はデジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は操作部７０に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー７４は操作部７０に含まれ、４方向に押し込み可能な押しボタンを有する操作部材で、十字キー７４の押下した方向に応じた操作が可能である。ＳＥＴボタン７５は操作部７０に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。動画ボタン７６は、動画撮影（記録）の開始、停止の指示に用いられる。ＡＦ－ＯＮボタン７７は、操作部７０に含まれ、押下することによりＡＦ動作を開始する。ＡＦ動作は主にシャッターボタン６１の押下によりＡＦ動作が開始されるが、ＡＦ－ＯＮボタン７７を押下してもＡＦ動作開始の指示を出すことができる。シャッターボタン６１の押下によってＡＦ動作を行わないように設定することができるデジタルカメラ１００では、ＡＦ開始指示と撮影指示とを切り離すことができる。ＡＦ－ＯＮボタン７７を押下したあとにシャッターボタン６１を押下すれば、ＡＦ位置を固定した撮影、または、ＡＦができない状況下でも撮影を行うことができる。ＡＥロックボタン７８は操作部７０に含まれ、撮影待機状態で押下することにより、露出状態を固定することができる。つまり、ユーザー所望の露出値で固定して撮影を行うことができる。再生ボタン７９は操作部７０に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８に表示させることができる。絞り込みボタン８４は、操作部７０に含まれ、押下することにより、押下した時点で設定されている絞り数値でレンズの絞り込みが行われ、実際にピントの合う範囲（被写界深度）を確認することができる。メニューボタン８１は、操作部７０に含まれ、押下することにより各種の設定可能なメニュー画面が表示部２８に表示される。拡大ボタン８２は操作部７０に含まれ、撮影モードのライブビュー表示において拡大モードのＯＮ／ＯＦＦを行うための操作ボタンである。拡大モードをＯＮとしてからメイン電子ダイヤル７１を操作することにより、ライブビュー画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。マルチコントローラー８３は、８方向に操作可能な方向キーと押し込み可能な押しボタンを有する操作部材であり、マルチコントローラー８３を倒した方向に応じた操作が可能である。ユーザーは、表示部２８に表示されたメニュー画面において、十字キー７４やＳＥＴボタン７５、マルチコントローラー８３を用いて直感的に各種設定を行うことができる。フレーミングアシストボタン（不図示）は後述するレンズユニット１５０やデジタルカメラ１００とレンズユニット１５０を繋ぐレンズアダプタに配置された操作ボタンである。これは、ユーザーが右手でグリップ部９０、左手でレンズユニット１５０を把持して撮影を行う際に、左手で押下可能な位置に配置された操作部材である。

操作部７０は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、押しボタン、回転ダイヤル、タッチセンサーなどが含まれ、少なくとも以下の操作部が含まれる。シャッターボタン６１、タッチパネル７０ａ、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＦ－ＯＮボタン７７、ＡＥロックボタン７８、再生ボタン７９。絞り込みボタン８４、メニューボタン８１、拡大ボタン８２、マルチコントローラー８３、フレーミングアシストボタン。後述する、ＡＦ枠を視線位置に基づく位置へ更新する視線更新機能について、当該機能を有した専用ボタンをデジタルカメラ１００に搭載してもよいし、他の機能を有した操作部材に視線更新機能を割り当てられるようにしてもよい。視線更新機能を割り当て可能な操作部材として、ＡＦ－ＯＮボタン７７、ＡＥロックボタン７８、絞り込みボタン８４、マルチコントローラー８３の押し込み、フレーミングアシストボタンがある。ＡＦ－ＯＮボタン７７、ＡＥロックボタン７８、マルチコントローラー８３はユーザーが右手人差し指でシャッターボタン６１を操作しながら撮影に支障が生じないように操作できる位置に配置されている。具体的には、ユーザーがグリップ部９０を右手で把持している際に、被写体と反対側にあたるデジタルカメラ１００の背面部の中央位置より上側（シャッターボタン側）、かつ、ＥＶＦ２９の右側（グリップ部９０側）に配置されているものとする。また、ユーザーがシャッターボタン６１を操作しながら操作できるものであれば、デジタルカメラ１００の背面部に限らない。例えば、絞り込みボタン８４やフレーミングアシストボタンのような、前面部（被写体側）やレンズユニット１５０に配置される操作部材でもよい。この場合、操作部材の配置位置は上述したデジタルカメラ１００の背面に限らず、ユーザーがシャッターボタン６１を操作している右手の人差し指以外の指で操作できる位置に配置されていればよい。デジタルカメラ１００の前面部に、視線更新機能割り当て可能な操作部材が配置されていても、グリップ部９０を把持している右手の中指や薬指で操作できるものであれば、シャッターボタン６１を操作しながら撮影に支障なく押下が可能である。ユーザーが視線更新機能を割り当て可能な、他の機能を有した操作部材は、シャッターボタン６１への操作中に操作しても撮影モードから遷移しない機能を持ったボタンや、シャッターボタン６１への操作による撮影機能実行を妨げない機能を持ったボタンである。また、様々な機能を割り当てられる、押下可能なボタンでもよい。押しボタンに限らず左右に操作可能な操作バーや回転操作可能なリング、後述する押圧力を検知可能なタッチパネル７０ａを強い押圧で押し込んだ場合に機能が発動するようにしてもよい。なお、本実施形態では、視線更新機能を有した専用ボタンを有していない場合は、ユーザーによる図５（ｂ）のような設定メニュー画面での設定変更がない限りは、ＡＦ－ＯＮボタン７７に視線更新機能を割り当てるのをデフォルト（工場出荷時の初期状態）とする。ユーザーはシャッターボタン６１を操作中には、右手でグリップ部９０をしっかりと把持し、撮影を行う。グリップ部９０はユーザーが把持しやすい形状で、かつ、しっかりと把持できる素材となっている。すなわち、グリップ部９０はデジタルカメラ１００の筐体の他の部分の素材とは異なった素材で形成されており、ラバー素材で握りやすく、かつ、すべりにくい凹凸があるもので作られている。そのため、グリップ部９０をしっかりと把持しつつ操作ができる、右手の親指で押下しやすい無理のない位置である必要がある。これらの理由により、ユーザーによる設定変更がない限りは、ＡＦ－ＯＮボタン７７に視線更新機能を割り当てる。ただし、これは一般的なユーザーを想定したものであり、手の小さい女性などにとっては設定メニュー画面で設定内容の変更を行い、ＡＦ－ＯＮボタン７７ではない別の操作部材に割り当てを行ったほうが、使い勝手が良い場合もある。

通信端子１０はデジタルカメラ１００が後述するレンズユニット１５０（着脱可能）と通信を行う為の通信端子である。接眼部１６は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、ユーザーは、接眼部１６を介して内部のＥＶＦ（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）２９に表示された映像を視認することができる。接眼検知部５７は接眼部１６に撮影者が接眼しているか否かを検知する接眼検知センサーである。蓋２０２は記録媒体２００を格納したスロットの蓋である。グリップ部９０は、ユーザーがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン６１、メイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３が配置されている。

図２は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図２において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がデジタルカメラ１００と通信を行う為の通信端子である。レンズユニット１５０は、この通信端子６と前述の通信端子１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行う。その後ＡＦ駆動回路３を介して、レンズ１０３を変位させることで焦点を合わせる。

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。

撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、または、後述するメモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行う。画像処理部２４により得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータ送受を制御する。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４およびメモリ制御部１５を介して、あるいは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８、ＥＶＦ２９に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８、ＥＶＦ２９により表示される。表示部２８、ＥＶＦ２９は、ＬＣＤや有機ＥＬ等の表示器上に、メモリ制御部１５からの信号に応じた表示を行う。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデータを、表示部２８またはＥＶＦ２９に逐次転送して表示することで、ライブビュー表示（ＬＶ表示）を行える。以下、ライブビューで表示される画像をライブビュー画像（ＬＶ画像）と称する。

赤外発光ダイオード１６６は、ファインダー内の画面におけるユーザーの視線位置を検出するための発光素子であり、ユーザーの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ１６３を介して視線検知センサー１６４の撮像面に結像する。結像レンズ１６３は視線検知光学系を構成する光学部材である。視線検知センサー１６４は、ＣＣＤ型イメージセンサ等の撮像デバイスから成る。

視線検知センサー１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は少なくとも１つのプロセッサーを含み、視線検知センサー１６４の出力信号に基づき、ユーザーの眼球（目）１６１の画像または動きからユーザーの視線位置を検出し、検出情報をシステム制御部５０に出力する。このようにダイクロイックミラー１６２、結像レンズ１６３、視線検知センサー１６４、赤外発光ダイオード１６６、視線検出回路１６５により視線検出ブロック１６０が構成される。視線検出ブロック１６０は、視線入力を受け付ける受付手段のうちの１つである。

本発明では視線検出ブロック１６０を用いて、角膜反射法と呼ばれる方式で視線を検出する。角膜反射法とは、赤外発光ダイオード１６６から発した赤外光が眼球（目）１６１の、特に角膜で反射した反射光と、眼球（目）１６１の瞳孔との位置関係から、視線の向き・位置を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な視線の向き・位置を検出する方式がある。なお、視線の向き・位置を検出できる方式であれば、上記以外の視線検出手段の方式を用いてもよい。

ファインダー外表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＦｌａｓｈ－ＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、少なくとも１つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０は、操作部７０に含まれる操作部材であり、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから撮像された画像を画像ファイルとして記録媒体２００に書き込むまでの一連の撮影処理の動作を開始する。第２シャッタースイッチのＯＮが継続されると、デジタルカメラ１００は、予め決められた連写可能速度に依存する速度で連写（連続撮影）を行う。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部５４は撮像部２２で撮像した画像（ライブビュー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部５５である、加速度センサーやジャイロセンサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

接眼検知部５７はファインダーの接眼部１６に対する目（物体）１６１の接近（接眼）および離脱（離眼）を検知する（接近検知）、接眼検知センサーである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。より具体的には、少なくともデジタルカメラ１００が撮影待機状態、かつ、撮像部２２で撮像されたライブビュー画像の表示先の切替設定が自動切替設定である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。接眼検知部５７は、例えば赤外線近接センサーを用いることができ、ＥＶＦ２９を内蔵するファインダーの接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（不図示）から投光した赤外線が反射して赤外線近接センサーの受光部（不図示）に受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別することができる。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。なお、本実施形態では接眼検知部５７の投光部および受光部は前述の赤外発光ダイオード１６６および視線検知センサー１６４とは別体のデバイスであるものとする。ただし、接眼検知部５７の投光部を赤外発光ダイオード１６６で兼ねてもよい。また、受光部を視線検知センサー１６４で兼ねてもよい。非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。

システム制御部５０は視線検出ブロック１６０からの出力に基づいて以下の操作、あるいは状態を検知できる。
・接眼部１６に接眼したユーザーの視線入力がある状態であること。
・接眼部１６に接眼したユーザーが注視している状態であること。
・接眼部１６に接眼したユーザーが入力していた視線を外したこと。すなわち、視線入力の終了。
・接眼部１６に接眼したユーザーが何も視線入力していない状態。

ここで述べた注視とは、ユーザーの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。

タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチパネル７０ａは光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示画面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を提供できる。システム制御部５０はタッチパネル７０ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）。
・タッチパネル７０ａへタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）。

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。システム制御部５０は通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

本実施形態では、デジタルカメラ１００において、シャッターボタン６１への操作中は、視線入力によるＡＦ枠の移動を行わないようにする。その後、特定の操作部材への操作が行われたこと応じて視線位置に基づく位置へＡＦ枠を更新するように制御する例を説明する。図３は、シャッターボタン６１操作中の視線入力によるＡＦ枠の移動を、操作部材への操作により制御するフローチャートである。この制御処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。図３のフローチャートは、デジタルカメラ１００を撮影モードで起動し、撮影待機状態においてユーザーがファインダーを覗いている場合、つまり接眼部１６へ接眼状態で、視線入力に関する設定が有効であるときに開始される。図５（ａ）（ｂ）はＥＶＦ２９または表示部２８に表示される撮影に関する設定メニュー画面である。図５（ａ）の設定メニュー画面には項目５０１～５０４が表示される。このうち項目５０３が視線入力に関する設定項目である。視線入力とは、ユーザーの視線による操作についての機能を指す。視線入力は有効と無効のいずれかに設定することができる。設定候補５０３ａを選択すれば、視線入力に関する設定が有効になり、設定候補５０３ｂを選択すれば、視線入力に関する設定が無効になる。視線入力を有効に設定すると、例えば設定メニュー画面における視線によるカーソル移動や項目の選択が可能になる。視線入力を無効に設定すると、例えば視線によるカーソル移動が行えない。図５（ａ）は、視線入力の設定が有効であることを表している。視線入力の設定は、不揮発性メモリ５６に保存される。また、図５（ａ）に示すような設定メニュー画面での設定でなくても、デジタルカメラ１００が有する操作部材への操作、もしくは、レバーの切替によって、視線入力の有効／無効を切り替えられるようにしてもよい。

また、ユーザーによる視線入力があった場合に視線位置を決定する条件として、例えば注視がある。視線検出ブロック１６０において視線入力が検出されると、検出された時点からの時間をシステム制御部５０が計時する。視線検出ブロック１６０において検出された視線位置について、例えば３０ミリ秒毎に視線位置を検出し、システム制御部５０へ送る。システム制御部５０は、視線位置と計時した時間から、ユーザーが視線を大きく動かしているか（視線をきょろきょろと動かしているか）、ある位置を見つめているか（注視）を判定することができる。システム制御部５０は視線位置と計時した時間から、所定時間内における視線位置の移動量が既定の閾値以下であるときに、注視があったと判定する。例えば、１２０ミリ秒のうちに視線位置の移動量が既定の閾値以下であった場合に、注視があったと判定する。注視の有無によって視線位置を決めるようにすれば、ユーザーが無意識的に行った意図しない視線移動にＡＦ枠が追従することがないため、ユーザーが煩わしく感じることを低減することができる。ここでは、ユーザーの意図する視線位置と判定する条件として注視を取り上げたが、ユーザーのまばたきや音声による指示等を条件としてもよい。

Ｓ３０１では、システム制御部５０は、不揮発性メモリ５６を参照し、視線入力によるＡＦ機能の設定が有効であるか否かを判定する。視線ＡＦ設定が有効である場合は、Ｓ３０２へ進み、そうでない場合は、Ｓ３０４へ進む。視線ＡＦ機能とは、視線検出ブロック１６０で検出した視線位置に焦点検出領域（以下、ＡＦ枠）を表示し、ＡＦを実行する機能である。図５（ａ）の項目５０２に示すように、ユーザーがデジタルカメラ１００の設定メニュー画面において視線ＡＦ機能の有効／無効のいずれかを設定することができる。視線ＡＦに関する設定を有効にすると、視線に追従して指定位置であるＡＦ枠が移動し、表示されたＡＦ枠の位置でＡＦが実行される。視線ＡＦに関する設定が無効にすると、視線に追従してＡＦ枠は移動しない。たとえ視線入力が有効であっても、視線ＡＦに関する設定が無効であれば、ユーザーの視線を検出していても視線に追従してＡＦ枠は移動しない。図５（ａ）では設定候補５０２ａが選択されていることから、視線ＡＦの設定が有効であることを表している。視線ＡＦの設定内容は、不揮発性メモリ５６に保存される。

Ｓ３０２では、システム制御部５０は、視線検出ブロック１６０において検出された視線位置にＡＦ枠を表示し、ＡＦ枠位置でコンティニュアスＡＦを開始する。Ｓ３０１でＹｅｓと判定した場合、視線ＡＦ設定が有効であるため、視線位置に追従してＡＦ枠を表示し、視線位置でＡＦを実行する。図４（ａ）～（ｈ）にＥＶＦ２９に表示される表示例を示す。図４（ａ）～（ｈ）に示す表示例では、運動会での子供がゴールテープに向かって走っている場面がＬＶとして表示されている例を示している。図４（ａ）に示すように、ＥＶＦ２９に接眼しているユーザーの目１６１が見ている視線位置に枠４２１が表示される。枠４２１はＡＦ枠である。図４（ａ）では、ユーザーの視線は被写体４１２にあるため枠４２１が図４（ａ）のように被写体４１２の顔に表示され、ＡＦが実行される。仮にユーザーが視線位置を被写体４１２から被写体４１１へ移動した場合には、ＡＦ枠は視線に追従して被写体４１２から被写体４１１へ移動し、被写体４１１に対してＡＦを実行する。

Ｓ３０３では、システム制御部５０は、第１シャッタースイッチ６２がオンになったか否かを判定する。第１シャッタースイッチ６２がオンになった場合は、Ｓ３０７へ進み、そうでない場合はＳ３０２へ戻る。第１シャッタースイッチ６２がオンとは、前述したようにシャッターボタン６１が半押しされている状態を示す。シャッターボタン６１が半押しされているということは、ユーザーは撮影を行う前にＡＦ（合焦）位置や測光値などの撮影に関する値の確認を行い、撮影準備を行っていることが想定される。そのため、撮影に関する値を確認するだけでなく、ＥＶＦ２９に表示されている画像全体を確認している可能性も高い。このような場合にはユーザーは画像全体をチェックするために視線を大きく動かすが、視線移動に追従してＡＦ枠が移動してしまうと、ユーザーは煩わしく感じるだけでなく、画像全体をチェックしにくい。そのため、第１シャッタースイッチ６２がオンになった場合は、Ｓ３０８で後述するように、視線ＡＦ設定が有効でも、視線位置にＡＦ枠は追従しない。

Ｓ３０４では、システム制御部５０は、不揮発性メモリ５６を参照し、視線ポインターに関する設定がＯＮであるか否かを判定する。設定がＯＮであった場合は、Ｓ３０５へ進み、そうでない場合は、Ｓ３０６へ進む。Ｓ３０１において視線ＡＦ設定が無効である場合、視線位置に追従して表示されるものはなく、ユーザーは自身の視線位置を把握することができない。そのため、視線位置に視線ポインターを表示することで、視線位置を把握することができるようにする。視線ポインターの設定が有効であると、視線位置にポインターが表示されるため、ユーザーは自身の視線位置を把握することができる。これにより、視線ＡＦ設定が無効であったとしても、他の視線を用いる機能として、例えば、視線によるメニュー項目やアイコンの選択、視線の移動方向によって特定の機能の実行をする際に、自身の視線位置を把握したうえで視線による操作を行うことができる。視線ポインターの設定が無効であると、視線位置が移動したとしても視線位置にポインターが追従しないため、ユーザーの意図ではない視線移動があった場合でも、ユーザーがわずらわしく感じることがない。また、メニュー項目上にポインターが重畳して表示することがないため、メニュー項目の視認性が高まる。視線ポインターに関する設定は、図５（ａ）の項目５０４に示すように、ユーザーが任意に設定を行うことができる。なお、Ｓ３０１で述べたように、視線ＡＦ設定が有効の場合は、視線ポインターの設定内容にかかわらず、視線位置にポインターを表示しないようにする。これにより、視線ＡＦ設定が有効、かつ、視線ポインターの設定が有効であるときでも、視線位置にＡＦ枠とポインターの両方が表示されることがなく、ＬＶ画像の視認性が低下することを低減することができる。

Ｓ３０５では、システム制御部５０は、Ｓ３０４でＹｅｓと判定された場合、視線位置にポインターを表示する。Ｓ３０４で述べたように、ユーザーが自身の視線位置を把握することができればよいため、表示形態はポインターに限らず、ユーザーが自身の視線位置を把握できるような表示形態であればよい。例えば、視線位置にメニュー項目やアイコンがあった場合は、視線位置の項目をハイライト表示したり、点滅させたり、拡大表示するようにしてもよい。なお、視線ポインターに関する設定項目がなくてもよい。すなわち、Ｓ３０４、Ｓ３０５をなくして、Ｓ３０１からＳ３０６へと行くように制御してもよい。

Ｓ３０６では、Ｓ３０３と同様に、システム制御部５０は、第１シャッタースイッチ６２がオンになったか否かを判定する。第１シャッタースイッチ６２がオンになった場合は、Ｓ３０７へ進み、そうでない場合は、Ｓ３０４へ戻る。

Ｓ３０７では、システム制御部５０は、不揮発性メモリ５６を参照し、ＡＦ動作の設定がサーボＡＦか否かを判定する。サーボＡＦである場合は、Ｓ３０８へ進み、そうでない場合Ｓ３２６へ進む。サーボＡＦとは、競技中のスポーツ選手や動いている子供、動物など、撮影距離が絶えず変化する（動いている）被写体の撮影に適した撮影モードであり、被写体の追尾とコンティニュアスＡＦが行われる。サーボＡＦに設定されている場合は、ユーザーがシャッターボタン６１を操作している間は、第１シャッタースイッチ６２がオン時点でのＡＦ枠位置で追尾対象を決定し、追尾対象である被写体にＡＦを合わせ続ける（コンティニュアスＡＦを開始する）。これに対して、ワンショットＡＦとは、止まっている被写体の撮影に適したものであり、第１シャッタースイッチ６２のオン時点でのＡＦ枠位置で１度だけＡＦを実行する。ＡＦ動作の設定は、図５（ａ）の項目５０１に示すように、ユーザーがワンショットＡＦかサーボＡＦかを選択することができる。図５（ａ）では、設定候補５０１ａが選択されていることから、ＡＦ動作の設定はサーボＡＦに設定されている。例えば、図４（ａ）～（ｈ）に示す表示例では、デジタルカメラ１００と被写体との距離は絶えず変化していることから、サーボＡＦで被写体を追尾し、追尾対象にＡＦを実行し続けるほうがユーザーは、ユーザーの意図通りにピントを合わせた画像の撮影を行える。一方で、花などの静止被写体を撮影する際には、サーボＡＦのように常に被写体を追尾していると、撮影を行った瞬間にユーザーの意図しない位置でＡＦを実行し、撮影してしまう可能性がある。そのため、ワンショットＡＦでＡＦ位置を固定するほうがユーザーにとって操作性が良い可能性が高い。

Ｓ３０８では、システム制御部５０は、Ｓ３０３もしくはＳ３０６において第１シャッタースイッチ６２がオンになった時点での視線位置（注視位置）で追尾対象を決定して追尾を開始し、コンティニュアスＡＦを開始する。追尾対象の決定処理として、具体的には、その時点での視線位置にある被写体の特徴量（位置、色合い、形状、コントラストなど）を抽出して追尾条件に設定する。そして追尾を開始すると、次のフレームにおいて類似する特徴を持つ被写体を追尾する。図４（ａ）の状態で第１シャッタースイッチ６２がオンになった場合は、ＡＦ枠４２１の位置、すなわち被写体４１２が追尾対象となり、追尾が開始され、被写体４１２に対してコンティニュアスＡＦが開始される。第１シャッタースイッチ６２がオンされた後は、たとえ視線ＡＦ設定が有効であっても、視線位置に追従してＡＦ枠は移動しない。シャッターボタン６１への操作を行っている間は視線位置にＡＦ枠が追従しないため、撮影している画像全体をチェックすることでシャッターチャンスをうかがっているユーザーにとっては、使い勝手がよい。一方で、Ｓ３０１において視線ＡＦ設定を有効にしたにも関わらず、シャッターボタン６１への操作中は視線入力によるＡＦ枠の移動が行えないと、追尾対象の意図しない乗り移りが生じると、視線入力によって直感的にＡＦ枠を所望位置（被写体）に移動できない。例えば図４（ａ）に示すように、視線位置が被写体４１２にあり、ＡＦ枠である枠４２１が被写体４１２に表示されているときに第１シャッタースイッチ６２がオンになると、被写体４１２で追尾を開始し、コンティニュアスＡＦを開始する。被写体４１２に追尾を開始しコンティニュアスＡＦを行っている際に、被写体４１１が被写体４１２に近い位置を通って被写体４１２よりもデジタルカメラ１００に近づくこと（被写体４１１が被写体４１２に追い抜かれた）が生じる場合がある。このような場合、被写体４１１と被写体４１２が類似した色合いや形状であるために、図４（ｂ）に示すように追尾対象が被写体４１２から被写体４１１へ乗り移るおそれがある。ユーザーは被写体４１２に合焦した写真が撮りたいにも関わらず、被写体４１１に意図せず追尾対象が乗り移ってしまい、ユーザー所望の被写体ではない被写体に追尾が開始してしまい使い勝手が悪い。図４（ｂ）はユーザーがシャッターボタン６１への操作中の追尾枠と視線位置の表示例について示している。上述したように、図４（ａ）においてユーザーは被写体４１２に合焦させたいと考えていたが、図４（ｂ）のように被写体４１１に乗り移ってしまうことが生じる。

なお、Ｓ３０８では、追尾枠を示す枠４２２とは別に、ユーザーの視線位置を示す指標４２０をＥＶＦ２９に表示する。指標４２０は図４（ｂ）では円で示しているが、表示形態はこれに限らない。ユーザーが自身の視線位置を視認できる、かつ、追尾枠と混同しないような指標であればいい。追尾枠はコンティニュアスＡＦで追尾対象にＡＦを実行し続けていることを示す枠であり、追尾枠とＡＦ枠とを混同しないように表示形態を異なるものとしている。ＡＦ動作の設定によって表示する枠を異ならせているだけで、枠が表示されている位置でＡＦを実行している点ではＡＦ枠と同じである。これにより、シャッターボタン６１への操作中はシャッターボタン６１への操作開始時点でのＡＦ枠位置で追尾対象を決定、追尾を開始し、コンティニュアスＡＦを実行し、視線位置を示す指標を表示する。シャッターボタン６１への操作中は視線位置へのＡＦ枠の移動は行わないため、ユーザーは視線移動に伴うＡＦ枠の移動、ＡＦ実行位置は移動しないが、自身の視線位置を視認することができる。ユーザーが、後述する視線位置にＡＦ枠を更新させたいと考えた場合にも、ユーザー所望のタイミングで視線位置にＡＦ枠を更新させ、追尾対象を変更することができる。

Ｓ３０９では、システム制御部５０は、視線更新ボタンの押下があったか否かを判定する。あった場合はＳ３１０へ進み、そうでない場合はＳ３１３へ進む。視線更新ボタンとは前述したように、視線更新機能を持つ専用ボタン、または、視線更新機能を割り当てたボタンのことを指す。視線更新機能とは、第１シャッタースイッチ６２のオンより、視線移動への追従を一時的に制限したＡＦ枠を、視線位置に更新する機能を指す。視線位置に追従しないように一時的に制限したＡＦ枠の移動を、視線位置に更新することでＡＦ枠をユーザー所望の位置へと移動させる。視線位置にＡＦ枠を移動させることから、現在ＥＶＦ２９に表示されているＡＦ枠位置とユーザー所望の位置（視線位置）とが遠い場合でも、素早く直感的に移動させることができる。上述した視線更新機能を割り当て可能な操作部材は、図５（ｂ）の項目５０５に示すように、視線更新機能を割り当てられるボタンは、ユーザーが設定メニュー画面から任意に選択することができる。設定候補５０５ａを選択すれば、視線更新機能はＡＦ－ＯＮボタン７７に割り当てられる。設定候補５０５ｂを選択すれば、視線更新機能はいずれのボタンにも割り当てられず、いずれのボタンを押下しても、視線位置にＡＦ枠は更新されない。図５（ｂ）では、視線更新機能はＡＦ－ＯＮボタン７７に割り当てられている。

Ｓ３１０では、システム制御部５０は、ユーザーの視線位置と、ＥＶＦ２９に表示されているＡＦ枠とが近傍にあるか否かを判定する。近傍にある場合は、Ｓ３１３へ進み、近傍に無い場合はＳ３１１へ進む。ユーザーの視線位置と、ＥＶＦ２９に表示されているＡＦ枠とが近傍にあるとは、視線位置がＡＦ枠を含む所定の範囲内にあることを指す。視線は人間の特性上、無意識的に視線が微動してしまうことや、視線検出のキャリブレーションの回数や環境などの様々な影響により、ＥＶＦ２９に表示される視線位置がユーザーが実際に見ている位置とずれてしまうことがある。図４（ｃ）に、システム制御部５０がライブビュー画像内から被写体を認識している場合の図を示す。認識している被写体を示す枠（実線）と、被写体を示す枠の周りの緩衝領域を示す枠（点線）、追尾枠（二重枠）を表す。図４（ｃ）の被写体４１１について、追尾枠４２２と緩衝領域を示す枠４１１ｂを、被写体４１２について、認識している被写体を示す枠４１２ａと緩衝領域を示す枠４１２ｂを示す。図４（ｃ）でのユーザーの視線位置を指標４１９ｃとする。認識している被写体を示す４１１ａは追尾枠４２２と一致している。認識した被写体を示す枠は、該当被写体の大きさによって枠の大きさが変化する。緩衝領域を示す枠は、認識した被写体より一回り大きい枠で示し、認識した被写体を含む所定の範囲とする。緩衝領域を示す枠は、認識した被写体を示す枠の、例えば面積を１．２倍した大きさの面積を示す枠とする。緩衝領域を示す枠の大きさは、ユーザーが設定メニュー画面で任意に設定するようにしてもよいし、キャリブレーションの回数や視線検出の精度によって変動するようにしてもよいし、予め決めてもよい。また後述するように、被写体の胴体を認識できる場合には、被写体の胴体全体が入るような枠の大きさにしてもよい。図４（ｃ）に示すように、被写体４１２に追尾を行っているときに、ユーザーは指標４１９ｃの位置を見ている。指標４１９ｃは緩衝領域４１１ｂ内（追尾枠４２２内）にあり、ユーザーは被写体４１２を見ていることが想定できる。このような場合、現在追尾している追尾対象とユーザーの視線位置とが一致しているため、視線更新ボタンが押下されても、視線位置に基づく追尾枠４２２の更新はせず引き続き被写体４１１に対して追尾、コンティニュアスＡＦを継続する。このように緩衝領域を設けることで、上述した検出された視線位置とユーザーが見ている位置とのズレが生じた場合でも、少しのズレであれば視線更新ボタンの押下に応じて、視線位置にＡＦ枠を更新する。これにより、ユーザーは所望の被写体を見ているにもかかわらず、視線位置（ユーザーの所望位置）にＡＦ枠が移動しないことを低減することができ、シャッターチャンスを逃しにくくすることができる。

Ｓ３１１では、システム制御部５０は、ユーザーの視線位置の近傍に認識した被写体があるか否かを判定する。視線位置の近傍に認識した被写体がある場合は、Ｓ３１２へ進み、ない場合はＳ３１３へ進む。Ｓ３１０でＮｏと判定された場合、視線位置の近傍にＡＦ枠が表示された追尾対象はない。そのため、ユーザーはＥＶＦ２９に表示されたＡＦ枠とは異なる位置を見ていることが想定できる。例えば、図４（ｄ）に示すように、追尾対象として被写体４１１の顔に枠４２２が表示されているときに、視線位置が指標４１９ｄの位置にある場合を考える。指標４１９ｄは被写体４１１の緩衝領域である枠４１１ｂ内には無いが、被写体４１２の緩衝領域である枠４１２ｂ内にある。このことから、ユーザーは被写体４１２を見ていると判定する。Ｓ３１０で述べたように、視線位置が枠４１２ａ内に含まれていなくても、緩衝領域４１２ｂ内に含まれていれば、被写体４１２を見ていると判定する。これにより、視線位置の多少のズレが生じても、視線更新ボタンの押下に応じて視線位置にＡＦ枠を更新することができ、シャッターチャンスを逃すことなく撮影を行うことができる。

Ｓ３１２では、システム制御部５０は、Ｓ３１１でＹｅｓと判定された場合、ユーザーの視線位置の近傍に被写体があることから、追尾対象を視線位置の近傍の被写体へと変更し、追尾を開始する。すなわち、視線位置に基づいて新たに追尾対象（指定位置、ＡＦ対象）の決定処理（Ｓ３０８で前述した処理）を行い、追尾対象を更新する。例えば、図４（ｄ）に示す状態で視線更新ボタンが押下された場合は、ユーザーは被写体４１２を見ていると判定し、ＡＦ枠を視線位置である被写体４１２に移動する（追尾対象を被写体４１１から被写体４１２へ更新する）。この結果、図４（ｅ）に示す通り、被写体４１２に対して追尾を開始し、コンティニュアスＡＦを実行する。これにより、シャッターボタン６１の半押し継続中、つまりシャッターボタン６１への操作中に、視線位置に基づく位置にＡＦ枠の更新を、操作手段への操作により制御する。シャッターボタン６１への操作中は視線位置にＡＦ枠が追従して表示されないため、ユーザーの意図しないＡＦ枠の移動やＡＦの実行が行われない。また、視線移動に追従してＡＦ枠が移動しないため、ユーザーがわずらわしく感じることを低減できる。すなわち、ユーザーは視線位置へのＡＦ枠の更新を所望のタイミングで切り替えられるため、わずらわしく感じることなく、かつ、シャッターチャンスを逃すことなく撮影をすることができる。

Ｓ３１３では、システム制御部５０は、ＥＶＦ２９に表示のＡＦ枠位置である追尾対象を変更せず、コンティニュアスＡＦを継続する。Ｓ３１０でＹｅｓもしくはＳ３１１でＮｏと判断された場合、視線位置の近傍に追尾対象がない、もしくは、視線位置近傍に被写体がない。例えば、図４（ｆ）に示すように、ユーザーの視線位置が指標４１９ｆの位置にあった場合を考える。このような場合、枠４１１ｂ、枠４１２ｂのいずれの枠内にも視線位置が含まれていない。したがって、ユーザーは被写体４１１、被写体４１２のいずれも見ていないと判定する。そのため、視線更新ボタンが押下されたとしても、視線位置に追尾対象を更新しない。Ｓ３１０、Ｓ３１１の判定を行うことで、図４（ｆ）の指標４１９ｆの位置のような被写体がない部分へのＡＦ枠の移動を避けることができ、例えば無限遠にＡＦが実行されてしまうことを低減できる。被写体のない位置にＡＦが実行されてしまうと、ユーザーは所望の被写体を再度選び、ＡＦを実行しなければならず、シャッターチャンスを逃す可能性が生じる。そのため、Ｓ３１０～Ｓ３１２の判定を行うことで、上述したようなＡＦ枠の移動を避けることができ、ユーザーにとっては操作性が良くなる可能性が高い。

Ｓ３１４では、システム制御部５０は、第１シャッタースイッチ６２がオフになったか否かを判定する。第１シャッタースイッチ６２がオフ、すなわちシャッターボタン６１の半押しが終わった場合は、Ｓ３２８へ進み、そうでない場合はＳ３１５へ進む。

Ｓ３１５では、システム制御部５０は、第２シャッタースイッチ６４がオンになったか否かを判定する。第２シャッタースイッチ６４がオン、すなわちシャッターボタン６１が全押しされた場合は、Ｓ３１６へ進み、そうでない場合はＳ３０９へ戻る。

Ｓ３１６では、システム制御部５０は、前述した撮影処理の動作を開始する。

Ｓ３１７では、システム制御部５０は、第２シャッタースイッチ６４のオンが継続、すなわち、シャッターボタン６１への全押しが継続されているか否かを判定する。継続されている場合はＳ３１８へ進み、連写中の処理を行い、そうでない場合はＳ３１４へ戻る。

Ｓ３１８では、システム制御部５０は、Ｓ３０９と同様に、視線更新ボタンの押下があったか否かを判定する。あった場合はＳ３１９へ進み、そうでない場合はＳ３２０へ進む。

Ｓ３１９では、システム制御部５０は、Ｓ３１０と同様に、ユーザーの視線位置と、現在表示されているＡＦ枠とが近傍にあるか否かを判定する。近傍にある場合はＳ３２０へ進み、そうでない場合はＳ３２１へ進む。

Ｓ３２０では、システム制御部５０は、Ｓ３１１と同様に、ユーザーの視線位置の近傍に認識された被写体があるか否かを判定する。認識された被写体がある場合は、Ｓ３２１へ進み、ない場合はＳ３２２へ進む。

Ｓ３２１では、システム制御部５０は、Ｓ３１２と同様に、Ｓ３２１でＹｅｓと判定された場合、ユーザーの視線位置の近傍に被写体があることから、追尾対象を視線位置の近傍の被写体へと変更（更新）し、追尾を開始する。

Ｓ３２２では、システム制御部５０は、Ｓ３１３と同様に、追尾対象を変更せずコンティニュアスＡＦを継続する。

Ｓ３２３では、Ｓ３１６と同様に、システム制御部５０は、前述した撮影処理の動作を開始し、Ｓ３１７へ戻る。ここでの撮影は、連写による２枚目以降の撮影である。続いて、Ｓ３１７へ進む。

一方、Ｓ３０７でサーボＡＦでないと判定された場合、すなわちワンショットＡＦの場合、Ｓ３２４の処理を行う。

Ｓ３２４では、システム制御部５０は、Ｓ３０３もしくはＳ３０８において第１シャッタースイッチ６２がオンになった時点での視線位置（注視位置）にＡＦ枠を表示し、ＡＦを実行する。ワンショットＡＦでは、追尾は行わない。

Ｓ３２５では、システム制御部５０は、Ｓ３１５と同様に、第２シャッタースイッチ６４がオンになったか否かを判定する。第２シャッタースイッチ６４がオン、すなわちシャッターボタン６１が全押しされた場合は、Ｓ３２６へ進み、そうでない場合はＳ３２７へ進む。

Ｓ３２６では、Ｓ３１６、Ｓ３２３と同様に、システム制御部５０は、前述した撮影処理の動作を開始し、Ｓ３２７へ進む。

Ｓ３２７では、Ｓ３１４と同様に、システム制御部５０は、第１シャッタースイッチ６２がオフになったか否かを判定する。第１シャッタースイッチ６２がオフ、すなわちシャッターボタン６１の半押しが終わった場合は、Ｓ３２８へ進み、そうでない場合は、Ｓ３２５へ戻る。

Ｓ３２８では、システム制御部５０は、電源オフや再生モードへの移行などにより、撮影待機状態が終了したか否かを判定する。撮影待機状態が終了した場合は、本制御フローを終了し、撮影待機状態が終了していない場合は、Ｓ３０１へ戻る。

Ｓ３１６～Ｓ３２３の制御は、ユーザーが第２シャッタースイッチ６４のオン継続中に行われる制御フローである。すなわち連写中に行われる制御であり、連写中であっても視線更新ボタンへの押下に応じて、視線位置と認識された被写体との位置関係によって、表示されているＡＦ枠から視線位置へとＡＦ枠を更新することができる。これにより、ユーザーは撮影を行っている間にも所望の被写体へとＡＦ枠を素早く移動することができる。連写中は連写可能枚数や連写可能速度などの、撮影待機状態よりも、より厳しい制約の中で動きの速い被写体の撮影を行っていると想定されるため、撮影待機状態よりもシャッターチャンスをより逃したくない。このような状況下においても、ユーザーは視線位置へのＡＦ枠の更新を所望のタイミングで切り替えられ、わずらわしく感じることなく、かつ、シャッターチャンスを逃すことなく撮影をすることができる。

また、Ｓ３１０、Ｓ３１１、Ｓ３１９、Ｓ３２０において被写体認識の、特に人物の顔を認識する技術を用いて被写体の有無を判定して本制御フローに活用したが、人物の顔に限らない。例えば、人物の胴体や動物（犬や猫）、乗り物（電車、飛行機、車）などを認識して本制御フローに活用してもよい。例えば、図４（ｇ）に示すように、人物の胴体を認識できる場合は、緩衝領域を胴体にまで広げるような領域４１１ｃ、領域４１２ｃとしてもよい。すなわち、Ｓ３１１、Ｓ３２０において、被写体４１１が追尾対象である場合にシャッターボタン６１の操作中に視線位置が指標４１９の位置にあったとする。つまり、図４（ｇ）に示すように、ユーザーが指標４１９ｇの位置である、被写体４１２の胴体を見ていると判定できた際に、視線更新ボタンが押下された場合は、追従対象を被写体４１１から被写体４１２へと追尾対象を変更するようにしてもよい（図４（ｈ））。緩衝領域のみならず、Ｓ３０８において決定した追尾対象について、顔を検出することができなかった場合でも、胴体が検出できていれば胴体に追尾するように制御してもよい。胴体に追尾することで、顔の検出が可能になった場合にはユーザーは所望の被写体の顔を選択しやすくなる。同様に、人物に限らず、動物や乗り物を認識できた場合には、本制御フローを適用することができる。上述したいずれの被写体も認識できなかったとしても、ＬＶ画像からモノを追尾することもできる。

なお、図４（ｃ）、（ｄ）、（ｆ）、（ｇ）においてユーザーの視線位置をわかりやすく明示するために指標４１９を星形で示したが、星形のような指標ではなく図４（ｂ）の指標４２０のように円で視線位置を表現してもよい。また、図４（ｃ）、（ｄ）のように視線位置が被写体にあると判定される場合は、視線位置を示す指標を出すことなく、ユーザーが見ているであろう被写体にインジケーターを表示してもよい。この場合のインジケーターは、追尾枠を示す枠４２２やＡＦ枠を示す枠４２１と混同しないように、表示色を変えたり、枠内にマスクをかけたり、上記枠とは異なった表示形態にするとよい。

上述した本実施形態に対しても、タッチパネル７０ａへの押圧を検知可能なように構成し、タッチパネル７０ａへの押圧に応じて、前述の視線更新ボタンの押下に応じた処理を行うようにしてもよい。

また、タッチダウンに応じて第１シャッタースイッチ６２のオンと同様に処理を行い、その後タッチパネル７０ａへの押圧があったことに応じて、前述の視線更新ボタンの押下に応じた処理を行うようにしてもよい。この場合、タッチダウンに応じて第２シャッタースイッチ６４のオンと同様の処理を行ってもよい。すなわち、タッチパネル７０ａにタッチしたことに応じて追尾開始とともに撮影を行い、タッチオンが継続していれば連写を行い、押圧があれば追尾対象を更新する。また、タッチアップに応じて第２シャッタースイッチ６４のオンと同様の処理を行ってもよい。

このように本実施形態では、シャッターボタン操作中に、視線入力によるＡＦ枠の移動（追尾対象の更新）を、操作部材への操作により制御する。これにより、ユーザーは視線位置へのＡＦ枠の追従について煩わしく感じることなく操作性良く切り替えることができる。また、シャッターボタンへの操作中に操作できる範囲に操作部材を配置するため、シャッターボタンへの操作に支障なく、視線位置へのＡＦ枠の追従を切り替えられ、シャッターチャンスを逃すことなく、ユーザー所望の位置でＡＦさせて撮影を行うことができる。

なお、上述した本実施形態では、ＥＶＦ２９を有したデジタルカメラ１００の例を説明したが、これに限るものではない。ＥＶＦを用いない撮像機能を有する機器にも適用可能である。具体的には、表示部にＬＶ画像を表示し、表示部を見ているユーザーの視線位置を検出可能であれば、ユーザーが表示部に表示されているＬＶ画像を見ながら撮影している場合にも適用可能である。すなわち、本発明はパーソナルコンピューターや携帯電話端末、携帯型の画像ビューワ、ディスプレイを備える音楽プレーヤーやゲーム機、ヘッドマウントディスプレイ等のウェアラブル機器などに適用可能である。

以上のように、視線入力がある場合に、シャッターボタンへの操作中は、視線入力によるＡＦ枠である指定位置の移動は行わず、所定の操作部材への操作があったことに応じて視線位置に指定位置の移動を行う。これにより、シャッターボタン操作中に、視線位置に基づく指定位置の更新を、ユーザー所望のタイミングで操作感良く行うことができる。

なお、システム制御部５０が行うものとして説明した上述の各種制御は、１つのハードウエアが行ってもよいし、複数のハードウエア（例えば複数のプロセッサーや回路）が処理を分担することで装置全体の制御を行ってもよい。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピューター（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (1)

1. 撮像部と、
   ユーザーの視線によりＡＦ位置を指定するために、ユーザーの視線位置を検出する視線検出手段と、
   特定の操作部材と、
   制御手段と、を有し、
   前記制御手段は、
   第１のＡＦモードの場合は、
   前記特定の操作部材への所定の操作に応じて、前記所定の操作が行われた時点において前記視線検出手段により検出された視線位置に基づいて追尾対象の被写体及を決定し、前記追尾対象の被写体を追尾して当該追尾対象の被写体の移動に応じて前記ＡＦ位置を移動するように制御し、
   第２のＡＦモードの場合は、
   前記特定の操作部材への前記所定の操作に応じて、前記所定の操作が行われた時点において前記視線検出手段により検出された視線位置に基づいて前記ＡＦ位置を決定し、前記視線検出手段により検出された視線位置に基づく前記ＡＦ位置の変更を行わず、前記ＡＦ位置の被写体が移動したとしても前記ＡＦ位置を移動しないように制御する、
   ことを特徴とする撮像装置。
   

Images